Subquadratic รีวิวบน Quasa: LLM ตัวแรกที่มีความซับซ้อนต่ำกว่ากำลังสอง

#Quasa #QUA #subquadratic

Subquadratic เป็นบริษัทวิจัยและพัฒนาโครงสร้างพื้นฐาน AI แนวหน้าที่กำลังสร้างโมเดลภาษาขนาดใหญ่ประเภทใหม่ โมเดลหลักของบริษัทอย่าง SubQ เป็น LLM ตัวแรกที่สร้างบนสถาปัตยกรรมการให้ความสนใจแบบเบาบางที่มีความซับซ้อนต่ำกว่ากำลังสองอย่างสมบูรณ์ ต่างจาก Transformers แบบดั้งเดิมที่ใช้ทรัพยากรเพิ่มขึ้นเป็นกำลังสองตามความยาวของบริบท ($O(n^2)$) SubQ ใช้ทรัพยากรเพิ่มขึ้นแบบเชิงเส้น ($O(n)$) ทำให้การให้เหตุผลกับข้อมูลหลายล้านโทเคนใช้งานได้จริงและมีประสิทธิภาพ

SubQ ออกแบบมาโดยเฉพาะสำหรับงานที่มีบริบทยาว สามารถประมวลผลคลังโค้ดทั้งคลัง ประวัติการทำงานที่ยาวนานของเอเจนต์ คำขอรวมโค้ดย้อนหลังหลายเดือน และสถานะที่เก็บรักษาไว้อย่างต่อเนื่องได้ในพรอมป์ต์เดียวโดยคุณภาพไม่ลดลง ปัจจุบันโมเดลรองรับหน้าต่างบริบทสูงสุด 12 million tokens และให้ผลการทดสอบที่ดีทั้งด้านการค้นคืนข้อมูลจากบริบทยาวและการให้เหตุผลทั่วไป ที่ 1 million tokens นั้น SubQ ใช้ทรัพยากรประมวลผลน้อยกว่ามาก (อ้างว่าน้อยกว่าการให้ความสนใจแบบหนาแน่น 64.5×) และทำงานเร็วกว่ากลไกการให้ความสนใจมาตรฐานอย่างมาก

บริษัทยึดหลักการที่ว่า “ประสิทธิภาพคือความฉลาด” ด้วยการแก้ปัญหาคอขวดจากความซับซ้อนแบบกำลังสองในระดับสถาปัตยกรรม Subquadratic มุ่งเปิดทางให้เอเจนต์ AI รุ่นใหม่สามารถทำงานกับบริบทปริมาณมากได้อย่างแท้จริง แทนการพึ่งพาการแบ่งข้อมูลเป็นส่วนย่อย การสรุป หรือเทคนิคแก้ขัดในการค้นคืนข้อมูล

Subquadratic เหมาะสำหรับนักพัฒนา เอเจนต์เขียนโค้ด ทีมงานในองค์กร และนักวิจัยที่ต้องการการให้เหตุผลกับบริบทยาวที่เชื่อถือได้ — โดยเฉพาะการวิเคราะห์ฐานโค้ดทั้งหมด เอเจนต์ที่ทำงานต่อเนื่องเป็นเวลานาน และงานซับซ้อนที่เกี่ยวข้องกับเอกสารหลายฉบับ

จุดเด่น

• สถาปัตยกรรม LLM ตัวแรกที่มีความซับซ้อนต่ำกว่ากำลังสองอย่างสมบูรณ์ (ใช้ทรัพยากรเพิ่มขึ้นแบบเชิงเส้น)
• บริบทขนาดหลายล้านโทเคน (สูงสุด 12M tokens)
• ความสามารถสูงในการค้นคืนข้อมูลจากบริบทยาว พร้อมประสิทธิภาพสูง
• ออกแบบมาสำหรับคลังโค้ดทั้งคลัง และสถานะของเอเจนต์ที่เก็บรักษาไว้อย่างต่อเนื่อง
• API ที่เข้ากันได้กับ OpenAI และการเชื่อมต่อกับเอเจนต์เขียนโค้ด

• ข้อควรพิจารณา

• เนื่องจากเป็นโมเดลวิจัยแนวหน้า ระบบนิเวศในวงกว้างและตัวเลือกขนาดของโมเดลจึงยังอยู่ระหว่างการขยายตัว
• เหมาะที่สุดสำหรับการใช้งานที่มีบริบทยาวมากกว่าการสนทนาทั่วไปด้วยพรอมป์ต์สั้น

บทสรุปโดยรวม: 4.7/5 ดาว

Subquadratic กำลังแก้ไขข้อจำกัดที่สำคัญที่สุดประการหนึ่งของ LLM ในปัจจุบัน — ต้นทุนการประมวลผลของกลไกการให้ความสนใจที่เพิ่มขึ้นเป็นกำลังสอง ด้วยความสามารถในการให้เหตุผลกับข้อมูลหลายล้านโทเคนที่ใช้งานได้จริงและใช้ทรัพยากรประมวลผลน้อยกว่ามาก SubQ จึงเป็นความก้าวหน้าทางสถาปัตยกรรมที่มีนัยสำคัญสำหรับเอเจนต์และแอปพลิเคชันที่ใช้บริบทยาว

รับรางวัล QUA ด้วยการเขียนรีวิวบน Quasa.io ด้วย!

เริ่มต้นใช้งาน: https://quasa.io/projects/subquadratic