Subquadratic im Test auf Quasa: Das erste subquadratische LLM

#Quasa #QUA #subquadratic

Subquadratic ist ein Unternehmen für KI-Spitzenforschung und -Infrastruktur, das eine neue Klasse großer Sprachmodelle entwickelt. Sein Flaggschiffmodell, SubQ, ist das erste LLM, das auf einer vollständig subquadratischen Sparse-Attention-Architektur basiert. Anders als herkömmliche Transformer, deren Rechenaufwand mit der Kontextlänge quadratisch skaliert ($O(n^2)$), skaliert SubQ linear ($O(n)$) und macht so Schlussfolgerungen über mehrere Millionen Tokens praktikabel und effizient.

SubQ wurde speziell für Aufgaben mit langem Kontext entwickelt. Es kann ganze Code-Repositories, lange Agentenverläufe, Pull Requests aus mehreren Monaten und persistente Zustände in einem einzigen Prompt ohne Qualitätseinbußen verarbeiten. Das Modell unterstützt derzeit Kontextfenster mit bis zu 12 Millionen Tokens und erzielt sowohl bei Benchmarks zum Abrufen von Informationen aus langen Kontexten als auch bei allgemeinen Schlussfolgerungs-Benchmarks starke Ergebnisse. Bei 1 Million Tokens benötigt SubQ erheblich weniger Rechenleistung (laut eigenen Angaben 64.5× weniger als dichte Attention) und läuft deutlich schneller als herkömmliche Attention-Mechanismen.

Das Unternehmen orientiert sich am Grundsatz “Effizienz ist Intelligenz.” Indem Subquadratic den quadratischen Engpass auf Architekturebene beseitigt, will es eine neue Generation von KI-Agenten ermöglichen, die tatsächlich mit großen Kontextmengen arbeiten können, statt auf die Aufteilung in kleinere Abschnitte, Zusammenfassungen oder Behelfslösungen für den Informationsabruf angewiesen zu sein.

Subquadratic ist ideal für Entwickler, Programmieragenten, Unternehmensteams und Forschende, die zuverlässige Schlussfolgerungen über lange Kontexte benötigen — insbesondere für die Analyse ganzer Codebasen, dauerhaft laufende Agenten und komplexe Aufgaben mit mehreren Dokumenten.

Höhepunkte

• Erste vollständig subquadratische (linear skalierende) LLM-Architektur.
• Kontext mit mehreren Millionen Tokens (bis zu 12M Tokens).
• Leistungsstarker Informationsabruf aus langen Kontexten bei hoher Effizienz.
• Für vollständige Repositories und einen persistenten Agentenzustand entwickelt.
• OpenAI-kompatible API und Integrationen für Programmieragenten.

• Mögliche Einschränkungen

• Als Modell aus der Spitzenforschung werden sein breiteres Ökosystem und seine Größenvarianten noch weiter ausgebaut.
• Am besten für Anwendungsfälle mit langem Kontext geeignet, weniger für allgemeine Chats mit kurzen Prompts.

Gesamturteil: 4.7/5 Sterne

Subquadratic geht eine der wichtigsten Einschränkungen aktueller LLMs an — den quadratischen Rechenaufwand von Attention. Indem SubQ praktikable Schlussfolgerungen über mehrere Millionen Tokens bei deutlich geringerem Rechenaufwand ermöglicht, stellt es einen bedeutenden architektonischen Fortschritt für Agenten und Anwendungen mit langem Kontext dar.

Verdiene auch du eine QUA-Belohnung, indem du auf Quasa.io eine Bewertung abgibst!

Jetzt loslegen: https://quasa.io/projects/subquadratic