Subquadratic anmeldt på Quasa: Den første subkvadratiske LLM

#Quasa #QUA #subquadratic

Subquadratic er en virksomhed inden for banebrydende AI-forskning og -infrastruktur, der udvikler en ny klasse af store sprogmodeller. Deres flagskibsmodel, SubQ, er den første LLM bygget på en fuldt subkvadratisk arkitektur med sparsom attention. I modsætning til traditionelle Transformers, der skalerer kvadratisk med kontekstlængden ($O(n^2)$), skalerer SubQ lineært ($O(n)$), hvilket gør ræsonnering over flere millioner tokens praktisk og effektiv.

SubQ er designet specifikt til opgaver med lang kontekst. Den kan behandle hele kodearkiver, lange agenthistorikker, flere måneders pull requests og vedvarende tilstande i en enkelt prompt uden kvalitetstab. Modellen understøtter i øjeblikket kontekstvinduer på op til 12 millioner tokens og leverer stærke resultater i benchmarks for både informationsgenfinding i lang kontekst og generel ræsonnering. Ved 1 million tokens kræver SubQ markant færre beregningsressourcer (angiveligt 64.5× færre end ved tæt attention) og kører betydeligt hurtigere end standardmekanismer til attention.

Virksomheden fokuserer på princippet om, at “effektivitet er intelligens.” Ved at løse den kvadratiske flaskehals på arkitekturniveau sigter Subquadratic mod at muliggøre en ny generation af AI-agenter, der reelt kan arbejde med store mængder kontekst frem for at være afhængige af opdeling i mindre dele, opsummering eller nødløsninger til informationsgenfinding.

Subquadratic er ideel til udviklere, kodningsagenter, teams i virksomheder og forskere, der har brug for pålidelig ræsonnering over lang kontekst — især til analyse af hele kodebaser, agenter med lang køretid og komplekse opgaver på tværs af flere dokumenter.

Højdepunkter

• Den første fuldt subkvadratiske LLM-arkitektur med lineær skalering.
• Kontekst på flere millioner tokens (op til 12M tokens).
• Stærk informationsgenfinding i lang kontekst med høj effektivitet.
• Designet til hele kodearkiver og vedvarende agenttilstand.
• OpenAI-kompatibel API og integrationer med kodningsagenter.

• Mulige forbehold

• Som banebrydende forskningsmodel er dens bredere økosystem og udvalg af størrelsesvarianter stadig under udbygning.
• Bedst egnet til anvendelser med lang kontekst frem for generel chat med korte prompts.

Samlet vurdering: 4.7/5 stjerner

Subquadratic tager fat på en af de vigtigste begrænsninger ved nuværende LLM'er — de kvadratiske omkostninger ved attention. Ved at levere praktisk ræsonnering over flere millioner tokens med langt færre beregningsressourcer repræsenterer SubQ et væsentligt arkitektonisk fremskridt for agenter og applikationer med lang kontekst.

Optjen også en QUA-belønning ved at skrive en anmeldelse på Quasa.io!

Kom i gang: https://quasa.io/projects/subquadratic