Subquadratic a Quasa: anàlisi del primer LLM subquadràtic

#Quasa #QUA #subquadratic

Subquadratic és una empresa de recerca i infraestructura d'IA d'avantguarda que desenvolupa una nova classe de grans models de llenguatge. El seu model insígnia, SubQ, és el primer LLM construït sobre una arquitectura d'atenció dispersa plenament subquadràtica. A diferència dels Transformers tradicionals, que escalen quadràticament amb la longitud del context ($O(n^2)$), SubQ escala linealment ($O(n)$), cosa que fa que el raonament amb diversos milions de tokens sigui pràctic i eficient.

SubQ està dissenyat específicament per a tasques amb context llarg. Pot processar repositoris de codi sencers, historials llargs d'agents, mesos de sol·licituds d'incorporació de canvis i estats persistents en una sola instrucció sense pèrdua de qualitat. Actualment, el model admet finestres de context de fins a 12 milions de tokens i ofereix un rendiment elevat tant en proves de referència de recuperació d'informació en contextos llargs com de raonament general. Amb 1 milió de tokens, SubQ requereix molts menys recursos de càlcul (segons s'afirma, 64.5× menys que l'atenció densa) i s'executa significativament més de pressa que els mecanismes d'atenció estàndard.

L'empresa se centra en el principi que “l'eficiència és intel·ligència.” En resoldre el coll d'ampolla quadràtic en l'àmbit de l'arquitectura, Subquadratic aspira a fer possible una nova generació d'agents d'IA que puguin treballar realment amb grans quantitats de context en lloc de dependre de la fragmentació, dels resums o de solucions improvisades de recuperació d'informació.

Subquadratic és ideal per a desenvolupadors, agents de programació, equips empresarials i investigadors que necessiten un raonament fiable amb context llarg — especialment per a l'anàlisi de bases de codi completes, agents de llarga durada i tasques complexes amb múltiples documents.

Aspectes destacats

• Primera arquitectura de LLM plenament subquadràtica (amb escalabilitat lineal).
• Context de diversos milions de tokens (fins a 12M tokens).
• Gran capacitat de recuperació d'informació en contextos llargs amb una eficiència elevada.
• Dissenyat per a repositoris complets i per a l'estat persistent dels agents.
• API compatible amb OpenAI i integracions amb agents de programació.

• Possibles aspectes a tenir en compte

• Com a model de recerca d'avantguarda, el seu ecosistema més ampli i les variants de mida encara estan en expansió.
• És més adequat per a casos d'ús amb context llarg que per a converses generals amb instruccions curtes.

Valoració global: 4.7/5 estrelles

Subquadratic aborda una de les limitacions més importants dels LLM actuals — el cost quadràtic de l'atenció. En oferir un raonament pràctic amb diversos milions de tokens amb molts menys recursos de càlcul, SubQ representa un avenç arquitectònic significatiu per als agents i les aplicacions amb context llarg.

Guanya una recompensa en QUA publicant també una ressenya a Quasa.io!

Comença: https://quasa.io/projects/subquadratic