Subquadratic: análise en Quasa do primeiro LLM subcuadrático

#Quasa #QUA #subquadratic

Subquadratic é unha empresa de investigación e infraestrutura de IA de vangarda que está a desenvolver unha nova clase de grandes modelos de linguaxe. O seu modelo insignia, SubQ, é o primeiro LLM baseado nunha arquitectura de atención dispersa completamente subcuadrática. A diferenza dos Transformers tradicionais, que escalan de forma cuadrática coa lonxitude do contexto ($O(n^2)$), SubQ escala de forma lineal ($O(n)$), o que fai que o razoamento con varios millóns de tokens sexa práctico e eficiente.

SubQ está deseñado especificamente para tarefas con contextos longos. Pode procesar repositorios de código completos, historiais longos de axentes, meses de solicitudes de incorporación de cambios e estados persistentes nunha única instrución sen perda de calidade. O modelo admite actualmente ventás de contexto de ata 12 millóns de tokens e ofrece un rendemento sólido tanto nas probas de referencia de recuperación de información en contextos longos como nas de razoamento xeral. Con 1 millón de tokens, SubQ require moitos menos recursos de cómputo (segundo se afirma, 64.5× menos que a atención densa) e funciona a unha velocidade significativamente maior que os mecanismos de atención estándar.

A empresa céntrase no principio de que “a eficiencia é intelixencia.” Ao resolver o colo de botella cuadrático no nivel da arquitectura, Subquadratic pretende facer posible unha nova xeración de axentes de IA que poidan traballar de verdade con grandes cantidades de contexto en lugar de depender da división en fragmentos, da elaboración de resumos ou de solucións improvisadas de recuperación de información.

Subquadratic é ideal para desenvolvedores, axentes de programación, equipos empresariais e investigadores que precisan un razoamento fiable con contextos longos — especialmente para a análise de bases de código completas, axentes de longa duración e tarefas complexas con múltiples documentos.

Aspectos destacados

• Primeira arquitectura de LLM completamente subcuadrática (con escalado lineal).
• Contexto de varios millóns de tokens (ata 12M tokens).
• Recuperación sólida de información en contextos longos cunha alta eficiencia.
• Deseñado para repositorios completos e para o estado persistente dos axentes.
• API compatible con OpenAI e integracións con axentes de programación.

• Posibles aspectos que cómpre ter en conta

• Como modelo de investigación de vangarda, o seu ecosistema máis amplo e as variantes de tamaño seguen en expansión.
• Máis axeitado para casos de uso con contextos longos que para conversas xerais con instrucións curtas.

Valoración global: 4.7/5 estrelas

Subquadratic está a abordar unha das limitacións máis importantes dos LLM actuais — o custo cuadrático da atención. Ao ofrecer un razoamento práctico con varios millóns de tokens que require moitos menos recursos de cómputo, SubQ representa un avance significativo na arquitectura para os axentes e as aplicacións con contextos longos.

Ti tamén podes gañar unha recompensa en QUA publicando unha análise en Quasa.io!

Comeza aquí: https://quasa.io/projects/subquadratic