Subquadratic em análise na Quasa: o primeiro LLM subquadrático

#Quasa #QUA #subquadratic

Subquadratic é uma empresa de investigação de ponta e de infraestruturas de IA que está a desenvolver uma nova classe de grandes modelos de linguagem. O seu principal modelo, SubQ, é o primeiro LLM assente numa arquitetura de atenção esparsa totalmente subquadrática. Ao contrário dos Transformers tradicionais, cujo custo aumenta de forma quadrática com o comprimento do contexto ($O(n^2)$), o SubQ escala linearmente ($O(n)$), tornando o raciocínio com vários milhões de tokens viável e eficiente.

O SubQ foi concebido especificamente para tarefas com contextos longos. Consegue processar repositórios de código completos, históricos extensos de agentes, meses de pedidos de integração e estados persistentes num único prompt, sem perda de qualidade. O modelo suporta atualmente janelas de contexto de até 12 milhões de tokens e apresenta um desempenho sólido tanto em testes de referência de recuperação de informação em contextos longos como de raciocínio geral. Com 1 milhão de tokens, o SubQ requer muito menos recursos computacionais (segundo a empresa, 64.5× menos do que a atenção densa) e é significativamente mais rápido do que os mecanismos de atenção convencionais.

A empresa centra-se no princípio de que “a eficiência é inteligência.” Ao resolver o estrangulamento quadrático ao nível da arquitetura, a Subquadratic pretende viabilizar uma nova geração de agentes de IA capazes de trabalhar verdadeiramente com grandes quantidades de contexto, em vez de dependerem da divisão em blocos, da sumarização ou de soluções improvisadas de recuperação de informação.

A Subquadratic é ideal para programadores, agentes de programação, equipas empresariais e investigadores que precisam de raciocínio fiável com contextos longos — sobretudo para a análise de bases de código completas, agentes de execução prolongada e tarefas complexas com vários documentos.

Destaques

• Primeira arquitetura de LLM totalmente subquadrática (com escalabilidade linear).
• Contexto de vários milhões de tokens (até 12M tokens).
• Recuperação eficaz de informação em contextos longos com elevada eficiência.
• Concebido para repositórios completos e para o estado persistente dos agentes.
• API compatível com OpenAI e integrações com agentes de programação.

• Aspetos a considerar

• Enquanto modelo de investigação de ponta, o seu ecossistema mais alargado e as variantes de tamanho continuam em expansão.
• Mais adequado a casos de utilização com contextos longos do que a conversas gerais com prompts curtos.

Veredito global: 4.7/5 estrelas

A Subquadratic está a enfrentar uma das limitações mais importantes dos LLMs atuais — o custo quadrático da atenção. Ao permitir, na prática, o raciocínio com vários milhões de tokens com muito menos recursos computacionais, o SubQ representa um avanço significativo na arquitetura para agentes e aplicações com contextos longos.

Ganhe também uma recompensa em QUA ao publicar uma avaliação na Quasa.io!

Comece aqui: https://quasa.io/projects/subquadratic