Subquadratic em análise na Quasa: o primeiro LLM subquadrático

#Quasa #QUA #subquadratic

Subquadratic é uma empresa de pesquisa de ponta e infraestrutura de IA que está desenvolvendo uma nova classe de grandes modelos de linguagem. Seu principal modelo, SubQ, é o primeiro LLM construído sobre uma arquitetura de atenção esparsa totalmente subquadrática. Ao contrário dos Transformers tradicionais, que escalam de forma quadrática com o comprimento do contexto ($O(n^2)$), o SubQ escala de forma linear ($O(n)$), tornando o raciocínio com vários milhões de tokens prático e eficiente.

O SubQ foi projetado especificamente para tarefas com contextos longos. Ele pode processar repositórios de código inteiros, históricos extensos de agentes, meses de pull requests e estados persistentes em um único prompt, sem perda de qualidade. Atualmente, o modelo oferece suporte a janelas de contexto de até 12 milhões de tokens e apresenta ótimo desempenho tanto em testes de recuperação de informações em contextos longos quanto em testes de raciocínio geral. Com 1 milhão de tokens, o SubQ exige muito menos processamento (segundo a empresa, 64.5× menos do que a atenção densa) e é significativamente mais rápido do que os mecanismos de atenção padrão.

A empresa se concentra no princípio de que “eficiência é inteligência.” Ao resolver o gargalo quadrático no nível da arquitetura, a Subquadratic busca viabilizar uma nova geração de agentes de IA capazes de realmente trabalhar com grandes volumes de contexto, em vez de depender de divisão em blocos, resumos ou soluções improvisadas de recuperação de informações.

A Subquadratic é ideal para desenvolvedores, agentes de programação, equipes empresariais e pesquisadores que precisam de raciocínio confiável com contextos longos — especialmente para análise de bases de código completas, agentes que operam por longos períodos e tarefas complexas envolvendo vários documentos.

Destaques

• Primeira arquitetura de LLM totalmente subquadrática (com escalabilidade linear).
• Contexto de vários milhões de tokens (até 12M tokens).
• Ótima recuperação de informações em contextos longos com alta eficiência.
• Projetado para repositórios completos e estado persistente de agentes.
• API compatível com OpenAI e integrações com agentes de programação.

• Possíveis pontos de atenção

• Por ser um modelo de pesquisa de ponta, seu ecossistema mais amplo e suas variantes de tamanho ainda estão em expansão.
• Mais adequado para casos de uso com contextos longos do que para conversas gerais com prompts curtos.

Veredito geral: 4.7/5 estrelas

A Subquadratic está enfrentando uma das limitações mais importantes dos LLMs atuais — o custo quadrático da atenção. Ao oferecer raciocínio prático com vários milhões de tokens usando muito menos processamento, o SubQ representa um avanço significativo na arquitetura para agentes e aplicações com contextos longos.

Ganhe uma recompensa em QUA ao publicar sua avaliação na Quasa.io também!

Comece agora: https://quasa.io/projects/subquadratic