Обзор Subquadratic на Quasa: Первая субквадратичная LLM

#Quasa #QUA #subquadratic

Subquadratic — это исследовательская и инфраструктурная AI-компания, создающая новый класс LLM. Их флагманская модель, SubQ, стала первой LLM, построенной на полностью субквадратичной архитектуре sparse-attention. В отличие от традиционных Transformers, которые масштабируются квадратично с увеличением длины контекста ($O(n^2)$), SubQ масштабируется линейно ($O(n)$), делая reasoning на миллионах токенов практичным и эффективным.

SubQ разработана специально для задач с длинным контекстом. Она способна обрабатывать целые репозитории кода, длительные истории работы агентов, pull requests за несколько месяцев и persistent states в рамках одного prompt без потери качества. Модель поддерживает context window до 12 миллионов токенов и демонстрирует высокие результаты как в long-context retrieval, так и в общих benchmarks на reasoning. На объеме в 1 миллион токенов SubQ требует существенно меньше compute (заявлено сокращение в 64.5× по сравнению с dense attention) и работает значительно быстрее стандартных механизмов attention.

Компания опирается на принцип «efficiency is intelligence». Решая проблему квадратичного bottleneck на уровне архитектуры, Subquadratic стремится расширить возможности нового поколения AI-агентов, которые смогут полноценно работать с большими объемами контекста вместо использования chunking, summarization или retrieval hacks.

Subquadratic идеально подходит для разработчиков, coding-агентов, enterprise-команд и исследователей, которым нужен надежный long-context reasoning — особенно для анализа полной базы кода, long-running агентов и сложных multi-document задач.

Highlights

• Первая полностью субквадратичная (linear-scaling) архитектура LLM.
• Контекст на миллионы токенов (до 12M токенов).
• Эффективный long-context retrieval с высокой производительностью.
• Спроектирована для работы с полными репозиториями и persistent agent state.
• OpenAI-совместимый API и интеграции с coding-агентами.

Potential Considerations

• Как исследовательская модель, расширяющая границы индустрии, проект продолжает развивать экосистему и варианты размеров моделей.
• Наиболее эффективна для long-context кейсов, а не для обычного short-prompt чата.

Overall Verdict: 4.7/5 stars

Subquadratic решает одно из главных ограничений современных LLM — квадратичную стоимость attention. Обеспечивая практичный multi-million token reasoning при значительно меньших затратах compute, SubQ представляет собой важный архитектурный шаг вперед для агентов и long-context приложений.

Начать: https://quasa.io/projects/subquadratic

#Quasa #QUA #subquadratic #QuasaRewards