Subquadratic : avis sur Quasa — le premier LLM sous-quadratique

#Quasa #QUA #subquadratic

Subquadratic est une entreprise de recherche et d’infrastructure en IA de pointe qui développe une nouvelle catégorie de grands modèles de langage. Son modèle phare, SubQ, est le premier LLM reposant sur une architecture d’attention parcimonieuse entièrement sous-quadratique. Contrairement aux Transformers traditionnels, dont le coût augmente de manière quadratique avec la longueur du contexte ($O(n^2)$), SubQ évolue de manière linéaire ($O(n)$), ce qui rend le raisonnement sur plusieurs millions de tokens utilisable en pratique et efficace.

SubQ est conçu spécifiquement pour les tâches à contexte long. Il peut traiter des dépôts de code entiers, de longs historiques d’agents, des mois de demandes de fusion et des états persistants dans un seul prompt, sans dégradation de la qualité. Le modèle prend actuellement en charge des fenêtres de contexte allant jusqu’à 12 millions de tokens et affiche de solides performances dans les évaluations de recherche d’informations en contexte long comme de raisonnement général. À 1 million de tokens, SubQ nécessite considérablement moins de calcul (64.5× moins que l’attention dense, selon les chiffres annoncés) et fonctionne nettement plus vite que les mécanismes d’attention standard.

L’entreprise s’appuie sur le principe selon lequel “l’efficacité est une forme d’intelligence.” En résolvant le goulot d’étranglement quadratique au niveau de l’architecture, Subquadratic vise à permettre l’émergence d’une nouvelle génération d’agents d’IA capables de travailler véritablement avec de grandes quantités de contexte, au lieu de recourir au découpage, à la synthèse ou à des astuces de recherche d’informations.

Subquadratic est idéal pour les développeurs, les agents de programmation, les équipes en entreprise et les chercheurs qui ont besoin d’un raisonnement fiable en contexte long — en particulier pour l’analyse de bases de code complètes, les agents fonctionnant sur de longues durées et les tâches complexes portant sur plusieurs documents.

Points forts

• Première architecture de LLM entièrement sous-quadratique (à croissance linéaire).
• Contexte de plusieurs millions de tokens (jusqu’à 12M tokens).
• Recherche d’informations performante en contexte long avec une grande efficacité.
• Conçu pour les dépôts complets et l’état persistant des agents.
• API compatible avec OpenAI et intégrations avec des agents de programmation.

• Points à prendre en compte

• S’agissant d’un modèle de recherche de pointe, son écosystème élargi et ses variantes de taille sont encore en développement.
• Convient davantage aux cas d’usage à contexte long qu’aux conversations généralistes avec des prompts courts.

Verdict global : 4.7/5 étoiles

Subquadratic s’attaque à l’une des limites les plus importantes des LLM actuels — le coût quadratique de l’attention. En permettant un raisonnement utilisable en pratique sur plusieurs millions de tokens avec beaucoup moins de calcul, SubQ représente une avancée architecturale significative pour les agents et les applications à contexte long.

Gagnez vous aussi une récompense en QUA en publiant un avis sur Quasa.io !

Pour commencer : https://quasa.io/projects/subquadratic