Subquadratic beoordeeld op Quasa: het eerste subkwadratische LLM

#Quasa #QUA #subquadratic

Subquadratic is een bedrijf dat baanbrekend AI-onderzoek doet en AI-infrastructuur ontwikkelt, en dat bouwt aan een nieuwe klasse grote taalmodellen. Hun toonaangevende model, SubQ, is het eerste LLM dat is gebouwd op een volledig subkwadratische architectuur met spaarzame aandacht. In tegenstelling tot traditionele Transformers, die kwadratisch schalen met de contextlengte ($O(n^2)$), schaalt SubQ lineair ($O(n)$), waardoor redeneren met meerdere miljoenen tokens praktisch en efficiënt wordt.

SubQ is specifiek ontworpen voor taken met een lange context. Het kan volledige codeopslagplaatsen, lange geschiedenissen van agents, maanden aan pull requests en persistente toestanden in één prompt verwerken zonder kwaliteitsverlies. Het model ondersteunt momenteel contextvensters tot 12 miljoen tokens en levert sterke prestaties op benchmarks voor zowel het terugvinden van informatie in een lange context als algemeen redeneren. Bij 1 miljoen tokens heeft SubQ aanzienlijk minder rekenkracht nodig (naar eigen zeggen 64.5× minder dan dichte aandacht) en werkt het aanzienlijk sneller dan standaard aandachtsmechanismen.

Het bedrijf richt zich op het principe dat “efficiëntie intelligentie is.” Door het kwadratische knelpunt op architectuurniveau op te lossen, wil Subquadratic een nieuwe generatie AI-agents mogelijk maken die daadwerkelijk met grote hoeveelheden context kunnen werken, in plaats van afhankelijk te zijn van het opdelen in stukken, samenvattingen of kunstgrepen om informatie terug te vinden.

Subquadratic is ideaal voor ontwikkelaars, programmeeragents, bedrijfsteams en onderzoekers die betrouwbaar moeten kunnen redeneren met een lange context — vooral voor de analyse van volledige codebases, langdurig actieve agents en complexe taken met meerdere documenten.

Hoogtepunten

• Eerste volledig subkwadratische (lineair schalende) LLM-architectuur.
• Context van meerdere miljoenen tokens (tot 12M tokens).
• Sterk in het terugvinden van informatie in een lange context met hoge efficiëntie.
• Ontworpen voor volledige codeopslagplaatsen en een persistente toestand van agents.
• API die compatibel is met OpenAI en integraties met programmeeragents.

• Mogelijke aandachtspunten

• Omdat het om een baanbrekend onderzoeksmodel gaat, worden het bredere ecosysteem en de varianten in verschillende groottes nog verder uitgebreid.
• Het meest geschikt voor toepassingen met een lange context, eerder dan voor algemene chatgesprekken met korte prompts.

Eindoordeel: 4.7/5 sterren

Subquadratic pakt een van de belangrijkste beperkingen van de huidige LLM's aan — de kwadratische kosten van aandacht. Door praktisch redeneren met meerdere miljoenen tokens mogelijk te maken met veel minder rekenkracht, vormt SubQ een betekenisvolle stap vooruit in de architectuur voor agents en toepassingen met een lange context.

Verdien ook een QUA-beloning door een beoordeling te schrijven op Quasa.io!

Aan de slag: https://quasa.io/projects/subquadratic