Subquadratic beoardiele op Quasa: de earste subkwadratyske LLM

#Quasa #QUA #subquadratic

Subquadratic is in bedriuw foar baanbrekkend AI-ûndersyk en ynfrastruktuer dat in nije klasse grutte taalmodellen ûntwikkelet. Harren flaggeskipmodel, SubQ, is de earste LLM dy't boud is op in folslein subkwadratyske arsjitektuer mei sparsame oandacht. Oars as tradisjonele Transformers dy't kwadratysk skaalje mei de kontekstlingte ($O(n^2)$), skaalt SubQ lineêr ($O(n)$), wat redenearjen mei meardere miljoenen tokens praktysk en effisjint makket.

SubQ is spesifyk ûntwurpen foar taken mei in lange kontekst. It kin folsleine koadebewarplakken, lange skiednissen fan aginten, moannen oan pull requests en oanhâldende tastannen yn ien prompt ferwurkje sûnder kwaliteitsferlies. It model stipet op it stuit kontekstfinsters fan oant 12 miljoen tokens en leveret sterke prestaasjes op benchmarks foar sawol it weromfinen fan ynformaasje yn lange konteksten as algemien redenearjen. By 1 miljoen tokens hat SubQ folle minder rekkenkrêft nedich (neffens de opjefte 64.5× minder as tichte oandacht) en wurket it oanmerklik flugger as standert oandachtsmeganismen.

It bedriuw rjochtet him op it prinsipe dat “effisjinsje yntelliginsje is.” Troch it kwadratyske knyppunt op it nivo fan de arsjitektuer op te lossen, wol Subquadratic in nije generaasje AI-aginten mooglik meitsje dy't wier mei grutte hoemannichten kontekst wurkje kinne ynstee fan te fertrouwen op it opdielen yn stikken, gearfettingen of keunstgrepen foar it weromfinen fan ynformaasje.

Subquadratic is ideaal foar ûntwikkelders, programmearaginten, bedriuwsteams en ûndersikers dy't betrouber redenearjen mei in lange kontekst nedich hawwe — benammen foar it analysearjen fan folsleine koadebases, aginten dy't lang aktyf bliuwe en yngewikkelde taken mei meardere dokuminten.

Hichtepunten

• Earste folslein subkwadratyske (lineêr skalearjende) LLM-arsjitektuer.
• Kontekst fan meardere miljoenen tokens (oant 12M tokens).
• Sterk yn it weromfinen fan ynformaasje yn lange konteksten mei hege effisjinsje.
• Untwurpen foar folsleine koadebewarplakken en in oanhâldende tastân fan aginten.
• API dy't kompatibel is mei OpenAI en yntegraasjes mei programmearaginten.

• Mooglike oandachtspunten

• As baanbrekkend ûndersyksmodel wurdt it bredere ekosysteem noch útwreide en komme der noch farianten fan ferskillende grutte by.
• It meast geskikt foar tapassingen mei in lange kontekst ynstee fan algemiene petearen mei koarte prompts.

Algemien oardiel: 4.7/5 stjerren

Subquadratic pakt ien fan de wichtichste beheiningen fan hjoeddeiske LLMs oan — de kwadratyske kosten fan oandacht. Troch praktysk redenearjen mei meardere miljoenen tokens mooglik te meitsjen mei folle minder rekkenkrêft, betsjut SubQ in wichtige stap foarút yn de arsjitektuer foar aginten en tapassingen mei in lange kontekst.

Fertsjinje ek in QUA-beleanning troch in beoardieling op Quasa.io te skriuwen!

Begjin hjir: https://quasa.io/projects/subquadratic