Subquadratic fuq Quasa: Analiżi tal-Ewwel LLM Subkwadratiku

#Quasa #QUA #subquadratic

Subquadratic hija kumpanija tar-riċerka u l-infrastruttura tal-intelliġenza artifiċjali fuq quddiem nett tal-qasam, li qed tibni klassi ġdida ta’ mudelli lingwistiċi kbar. Il-mudell ewlieni tagħha, SubQ, huwa l-ewwel LLM mibni fuq arkitettura ta’ attenzjoni sparsa għalkollox subkwadratika. Għall-kuntrarju tat-Transformers tradizzjonali, li jikbru b’mod kwadratiku mat-tul tal-kuntest ($O(n^2)$), SubQ jikber b’mod lineari ($O(n)$), u b’hekk jagħmel ir-raġunament b’diversi miljuni ta’ tokens prattiku u effiċjenti.

SubQ huwa mfassal speċifikament għal ħidmiet b’kuntest twil. Jista’ jipproċessa repożitorji sħaħ tal-kodiċi, kronoloġiji twal ta’ aġenti, xhur ta’ talbiet għall-inkorporazzjoni ta’ bidliet fil-kodiċi, u stati persistenti f’talba waħda mingħajr tnaqqis fil-kwalità. Il-mudell bħalissa jappoġġa twieqi tal-kuntest sa 12-il miljun tokens u jagħti riżultati b’saħħithom kemm fil-kejl tal-irkupru tal-informazzjoni minn kuntest twil kif ukoll f’dak tar-raġunament ġenerali. B’1 miljun tokens, SubQ jeħtieġ ferm inqas riżorsi tal-komputazzjoni (skont l-istqarrija, 64.5× inqas mill-attenzjoni densa) u jaħdem ferm aktar malajr mill-mekkaniżmi standard tal-attenzjoni.

Il-kumpanija tiffoka fuq il-prinċipju li “l-effiċjenza hija intelliġenza.” Billi ssolvi l-ostaklu kwadratiku fil-livell tal-arkitettura, Subquadratic għandha l-għan li tippermetti ġenerazzjoni ġdida ta’ aġenti tal-intelliġenza artifiċjali li jistgħu tassew jaħdmu b’ammonti kbar ta’ kuntest minflok jiddependu fuq it-tqassim f’biċċiet, it-taqsir, jew soluzzjonijiet improvviżati għall-irkupru tal-informazzjoni.

Subquadratic hija ideali għall-iżviluppaturi, l-aġenti tal-ipprogrammar, it-timijiet tal-intrapriżi, u r-riċerkaturi li jeħtieġu raġunament affidabbli b’kuntest twil — speċjalment għall-analiżi tal-bażi kollha tal-kodiċi, l-aġenti li jaħdmu għal żmien twil, u ħidmiet kumplessi li jinvolvu diversi dokumenti.

Punti ewlenin

• L-ewwel arkitettura ta’ LLM għalkollox subkwadratika (li tikber b’mod lineari).
• Kuntest ta’ diversi miljuni ta’ tokens (sa 12M tokens).
• Irkupru b’saħħtu tal-informazzjoni minn kuntest twil b’effiċjenza għolja.
• Imfassal għal repożitorji sħaħ u stat persistenti tal-aġent.
• API kompatibbli ma’ OpenAI u integrazzjonijiet ma’ aġenti tal-ipprogrammar.

• Aspetti li jista’ jkun hemm bżonn jitqiesu

• Bħala mudell ta’ riċerka fuq quddiem nett tal-qasam, l-ekosistema usa’ tiegħu u l-varjanti tiegħu f’daqsijiet differenti għadhom qed jespandu.
• L-aktar adattat għal użi b’kuntest twil milli għal taħdit ġenerali b’talbiet qosra.

Verdett ġenerali: 4.7/5 stilel

Subquadratic qed tindirizza waħda mill-aktar limitazzjonijiet importanti tal-LLMs attwali — l-ispiża kwadratika tal-attenzjoni. Billi jipprovdi raġunament prattiku b’diversi miljuni ta’ tokens b’ferm inqas riżorsi tal-komputazzjoni, SubQ jirrappreżenta pass sinifikanti ’l quddiem fl-arkitettura għall-aġenti u l-applikazzjonijiet b’kuntest twil.

Aqla’ premju f’QUA billi tikteb analiżi fuq Quasa.io int ukoll!

Ibda: https://quasa.io/projects/subquadratic