Subquadratic apžvalga platformoje Quasa: pirmasis mažesnio nei kvadratinio sudėtingumo LLM

#Quasa #QUA #subquadratic

Subquadratic – pažangiausius dirbtinio intelekto tyrimus atliekanti ir infrastruktūrą kurianti bendrovė, kurianti naują didžiųjų kalbos modelių klasę. Jos pagrindinis modelis SubQ yra pirmasis LLM, sukurtas naudojant visiškai mažesnio nei kvadratinio sudėtingumo išretinto dėmesio mechanizmo architektūrą. Skirtingai nuo tradicinių Transformers, kurių skaičiavimo sąnaudos didėja kvadratiškai didėjant konteksto ilgiui ($O(n^2)$), SubQ sąnaudos didėja tiesiškai ($O(n)$), todėl samprotavimas naudojant daugelio milijonų žetonų kontekstą tampa praktiškas ir efektyvus.

SubQ sukurtas specialiai ilgo konteksto užduotims. Jis gali vienoje užklausoje apdoroti ištisas kodo saugyklas, ilgas agentų veiklos istorijas, kelių mėnesių kodo pakeitimų sujungimo užklausas ir išsaugomas būsenas neprarasdamas kokybės. Šiuo metu modelis palaiko iki 12 milijonų žetonų konteksto langus ir pasiekia gerų rezultatų tiek informacijos paieškos ilgame kontekste, tiek bendrojo samprotavimo lyginamuosiuose testuose. Apdorojant 1 milijono žetonų kontekstą, SubQ reikia gerokai mažiau skaičiavimo išteklių (teigiama, kad 64.5× mažiau nei tankiajam dėmesio mechanizmui), ir jis veikia gerokai sparčiau nei standartiniai dėmesio mechanizmai.

Bendrovė vadovaujasi principu, kad “efektyvumas yra intelektas.” Spręsdama kvadratinio sudėtingumo problemą architektūros lygmeniu, Subquadratic siekia sudaryti sąlygas naujos kartos dirbtinio intelekto agentams, kurie galėtų iš tiesų dirbti su didelės apimties kontekstu, užuot pasikliovę skaidymu į dalis, apibendrinimu ar informacijos paieškos gudrybėmis.

Subquadratic idealiai tinka kūrėjams, programavimo agentams, įmonių komandoms ir tyrėjams, kuriems reikia patikimo samprotavimo naudojant ilgą kontekstą — ypač visos kodo bazės analizei, ilgai veikiantiems agentams ir sudėtingoms užduotims, apimančioms kelis dokumentus.

Pagrindiniai privalumai

• Pirmoji visiškai mažesnio nei kvadratinio sudėtingumo LLM architektūra, kurios skaičiavimo sąnaudos didėja tiesiškai.
• Daugelio milijonų žetonų kontekstas (iki 12M žetonų).
• Geri informacijos paieškos ilgame kontekste rezultatai ir didelis efektyvumas.
• Sukurtas ištisoms kodo saugykloms ir išsaugomai agento būsenai.
• Su OpenAI suderinama API ir integracijos su programavimo agentais.

• Į ką verta atsižvelgti

• Kadangi tai pažangiausių tyrimų modelis, jo platesnė ekosistema ir skirtingų dydžių variantų pasiūla vis dar plečiama.
• Geriausiai tinka ilgo konteksto užduotims, o ne bendro pobūdžio pokalbiams su trumpomis užklausomis.

Bendras įvertinimas: 4.7/5 žvaigždučių

Subquadratic sprendžia vieną svarbiausių dabartinių LLM apribojimų — kvadratiškai didėjančias dėmesio mechanizmo skaičiavimo sąnaudas. Užtikrindamas praktišką samprotavimą naudojant daugelio milijonų žetonų kontekstą ir gerokai mažiau skaičiavimo išteklių, SubQ žymi reikšmingą architektūros pažangą agentams ir ilgo konteksto taikomosioms programoms.

Jūs taip pat užsidirbkite QUA atlygį rašydami apžvalgas Quasa.io!

Pradėkite: https://quasa.io/projects/subquadratic