Subquadratic apskats Quasa: pirmais subkvadrātiskais LLM

#Quasa #QUA #subquadratic

Subquadratic ir progresīvas mākslīgā intelekta pētniecības un infrastruktūras uzņēmums, kas veido jaunu lielo valodas modeļu klasi. Uzņēmuma vadošais modelis SubQ ir pirmais LLM, kura pamatā ir pilnībā subkvadrātiska retinātās uzmanības arhitektūra. Atšķirībā no tradicionālajiem Transformer modeļiem, kuru skaitļošanas prasības pieaug kvadrātiski līdz ar konteksta garumu ($O(n^2)$), SubQ tās pieaug lineāri ($O(n)$), padarot spriešanu vairāku miljonu tokenu kontekstā praktisku un efektīvu.

SubQ ir īpaši izstrādāts uzdevumiem ar garu kontekstu. Tas vienā uzvednē var apstrādāt veselus koda repozitorijus, garas aģentu darbību vēstures, vairāku mēnešu izmaiņu pieprasījumus un pastāvīgi saglabātus stāvokļus, nezaudējot kvalitāti. Modelis pašlaik atbalsta konteksta logus līdz 12 miljoniem tokenu un uzrāda augstus rezultātus gan informācijas atrašanas testos garā kontekstā, gan vispārīgās spriešanas veiktspējas testos. Apstrādājot 1 miljonu tokenu, SubQ nepieciešams ievērojami mazāk skaitļošanas resursu (saskaņā ar norādīto informāciju — 64.5× mazāk nekā blīvās uzmanības mehānismam), un tas darbojas ievērojami ātrāk nekā standarta uzmanības mehānismi.

Uzņēmums balstās uz principu, ka “efektivitāte ir intelekts.” Atrisinot kvadrātiskās sarežģītības radīto ierobežojumu arhitektūras līmenī, Subquadratic cenšas pavērt ceļu jaunai mākslīgā intelekta aģentu paaudzei, kas spēj pilnvērtīgi strādāt ar lielu konteksta apjomu, nevis paļauties uz sadalīšanu fragmentos, kopsavilkumu veidošanu vai informācijas atrašanas apiešanas paņēmieniem.

Subquadratic ir ideāli piemērots izstrādātājiem, programmēšanas aģentiem, uzņēmumu komandām un pētniekiem, kuriem nepieciešama uzticama spriešana garā kontekstā — īpaši visas koda bāzes analīzei, ilgstoši strādājošiem aģentiem un sarežģītiem uzdevumiem ar vairākiem dokumentiem.

Galvenās priekšrocības

• Pirmā pilnībā subkvadrātiskā LLM arhitektūra ar lineāru skaitļošanas prasību pieaugumu.
• Vairāku miljonu tokenu konteksts (līdz 12M tokenu).
• Teicama informācijas atrašana garā kontekstā ar augstu efektivitāti.
• Izstrādāts veselu repozitoriju apstrādei un pastāvīgai aģenta stāvokļa saglabāšanai.
• Ar OpenAI saderīga API un integrācijas ar programmēšanas aģentiem.

• Iespējamie apsvērumi

• Tā kā tas ir progresīvs pētniecības modelis, tā plašākā ekosistēma un dažādu izmēru varianti vēl turpina attīstīties.
• Vislabāk piemērots uzdevumiem ar garu kontekstu, nevis vispārīgai tērzēšanai ar īsām uzvednēm.

Kopējais vērtējums: 4.7/5 zvaigznes

Subquadratic risina vienu no būtiskākajiem pašreizējo LLM ierobežojumiem — uzmanības mehānisma kvadrātiski pieaugošās skaitļošanas izmaksas. Nodrošinot praktisku spriešanu vairāku miljonu tokenu kontekstā ar daudz mazāku skaitļošanas resursu patēriņu, SubQ ir nozīmīgs solis uz priekšu aģentu un gara konteksta lietojumu arhitektūrā.

Arī tu vari nopelnīt QUA atlīdzību, publicējot atsauksmes Quasa.io!

Sāc šeit: https://quasa.io/projects/subquadratic