Subquadratic – ülevaade Quasas: esimene alamruutkeerukusega LLM

#Quasa #QUA #subquadratic

Subquadratic on tehisintellekti eesliiniuuringute ja taristuga tegelev ettevõte, mis loob uut tüüpi suuri keelemudeleid. Ettevõtte lipulaev SubQ on esimene LLM, mis põhineb täielikult alamruutkeerukusega hõreda tähelepanu arhitektuuril. Erinevalt traditsioonilistest Transformers-mudelitest, mille arvutusvajadus kasvab konteksti pikkusega ruutvõrdeliselt ($O(n^2)$), kasvab SubQ arvutusvajadus lineaarselt ($O(n)$), muutes mitme miljoni tokeni hõlmava arutluse praktiliseks ja tõhusaks.

SubQ on loodud spetsiaalselt pika kontekstiga ülesannete jaoks. See suudab ühe viiba raames töödelda terveid koodihoidlaid, pikki agentide tegevusajalugusid, mitme kuu jagu tõmbetaotlusi ja püsiolekuandmeid ilma kvaliteedi halvenemiseta. Mudel toetab praegu kuni 12 miljoni tokeni pikkusi kontekstiaknaid ning saavutab häid tulemusi nii pikast kontekstist teabe leidmise kui ka üldise arutlusvõime võrdlustestides. 1 miljoni tokeni korral vajab SubQ märkimisväärselt vähem arvutusressursse (väidetavalt 64.5× vähem kui tihe tähelepanu) ning töötab oluliselt kiiremini kui standardsed tähelepanumehhanismid.

Ettevõte lähtub põhimõttest, et “tõhusus on intelligentsus.” Lahendades ruutkeerukusest tuleneva kitsaskoha arhitektuuri tasandil, soovib Subquadratic võimaldada uue põlvkonna tehisintellektiagente, mis suudavad tõepoolest töötada mahuka kontekstiga, selle asemel et tugineda tükeldamisele, kokkuvõtete tegemisele või teabeotsingu abivõtetele.

Subquadratic sobib ideaalselt arendajatele, programmeerimisagentidele, ettevõtete meeskondadele ja teadlastele, kes vajavad usaldusväärset arutlusvõimet pika konteksti korral — eriti kogu koodibaasi analüüsimiseks, pikalt töötavate agentide jaoks ja keerukate mitut dokumenti hõlmavate ülesannete lahendamiseks.

Põhiomadused

• Esimene täielikult alamruutkeerukusega (lineaarselt kasvava arvutusvajadusega) LLM-i arhitektuur.
• Mitme miljoni tokeni pikkune kontekst (kuni 12M tokenit).
• Võimekas teabe leidmine pikast kontekstist suure tõhususega.
• Loodud tervete koodihoidlate ja agendi püsioleku jaoks.
• OpenAI-ga ühilduv API ja integratsioonid programmeerimisagentidega.

• Asjaolud, millega arvestada

• Kuna tegemist on eesliiniuuringutel põhineva mudeliga, on selle laiem ökosüsteem ja eri suurusega variandid alles laienemas.
• Sobib kõige paremini pika kontekstiga kasutusjuhtudeks, mitte üldiseks lühikeste viipadega vestluseks.

Üldhinnang: 4.7/5 tärni

Subquadratic tegeleb praeguste LLM-ide ühe olulisima piiranguga — tähelepanumehhanismi ruutvõrdeliselt kasvava arvutuskuluga. Pakkudes praktilist mitme miljoni tokeni hõlmavat arutlusvõimet palju väiksema arvutusvajadusega, kujutab SubQ endast olulist arhitektuurilist edasiminekut agentide ja pika kontekstiga rakenduste jaoks.

Teeni ka sina QUA preemiat, kirjutades Quasa.io lehel arvustuse!

Alusta siit: https://quasa.io/projects/subquadratic