Subquadratic – pregled na Quasa: prvi LLM s subkvadratno kompleksnostjo

#Quasa #QUA #subquadratic

Subquadratic je podjetje za raziskave na področju najnaprednejše umetne inteligence in razvoj infrastrukture, ki razvija nov razred velikih jezikovnih modelov. Njihov vodilni model, SubQ, je prvi LLM, zgrajen na arhitekturi redke pozornosti s povsem subkvadratno kompleksnostjo. Za razliko od tradicionalnih modelov Transformer, katerih kompleksnost narašča kvadratno z dolžino konteksta ($O(n^2)$), kompleksnost modela SubQ narašča linearno ($O(n)$), zaradi česar je sklepanje z več milijoni žetonov praktično in učinkovito.

SubQ je zasnovan posebej za naloge z dolgim kontekstom. V enem samem pozivu lahko obdela celotne repozitorije kode, dolge zgodovine agentov, večmesečne nabore zahtev za združitev in trajna stanja brez poslabšanja kakovosti. Model trenutno podpira kontekstna okna z do 12 milijoni žetonov in dosega odlične rezultate tako pri primerjalnih preizkusih pridobivanja informacij iz dolgega konteksta kot pri preizkusih splošnega sklepanja. Pri 1 milijonu žetonov SubQ potrebuje občutno manj računskih virov (po navedbah 64.5× manj kot gosta pozornost) in deluje bistveno hitreje od standardnih mehanizmov pozornosti.

Podjetje se osredotoča na načelo, da je “učinkovitost inteligenca.” Z odpravljanjem kvadratnega ozkega grla na ravni arhitekture želi Subquadratic omogočiti novo generacijo agentov umetne inteligence, ki bodo lahko resnično delali z velikimi količinami konteksta, namesto da bi se zanašali na razdeljevanje na manjše dele, povzemanje ali obvode pri pridobivanju informacij.

Subquadratic je idealen za razvijalce, agente za programiranje, ekipe v podjetjih in raziskovalce, ki potrebujejo zanesljivo sklepanje z dolgim kontekstom — zlasti za analizo celotne kodne baze, dolgotrajno delujoče agente in kompleksne naloge z več dokumenti.

Poudarki

• Prva arhitektura LLM s povsem subkvadratno kompleksnostjo (z linearnim naraščanjem).
• Kontekst z več milijoni žetonov (do 12M žetonov).
• Odlično pridobivanje informacij iz dolgega konteksta z visoko učinkovitostjo.
• Zasnovan za celotne repozitorije in trajno stanje agenta.
• API, združljiv z OpenAI, in integracije z agenti za programiranje.

• Morebitni pomisleki

• Ker gre za model na samem vrhu raziskav, se širši ekosistem in različice različnih velikosti še vedno razvijajo.
• Najprimernejši je za primere uporabe z dolgim kontekstom, manj pa za splošni klepet s kratkimi pozivi.

Skupna ocena: 4.7/5 zvezdic

Subquadratic se loteva ene najpomembnejših omejitev trenutnih modelov LLM — kvadratnih računskih stroškov pozornosti. SubQ s praktičnim sklepanjem z več milijoni žetonov ob bistveno manjši porabi računskih virov predstavlja pomemben arhitekturni korak naprej za agente in aplikacije z dolgim kontekstom.

Tudi vi si prislužite nagrado QUA z objavo ocene na Quasa.io!

Začnite: https://quasa.io/projects/subquadratic