Subquadratic – recenzija na Quasa: prvi subkvadratni LLM

#Quasa #QUA #subquadratic

Subquadratic je tvrtka za istraživanje i infrastrukturu u području najnaprednije umjetne inteligencije koja razvija novu klasu velikih jezičnih modela. Njihov vodeći model, SubQ, prvi je LLM izgrađen na potpuno subkvadratnoj arhitekturi s rijetkom pažnjom. Za razliku od tradicionalnih modela Transformer, čiji zahtjevi rastu kvadratno s duljinom konteksta ($O(n^2)$), zahtjevi modela SubQ rastu linearno ($O(n)$), čime zaključivanje nad više milijuna tokena postaje praktično i učinkovito.

SubQ je osmišljen posebno za zadatke s dugim kontekstom. Može obraditi cijele repozitorije koda, duge povijesti rada agenata, višemjesečne zahtjeve za uključivanje promjena i trajna stanja u jednom upitu bez pada kvalitete. Model trenutačno podržava kontekstne prozore do 12 milijuna tokena i postiže izvrsne rezultate na referentnim testovima dohvaćanja informacija iz dugog konteksta i općeg zaključivanja. Pri 1 milijun tokena SubQ zahtijeva znatno manje računalnih resursa (prema tvrdnjama, 64.5× manje nego gusta pažnja) i radi znatno brže od standardnih mehanizama pažnje.

Tvrtka se vodi načelom da je “učinkovitost inteligencija.” Rješavanjem kvadratnog uskog grla na razini arhitekture Subquadratic nastoji omogućiti novu generaciju agenata umjetne inteligencije koji mogu doista raditi s velikom količinom konteksta umjesto da se oslanjaju na dijeljenje na manje dijelove, sažimanje ili zaobilazna rješenja za dohvaćanje informacija.

Subquadratic je idealan za razvojne programere, agente za programiranje, timove u poduzećima i istraživače kojima je potrebno pouzdano zaključivanje nad dugim kontekstom — osobito za analizu cjelokupne baze koda, dugotrajni rad agenata i složene zadatke s više dokumenata.

Istaknute značajke

• Prva potpuno subkvadratna arhitektura LLM-a s linearnim rastom zahtjeva.
• Kontekst od više milijuna tokena (do 12M tokena).
• Izvrsno dohvaćanje informacija iz dugog konteksta uz visoku učinkovitost.
• Osmišljen za cijele repozitorije i trajno stanje agenta.
• API kompatibilan s OpenAI i integracije s agentima za programiranje.

• Što treba uzeti u obzir

• Budući da je riječ o najnaprednijem istraživačkom modelu, širi ekosustav i inačice različitih veličina još se razvijaju.
• Najprikladniji je za primjene s dugim kontekstom, a manje za opći razgovor s kratkim upitima.

Ukupna ocjena: 4.7/5 zvjezdica

Subquadratic rješava jedno od najvažnijih ograničenja trenutačnih LLM-ova — kvadratni računalni trošak pažnje. Omogućujući praktično zaključivanje nad više milijuna tokena uz daleko manje računalnih resursa, SubQ predstavlja značajan arhitekturni napredak za agente i aplikacije s dugim kontekstom.

Zaradite nagradu u QUA i vi pisanjem recenzija na Quasa.io!

Započnite: https://quasa.io/projects/subquadratic