Subquadratic aztergai Quasan: lehen LLM azpikuadratikoa

#Quasa #QUA #subquadratic

Subquadratic adimen artifizialaren abangoardiako ikerketan eta azpiegituretan diharduen enpresa bat da, hizkuntza-eredu handien mota berri bat garatzen ari dena. Bere eredu nagusia, SubQ, arreta sakabanatuko arkitektura erabat azpikuadratiko batean oinarritutako lehen LLM da. Testuinguruaren luzerarekin koadratikoki eskalatzen duten ohiko Transformer ereduek ez bezala ($O(n^2)$), SubQ ereduak linealki eskalatzen du ($O(n)$), eta, horri esker, milioika tokeneko arrazoiketa praktikoa eta eraginkorra da.

SubQ testuinguru luzeko zereginetarako diseinatu da berariaz. Kode-biltegi osoak, agenteen historia luzeak, hainbat hilabetetako pull request-ak eta egoera iraunkorrak prozesatu ditzake agindu bakar batean, kalitatea galdu gabe. Gaur egun, ereduak 12 milioi token arteko testuinguru-leihoak onartzen ditu, eta emaitza sendoak lortzen ditu bai testuinguru luzeetan informazioa berreskuratzeko ebaluazio-probetan, bai arrazoiketa orokorrekoetan. 1 milioi tokenekin, SubQ ereduak askoz konputazio gutxiago behar du (arreta trinkoak baino 64.5× gutxiago, enpresaren arabera), eta ohiko arreta-mekanismoek baino nabarmen azkarrago funtzionatzen du.

Enpresaren jardunaren oinarria “eraginkortasuna adimena da” printzipioa da. Arkitekturaren mailan botila-lepo koadratikoa konponduta, Subquadratic enpresak adimen artifizialeko agenteen belaunaldi berri bat ahalbidetu nahi du, testuinguru-kantitate handiekin benetan lan egin dezan, testuingurua zatitzearen, laburtzearen edo informazioa berreskuratzeko trikimailuen mende egon beharrean.

Subquadratic aproposa da testuinguru luzeko arrazoiketa fidagarria behar duten garatzaileentzat, kodea idazteko agenteentzat, enpresetako taldeentzat eta ikertzaileentzat — bereziki kode-base osoak aztertzeko, luzaroan jarduten duten agenteetarako eta dokumentu anitzeko zeregin konplexuetarako.

Ezaugarri nagusiak

• Lehen LLM arkitektura erabat azpikuadratikoa (linealki eskalatzen duena).
• Milioika tokeneko testuingurua (12M token arte).
• Testuinguru luzeetan informazioa berreskuratzeko gaitasun sendoa, eraginkortasun handikoa.
• Biltegi osoetarako diseinatua, baita agenteen egoera iraunkorrerako ere.
• OpenAI-rekin bateragarria den APIa eta kodea idazteko agenteekiko integrazioak.

• Kontuan hartzeko alderdiak

• Abangoardiako ikerketa-eredua denez, haren ekosistema zabala eta tamaina-aldaintzak oraindik hedatzen ari dira.
• Egokiagoa da testuinguru luzeko erabileretarako agindu laburretan oinarritutako txat orokorrerako baino.

Balorazio orokorra: 4.7/5 izar

Subquadratic enpresa egungo LLMen muga garrantzitsuenetako bati heltzen ari zaio — arretaren kostu koadratikoari. Askoz konputazio gutxiagorekin milioika tokeneko arrazoiketa praktikoa eskainiz, SubQ ereduak aurrerapauso esanguratsua dakar arkitekturan, agenteentzat eta testuinguru luzeko aplikazioentzat.

Irabazi QUA saria Quasa.io webgunean ere ebaluazio bat eginez!

Hasi: https://quasa.io/projects/subquadratic