Subquadratic — рецензија на Quasa: првиот LLM со потквадратна сложеност

#Quasa #QUA #subquadratic

Subquadratic е компанија за напредни истражувања и инфраструктура за вештачка интелигенција која развива нова класа големи јазични модели. Нејзиниот водечки модел, SubQ, е првиот LLM изграден врз архитектура со разредено внимание и целосно потквадратна сложеност. За разлика од традиционалните трансформери, чија сложеност расте квадратно со должината на контекстот ($O(n^2)$), сложеноста на SubQ расте линеарно ($O(n)$), што го прави расудувањето со повеќемилионски број токени практично и ефикасно.

SubQ е дизајниран специјално за задачи со долг контекст. Може да обработува цели складишта на код, долги истории на агенти, повеќемесечни барања за спојување код и трајни состојби во едно барање без намалување на квалитетот. Моделот моментално поддржува контекстни прозорци до 12 милиони токени и постигнува високи резултати и на тестовите за пронаоѓање информации во долг контекст и на тестовите за општо расудување. При 1 милион токени, SubQ бара драстично помалку пресметковни ресурси (според тврдењата, 64.5× помалку од густото внимание) и работи значително побрзо од стандардните механизми на внимание.

Компанијата се води од начелото дека “ефикасноста е интелигенција.” Со решавање на квадратното тесно грло на ниво на архитектура, Subquadratic се стреми да овозможи нова генерација агенти со вештачка интелигенција кои навистина можат да работат со големи количества контекст, наместо да се потпираат на делење на делови, сумирање или заобиколни решенија за пронаоѓање информации.

Subquadratic е идеален за развивачи, агенти за програмирање, тимови во претпријатија и истражувачи на кои им е потребно сигурно расудување со долг контекст — особено за анализа на целокупниот код, агенти што работат подолго време и сложени задачи со повеќе документи.

Клучни одлики

• Прва LLM-архитектура со целосно потквадратна сложеност (со линеарно скалирање).
• Контекст со повеќемилионски број токени (до 12M токени).
• Успешно пронаоѓање информации во долг контекст со висока ефикасност.
• Дизајниран за цели складишта на код и трајна состојба на агентите.
• API компатибилен со OpenAI и интеграции со агенти за програмирање.

• Можни аспекти за разгледување

• Како напреден истражувачки модел, поширокиот екосистем и варијантите според големината сè уште се прошируваат.
• Најсоодветен е за примени со долг контекст, наместо за општ разговор со кратки барања.

Севкупна оценка: 4.7/5 ѕвезди

Subquadratic се справува со едно од најважните ограничувања на сегашните LLM-модели — квадратниот трошок на механизмот на внимание. Со овозможување практично расудување со повеќемилионски број токени со многу помалку пресметковни ресурси, SubQ претставува значаен архитектонски чекор напред за агентите и апликациите со долг контекст.

Заработете награда во QUA така што и вие ќе напишете рецензија на Quasa.io!

Започнете: https://quasa.io/projects/subquadratic