Subquadratic: агляд на Quasa — першая субквадратычная LLM

#Quasa #QUA #subquadratic

Subquadratic — кампанія, якая займаецца перадавымі даследаваннямі і інфраструктурай у галіне штучнага інтэлекту і стварае новы клас вялікіх моўных мадэляў. Яе флагманская мадэль, SubQ, — першая LLM, пабудаваная на цалкам субквадратычнай архітэктуры разрэджанай увагі. У адрозненне ад традыцыйных трансформераў, вылічальныя выдаткі якіх растуць квадратычна з павелічэннем даўжыні кантэксту ($O(n^2)$), SubQ маштабуецца лінейна ($O(n)$), што робіць разважанне з кантэкстам у шмат мільёнаў токенаў практычным і эфектыўным.

SubQ распрацавана спецыяльна для задач з доўгім кантэкстам. Яна можа апрацоўваць цэлыя рэпазіторыі кода, доўгія гісторыі агентаў, запыты на зліццё за некалькі месяцаў і станы, якія захоўваюцца, у адным запыце без пагаршэння якасці. Цяпер мадэль падтрымлівае кантэкстныя вокны памерам да 12 мільёнаў токенаў і паказвае высокія вынікі як у тэстах пошуку інфармацыі ў доўгім кантэксце, так і ў тэстах агульнага разважання. Пры 1 мільёне токенаў SubQ патрабуе значна менш вылічальных рэсурсаў (паводле заяўленых даных, у 64.5× менш, чым шчыльная ўвага) і працуе істотна хутчэй за стандартныя механізмы ўвагі.

Кампанія кіруецца прынцыпам “эфектыўнасць — гэта інтэлект.” Вырашаючы праблему квадратычнага абмежавання на ўзроўні архітэктуры, Subquadratic імкнецца зрабіць магчымым новае пакаленне агентаў штучнага інтэлекту, якія змогуць сапраўды працаваць з вялікімі аб'ёмамі кантэксту, замест таго каб спадзявацца на разбіццё на часткі, абагульненне або абыходныя прыёмы пошуку інфармацыі.

Subquadratic ідэальна падыходзіць распрацоўшчыкам, агентам праграмавання, карпаратыўным камандам і даследчыкам, якім патрэбна надзейнае разважанне з доўгім кантэкстам — асабліва для аналізу ўсёй кодавай базы, працяглай працы агентаў і складаных задач з некалькімі дакументамі.

Асноўныя перавагі

• Першая цалкам субквадратычная архітэктура LLM з лінейным маштабаваннем.
• Кантэкст у шмат мільёнаў токенаў (да 12M токенаў).
• Высокая якасць пошуку інфармацыі ў доўгім кантэксце пры высокай эфектыўнасці.
• Распрацавана для працы з цэлымі рэпазіторыямі і захавання стану агента.
• API, сумяшчальны з OpenAI, і інтэграцыі з агентамі праграмавання.

• Што варта ўлічыць

• Паколькі гэта перадавая даследчая мадэль, яе экасістэма і набор варыянтаў рознага памеру яшчэ пашыраюцца.
• Найлепш падыходзіць для сцэнарыяў выкарыстання з доўгім кантэкстам, а не для звычайнага чата з кароткімі запытамі.

Агульная ацэнка: 4.7/5 зорак

Subquadratic вырашае адну з найважнейшых праблем сучасных LLM — квадратычны рост вылічальных выдаткаў механізму ўвагі. Забяспечваючы практычнае разважанне з кантэкстам у шмат мільёнаў токенаў пры значна меншых вылічальных выдатках, SubQ уяўляе сабой істотны крок наперад у архітэктуры для агентаў і праграм з доўгім кантэкстам.

Таксама атрымлівайце ўзнагароду ў QUA за водгукі на Quasa.io!

Пачніце: https://quasa.io/projects/subquadratic