Subquadratic sa Quasa: Pagsusuri sa Unang Sub-Quadratic LLM

#Quasa #QUA #subquadratic

Subquadratic ay isang kumpanyang nangunguna sa pananaliksik at imprastraktura ng AI at bumubuo ng bagong uri ng malalaking modelo ng wika. Ang pangunahing modelo nito, ang SubQ, ang unang LLM na binuo gamit ang ganap na sub-quadratic na arkitekturang sparse-attention. Hindi tulad ng mga tradisyonal na Transformer na kuwadratiko ang paglaki ng kinakailangang pagproseso habang humahaba ang konteksto ($O(n^2)$), linear ang paglaki nito sa SubQ ($O(n)$), kaya nagiging praktikal at episyente ang pangangatwiran gamit ang milyun-milyong token.

Partikular na idinisenyo ang SubQ para sa mga gawaing may mahabang konteksto. Kaya nitong iproseso ang buong mga repositoryo ng code, mahahabang kasaysayan ng mga agent, mga pull request na naipon sa loob ng ilang buwan, at mga estadong patuloy na pinananatili sa iisang prompt nang hindi bumababa ang kalidad. Kasalukuyang sinusuportahan ng modelo ang mga context window na hanggang 12 million tokens at mahusay ang pagganap nito sa mga benchmark para sa pagkuha ng impormasyon mula sa mahabang konteksto at sa pangkalahatang pangangatwiran. Sa 1 million tokens, lubhang mas kaunting lakas sa pagkompyut ang kailangan ng SubQ (ayon sa pahayag, 64.5× na mas kaunti kaysa sa dense attention) at higit na mas mabilis itong tumatakbo kaysa sa mga karaniwang mekanismo ng attention.

Nakatuon ang kumpanya sa prinsipyong “ang pagiging episyente ay katalinuhan.” Sa paglutas sa kuwadratikong limitasyon sa mismong antas ng arkitektura, layunin ng Subquadratic na bigyang-daan ang bagong henerasyon ng mga AI agent na tunay na makagagamit ng napakaraming konteksto sa halip na umasa sa paghahati-hati nito, pagbubuod, o mga pansamantalang diskarte sa pagkuha ng impormasyon.

Angkop ang Subquadratic para sa mga developer, mga agent sa pagko-code, mga pangkat sa negosyo, at mga mananaliksik na nangangailangan ng maaasahang pangangatwiran sa mahabang konteksto — lalo na para sa pagsusuri ng buong codebase, mga agent na tumatakbo nang matagal, at masalimuot na mga gawaing gumagamit ng maraming dokumento.

Mga Pangunahing Tampok

• Unang ganap na sub-quadratic na arkitektura ng LLM (linear ang paglaki ng kinakailangang pagproseso).
• Kontekstong may milyun-milyong token (hanggang 12M tokens).
• Mahusay na pagkuha ng impormasyon mula sa mahabang konteksto nang may mataas na kahusayan sa paggamit ng mga mapagkukunan.
• Idinisenyo para sa buong mga repositoryo at patuloy na pagpapanatili ng estado ng agent.
• API na tugma sa OpenAI at mga integrasyon sa mga agent sa pagko-code.

• Mga Posibleng Dapat Isaalang-alang

• Bilang isang modelo para sa makabagong pananaliksik, patuloy pang lumalawak ang ekosistema nito at ang mga bersyong may iba't ibang laki.
• Pinakaangkop para sa mga paggamit na may mahabang konteksto kaysa sa pangkalahatang pakikipag-chat gamit ang maiikling prompt.

Pangkalahatang Hatol: 4.7/5 stars

Tinutugunan ng Subquadratic ang isa sa pinakamahahalagang limitasyon ng mga kasalukuyang LLM — ang kuwadratikong gastos sa pagproseso ng attention. Sa pagbibigay ng praktikal na pangangatwiran gamit ang milyun-milyong token na nangangailangan ng higit na mas kaunting lakas sa pagkompyut, kumakatawan ang SubQ sa isang makabuluhang pagsulong sa arkitektura para sa mga agent at mga aplikasyong gumagamit ng mahabang konteksto.

Makakuha rin ng gantimpalang QUA sa pamamagitan ng pagsusulat ng pagsusuri sa Quasa.io!

Magsimula: https://quasa.io/projects/subquadratic