Subquadratic Quasa irratti Gamaaggamuu: LLM Isa Jalqabaa Guddinni Isaa Kuwaadraatikii Gadi Ta'e

#Quasa #QUA #subquadratic

Subquadratic dhaabbata qorannoo fi bu'uuraalee misoomaa AI sadarkaa olaanaa irratti hojjetu, gosa haaraa moodeelota afaanii gurguddoo ijaaraa jiruudha. Moodeelli isaanii inni adda duree ta'e, SubQ, LLM isa jalqabaa caasaa xiyyeeffannoo faca'aa guutummaatti guddina kuwaadraatikii gadi qabu irratti ijaarameedha. Transformers baramoo dheerina haala dubbii wajjin kuwaadraatikiidhaan ($O(n^2)$) guddatan irraa adda ta'ee, SubQ sararaawaan ($O(n)$) guddata; kunis token miliyoona hedduu irratti xiinxalanii sababeessuun hojiirra ooluu fi gahumsa qabaachuu akka danda'u taasisa.

SubQ keessumaa hojiiwwan haala dubbii dheeraa barbaadaniif qophaa'e. Kuusaawwan koodii guutuu, seenaawwan dheeraa ejentootaa, gaaffiiwwan koodii walitti makuu ji'oota hedduu keessatti dhiyaatanii fi haalawwan itti fufiinsaan turan ajaja tokko keessatti qulqullinni osoo hin hir'atin adeemsisuu danda'a. Moodeelichi yeroo ammaa foddaawwan haala dubbii hamma 12 million tokens deeggaruun, madaalliiwwan odeeffannoo haala dubbii dheeraa keessaa deebisanii argachuu fi xiinxalanii sababeessuu waliigalaa irratti raawwii cimaa agarsiisa. 1 million tokens irratti, SubQ humna shallaggii baay'ee xiqqaa barbaada (xiyyeeffannoo walitti hidhamiinsa guutuu qabu caalaa 64.5× xiqqaa akka ta'e himama); mala xiyyeeffannoo baramoo caalaas saffisa baay'ee olaanaadhaan hojjeta.

Dhaabbatichi qajeeltoo “gahumsi qaroomina” jedhu irratti xiyyeeffata. Subquadratic danqaa kuwaadraatikii sadarkaa caasaatti furuudhaan, dhaloota haaraa ejentoota AI kanneen haala dubbii cicciruu, cuunfuu yookaan malawwan yeroo barbaachisanitti odeeffannoo deebisanii argachuuf qopheeffaman irratti hirkatanii hojjechuu mannaa, dhugumaan haala dubbii baay'ee wajjin hojjechuu danda'an dandeessisuu kaayyeffata.

Subquadratic misoomsitoota, ejentoota koodii barreessan, gareewwan dhaabbilee fi qorattoota haala dubbii dheeraa irratti xiinxalanii sababeessuu amanamaa barbaadaniif mijataadha — keessumaa xiinxala koodii bu'uuraa guutuu, ejentoota yeroo dheeraaf hojjetanii fi hojiiwwan walxaxoo sanadoota hedduu hammatanif.

Amaloota Ijoo

• Caasaa LLM isa jalqabaa guutummaatti guddina kuwaadraatikii gadi qabu (sararaawaan guddatu).
• Haala dubbii token miliyoona hedduu qabu (hamma 12M tokens).
• Odeeffannoo haala dubbii dheeraa keessaa deebisanii argachuu cimaa gahumsa olaanaa wajjin.
• Kuusaawwan guutuuf fi haala ejentii itti fufiinsaan turuuf qophaa'e.
• API OpenAI wajjin walsimu fi walitti hidhaminsa ejentoota koodii barreessanii.

• Dhimmoota Ilaalcha Keessa Galuu Qaban

• Moodeela qorannoo sadarkaa olaanaa irratti argamu waan ta'eef, sirni bal'aan isa marsuu fi gosoonni isaa guddinaan adda addaa ta'an ammas babal'achaa jiru.
• Marii waliigalaa ajajoota gabaabaa irratti hundaa'u caalaa, itti fayyadama haala dubbii dheeraa barbaaduuf baay'ee mijata.

Murtii Waliigalaa: Urjiilee 4.7/5

Subquadratic daangaawwan LLM yeroo ammaa keessaa isa baay'ee murteessaa ta'e tokko — baasii xiyyeeffannoo kuwaadraatikii — furuuf hojjechaa jira. SubQ humna shallaggii baay'ee xiqqaadhaan token miliyoona hedduu irratti xiinxalanii sababeessuu hojiirra ooluu danda'u dhiyeessuudhaan, ejentootaa fi aplikeeshinoota haala dubbii dheeraa fayyadamaniif tarkaanfii caasaa keessatti fuulduratti godhame hiika qabu agarsiisa.

Atis Quasa.io irratti gamaaggama barreessuudhaan badhaasa QUA argadhu!

Jalqabi: https://quasa.io/projects/subquadratic