Subquadratic na Quasa: Ntụle LLM Mbụ nke Mgbakọ Ya Na-eto N'okpuru Ọ̀tụ̀tụ̀ Quadratic

#Quasa #QUA #subquadratic

Subquadratic bụ ụlọ ọrụ na-eme nnyocha AI dị n'ihu n'ọhịa ahụ ma na-ewu akụrụngwa ya, nke na-emepụta ụdị ọhụrụ nke nnukwu ụdị asụsụ. Ụdị ya bụ isi, SubQ, bụ LLM mbụ e wuru n'usoro sparse-attention nke mgbakọ ya niile na-eto n'okpuru ọ̀tụ̀tụ̀ quadratic. N'adịghị ka Transformers ọdịnala, nke mgbakọ ha na-eto n'ọ̀tụ̀tụ̀ quadratic ka ogologo ihe a na-enye ha na-abawanye ($O(n^2)$), mgbakọ SubQ na-eto n'ọ̀tụ̀tụ̀ kwụ ọtọ ($O(n)$), na-eme ka ịtụgharị uche n'ihe nwere tokens ruru ọtụtụ nde bụrụ ihe a pụrụ ime nke ọma n'ejighị akụrụngwa gabiga ókè.

E mere SubQ kpọmkwem maka ọrụ ndị chọrọ iji ọtụtụ ihe e nyere ya mee ihe. Ọ pụrụ ịhazi ebe nchekwa koodu dum, akụkọ ihe niile ndị nnọchi anya AI merela ruo ogologo oge, arịrịọ ijikọ mgbanwe koodu nke ọtụtụ ọnwa, na ọnọdụ ndị a na-echekwa ka ha na-adịgide, n'otu ntuziaka n'enweghị mbelata ogo. Ugbu a, ụdị a na-akwado oghere nnabata ihe ruru tokens nde 12, ọ na-arụkwa ọrụ nke ọma na ule ọkọlọtọ maka iweghachite ozi n'ime ọtụtụ ihe e nyere ya na maka ịtụgharị uche n'ozuzu. Mgbe a na-eji tokens nde 1, SubQ chọrọ mgbakọ dị nnọọ obere (a na-ekwu na ọ dị 64.5× obere karịa nke dense attention), ọ na-arụkwa ọrụ ngwa ngwa nke ukwuu karịa usoro attention ndị a na-ejikarị eme ihe.

Ụlọ ọrụ ahụ na-elekwasị anya n'ụkpụrụ ahụ na “iji akụrụngwa eme ihe nke ọma bụ ọgụgụ isi.” Site n'idozi ihe mgbochi uto quadratic n'ọkwa usoro e ji wuo ya, Subquadratic na-achọ ime ka ọgbọ ọhụrụ nke ndị nnọchi anya AI nwee ike ịrụ ọrụ n'ezie na ọtụtụ ihe e nyere ha, kama ịdabere n'ikewa ihe n'ime iberibe, nchịkọta, ma ọ bụ ụzọ aghụghọ e si eweghachite ozi.

Subquadratic dabara nke ọma maka ndị mmepe sọftụwia, ndị nnọchi anya AI na-ede koodu, otu ọrụ ụlọ ọrụ, na ndị nnyocha chọrọ ịtụgharị uche a pụrụ ịtụkwasị obi na ọtụtụ ihe e nyere ha — karịsịa maka inyocha koodu niile, ndị nnọchi anya AI na-arụ ọrụ ogologo oge, na ọrụ dị mgbagwoju anya nke metụtara ọtụtụ akwụkwọ.

Isi ihe ndị pụtara ìhè

• Usoro owuwu LLM mbụ nke mgbakọ ya niile na-eto n'okpuru ọ̀tụ̀tụ̀ quadratic (na-eto n'ọ̀tụ̀tụ̀ kwụ ọtọ).
• Ihe e nyere ya nwere tokens ruru ọtụtụ nde (ruo tokens 12M).
• Iweghachite ozi nke ọma n'ime ọtụtụ ihe e nyere ya site n'iji akụrụngwa eme ihe nke ọma nke ukwuu.
• E mere ya maka ebe nchekwa koodu dum na ọnọdụ onye nnọchi anya AI a na-echekwa ka ọ na-adịgide.
• API dakọtara na OpenAI na njikọ na ndị nnọchi anya AI na-ede koodu.

• Ihe ndị a pụrụ ịtụle

• Dị ka ụdị nnyocha dị n'ihu n'ọhịa ahụ, usoro ngwaọrụ na ọrụ ndị gbara ya gburugburu, tinyere ụdị ya ndị nwere nha dị iche iche, ka na-agbasawanye.
• Ọ kacha dabara maka ọrụ ndị chọrọ ọtụtụ ihe e nyere ya karịa nkata izugbe nke na-eji ntuziaka dị mkpirikpi.

Mkpebi n'ozuzu: kpakpando 4.7/5

Subquadratic na-agbalị idozi otu n'ime ihe mgbochi kachasị mkpa nke LLM ndị dị ugbu a — ọnụ mgbakọ attention nke na-eto n'ọ̀tụ̀tụ̀ quadratic. Site n'ime ka ịtụgharị uche n'ihe nwere tokens ruru ọtụtụ nde bụrụ ihe a pụrụ ime site na mgbakọ dị nnọọ obere, SubQ bụ ọganihu bara uru n'usoro owuwu maka ndị nnọchi anya AI na ngwa ndị na-eji ọtụtụ ihe e nyere ha arụ ọrụ.

Nwetakwa ụgwọ ọrụ QUA site n'ide ntụle na Quasa.io!

Malite: https://quasa.io/projects/subquadratic