Subquadratic yo sedzuluswa kha Quasa: LLM ya u thoma ya sub-quadratic

#Quasa #QUA #subquadratic

Subquadratic ndi khamphani i re phanḓa kha ṱhoḓisiso na themamveledziso dza AI, ine ya khou fhaṱa lushaka luswa lwa modele khulwane dza nyambo. Modele yayo ya ndeme, SubQ, ndi LLM ya u thoma yo fhaṱwaho kha tshivhumbeo tsha u livhisa ṱhogomelo kha zwipiḓa zwo khethwaho, tshine tsha vha sub-quadratic nga vhuḓalo. Musi Transformers dza misi yoṱhe dzi tshi engedza mushumo wa u vhalela nga tshikwea tsha vhulapfu ha mafhungo ($O(n^2)$), SubQ yone i engedza wonoyo mushumo nga tshikalo tshi linganaho na vhulapfu ha mafhungo ($O(n)$), zwa ita uri u humbula nga ṱhaloganyo hu tshi shumiswa tokens dza miḽioni minzhi zwi konadzee nahone zwi shume zwavhuḓi.

SubQ yo itelwa nga maanḓa mishumo ya mafhungo o ṱanḓavhuwaho. I nga shuma nga vhugalelo hoṱhe ha khoudu, ḓivhazwakale ndapfu dza maakhente, khumbelo dza u ṱanganya khoudu dza miṅwedzi minzhi, na zwiimo zwi dzulaho zwo vhulungwa kha ndaela nthihi hu si na u fhungudzea ha ndeme ya mvelelo. Zwino modele iyi i tikedza zwikhala zwa mafhungo zwi swikaho kha 12 million tokens nahone i shuma zwavhuḓi kha zwikalo zwa u wana mafhungo kha mafhungo o ṱanḓavhuwaho na zwa u humbula nga ṱhaloganyo nga u angaredza. Kha 1 million tokens, SubQ i ṱoḓa maanḓa a u vhalela a si gathi nga maanḓa (hu ambiwa uri ndi a re fhasi nga 64.5× musi a tshi vhambedzwa na u livhisa ṱhogomelo kha zwipiḓa zwoṱhe) nahone i shuma nga u ṱavhanya nga maanḓa u fhira maitele a u livhisa ṱhogomelo a misi yoṱhe.

Khamphani iyi i livhisa ṱhogomelo kha muhumbulo wa uri “u shumisa zwishumiswa zwavhuḓi ndi vhuṱali.” Nga u tandulula tshithithisi tsha nyengedzeo ya tshikwea kha tshivhumbeo tsha modele, Subquadratic yo ḓiimisela u konisa murafho muswa wa maakhente a AI ane a nga shuma zwa vhukuma nga mafhungo manzhi, nṱhani ha u ḓitika nga u khethekanya mafhungo, u a pfufhifhadza, kana maṅwe maano a u a wana.

Subquadratic yo tea vhahadzuli vha sofuthiwee, maakhente a u ṅwala khoudu, zwigwada zwa mabindu, na vhaṱoḓisisi vhane vha ṱoḓa u humbula nga ṱhaloganyo hu fulufhedzeaho kha mafhungo o ṱanḓavhuwaho — nga maanḓa kha u sengulusa khoudu yoṱhe, maakhente ane a shuma lwa tshifhinga tshilapfu, na mishumo yo serekanaho ya maṅwalwa manzhi.

Zwa ndeme

• Tshivhumbeo tsha LLM tsha u thoma tshine tsha vha sub-quadratic nga vhuḓalo (tshine mushumo watsho wa engedzea nga tshikalo tshi linganaho na vhulapfu ha mafhungo).
• Mafhungo a tokens dza miḽioni minzhi (u swika kha 12M tokens).
• Vhukoni vhuhulwane ha u wana mafhungo kha mafhungo o ṱanḓavhuwaho hu tshi shumiswa zwishumiswa zwavhuḓi nga maanḓa.
• Yo itelwa vhugalelo hoṱhe na tshiimo tsha akhente tshi dzulaho tsho vhulungwa.
• API i shumisanaho na OpenAI na u ṱanganywa na maakhente a u ṅwala khoudu.

• Zwithu zwine zwa nga ṱoḓa u dzhielwa nṱha

• Samusi i modele ya ṱhoḓisiso i re phanḓa, maitele na zwishumiswa zwine zwa shumisana nayo, khathihi na tshaka dzayo dza saizi dzo fhambanaho, zwi kha ḓi ṱanḓavhuwa.
• Yo tea nga maanḓa mishumo ya mafhungo o ṱanḓavhuwaho u fhira nyambedzano dza nga u angaredza dzi shumisaho ndaela pfufhi.

Khaṱhulo nga u angaredza: ṋaledzi dza 4.7/5

Subquadratic i khou tandulula tshiṅwe tsha zwithithisi zwa ndeme vhukuma zwa LLM dza zwino — tshinyalelo ya u livhisa ṱhogomelo ine ya engedzea nga tshikwea tsha vhulapfu ha mafhungo. Nga u konisa u humbula nga ṱhaloganyo hu shumisaho tokens dza miḽioni minzhi nga maanḓa a u vhalela a re fhasi nga maanḓa, SubQ i imela mvelaphanḓa ya ndeme kha tshivhumbeo tsha maakhente na tshumiso dza mafhungo o ṱanḓavhuwaho.

Na inwi wanani pfufho ya QUA nga u ṅwala tsenguluso kha Quasa.io!

Thomani: https://quasa.io/projects/subquadratic