PrismML aztergai: gailuan bertan exekutatzen diren hizkuntza-eredu handien etorkizuna

#Quasa #QUA #prismml

PrismML AEBetan egoitza duen AA ikerketako enpresa bat da (Caltech-en sustrai sendoak dituena), eta funtsezko erronka bat du ardatz: nola biderkatu ereduen adimena haien tamaina edo konplexutasuna handitu gabe. Haren irtenbidea dentsitate oso handiko eredu oso konprimituak dira: errendimendu handia eskaintzen dute, askoz memoria, energia eta konputazio-baliabide gutxiago erabiliz.

Haren produktu nagusia, Bonsai 27B, 27 mila milioi parametroko eredua da, eta 1-bit (3.9 GB soilik) eta hirutar (5.9 GB) bertsioetan dago eskuragarri. Horri esker, tamaina horretako eredu bat zuzenean telefono adimendunetan eta ordenagailu eramangarrietan exekuta daiteke — lehen ezinezkoa zen hori doitasun osoko eredu estandarrekin. PrismML enpresaren arabera, 1-bit bertsioak 14× memoria gutxiago erabiltzen du, 8× azkarrago exekutatzen da eta 5× energia gutxiago kontsumitzen du ohiko 16-bit ereduekin alderatuta; aldi berean, hainbat urratseko arrazoibidea, tresnei dei egitea, agenteen bidezko lan-fluxuak eta ulermen multimodala ahalbidetzen ditu.

Enpresaren oinarrizko filosofia “adimen-dentsitatea” da — bit bakoitzeko adimen erabilgarria ahalik eta gehien handitzea, parametro kopurua handitzera mugatu beharrean. Ikuspegi horrek bi arazo nagusi aldi berean konpontzea du helburu: gailu pertsonaletan sartzen ez diren eredu handiak eta datu-zentro erraldoien energia-behar jasanezinak.

PrismML aproposa da AA indartsua lokalean exekutatu nahi duten garatzaileentzat, hardware-fabrikatzaileentzat, ikertzaileentzat eta enpresentzat, pribatutasun sendoarekin, latentzia txikiarekin eta energia-eraginkortasun handiarekin.

Alderdi aipagarrienak

• Munduko maila goreneko 1-bit konpresioa eta konpresio hirutarra (Bonsai familia).
• Bonsai 27B telefonoetan exekutatzen da, ~4 GB soilik erabilita.
• Hobekuntza nabarmenak memoria-erabileran, abiaduran eta energia-eraginkortasunean.
• Arrazoibidea, tresnen erabilera eta gaitasun multimodalak ahalbidetzen ditu gailuan bertan.
• Ikerketa-oinarri sendoa, Caltech-etik datorrena.

Kontuan hartzeko alderdiak

• Teknologia nahiko berria denez, ekosistemaren euskarria eta doikuntza xeherako tresnak hedatzen ari dira oraindik.
• Gaur egun, emaitzarik onenak goi-mailako telefono mugikor eta ordenagailu eramangarri modernoen hardwarean lortzen dira.

Balorazio orokorra: 4.6/5 izar

PrismML aurrera egiten ari da gaur egun AAren esparruko mugarik garrantzitsuenetako batean — eredu handiak eguneroko gailuetan praktiko bihurtzen. Tamaina hutsa handitu beharrean adimen-dentsitatea ardatz hartuta, enpresa AA indartsua hodeitik sarearen ertzera eramaten laguntzen ari da, modu esanguratsuan.

Irabazi QUA saria Quasa.io webgunean ere iritzia emanez!

Hasi: https://quasa.io/projects/prismml