PrismML recenzija: Budućnost velikih jezičnih modela koji rade na uređajima

#Quasa #QUA #prismml

PrismML je američka tvrtka za istraživanje umjetne inteligencije (sa snažnim korijenima na Caltechu) usmjerena na ključan izazov: kako višestruko povećati inteligenciju modela bez povećanja njihove veličine ili složenosti. Njezino su rješenje iznimno gusti, snažno komprimirani modeli koji pružaju visoke performanse uz znatno manju potrošnju memorije, energije i računalnih resursa.

Njezin vodeći proizvod, Bonsai 27B, model je s 27 milijardi parametara dostupan u 1-bitnoj (samo 3.9 GB) i ternarnoj (5.9 GB) inačici. To omogućuje da model takve veličine radi izravno na pametnim telefonima i prijenosnim računalima — što prije nije bilo moguće sa standardnim modelima pune preciznosti. PrismML tvrdi da 1-bitna inačica koristi 14× manje memorije, radi 8× brže i troši 5× manje energije u usporedbi s tradicionalnim 16-bitnim modelima, a pritom i dalje podržava zaključivanje u više koraka, pozivanje alata, agentske radne procese i multimodalno razumijevanje.

Temeljna filozofija tvrtke jest “gustoća inteligencije” — maksimiziranje korisne inteligencije po bitu umjesto jednostavnog povećavanja broja parametara. Cilj je tog pristupa istodobno riješiti dva velika problema: velike modele koji ne stanu na osobne uređaje i neodržive energetske potrebe golemih podatkovnih centara.

PrismML idealan je za razvojne programere, proizvođače hardvera, istraživače i tvrtke koji žele da moćna umjetna inteligencija radi lokalno uz visoku razinu privatnosti, nisku latenciju i visoku energetsku učinkovitost.

Istaknute značajke

• Vrhunska 1-bitna i ternarna kompresija (obitelj Bonsai).
• Bonsai 27B radi na telefonima uz samo ~4 GB.
• Znatna poboljšanja u iskorištavanju memorije, brzini i energetskoj učinkovitosti.
• Podržava zaključivanje, upotrebu alata i multimodalne mogućnosti na samom uređaju.
• Snažni istraživački temelji s Caltecha.

Što treba uzeti u obzir

• Budući da je riječ o relativno novoj tehnologiji, podrška u ekosustavu i alati za fino podešavanje još se razvijaju.
• Najbolji rezultati trenutačno se postižu na suvremenom hardveru visoke klase za mobilne uređaje i prijenosna računala.

Ukupna ocjena: 4.6/5 zvjezdica

PrismML trenutačno pomiče jednu od najvažnijih granica u području umjetne inteligencije — čini velike modele praktičnima za upotrebu na svakodnevnim uređajima. Usredotočujući se na gustoću inteligencije umjesto na samu veličinu, tvrtka pomaže ostvariti značajan pomak moćne umjetne inteligencije iz oblaka na rub mreže.

I vi osvojite nagradu u QUA pisanjem recenzija na Quasa.io!

Započnite: https://quasa.io/projects/prismml