PrismML recenzija: Budućnost velikih jezičkih modela na uređajima

#Quasa #QUA #prismml

PrismML je kompanija za istraživanje umjetne inteligencije sa sjedištem u SAD-u (sa snažnim korijenima na Caltechu) usmjerena na ključni izazov: kako višestruko povećati inteligenciju modela bez povećanja njihove veličine ili složenosti. Njihovo rješenje su izuzetno gusti, visoko komprimirani modeli koji pružaju visoke performanse uz znatno manju potrošnju memorije, energije i računarskih resursa.

Njihov vodeći proizvod, Bonsai 27B, model je sa 27 milijardi parametara dostupan u verzijama 1-bit (samo 3.9 GB) i ternarnoj (5.9 GB). To omogućava da model ovih razmjera radi direktno na pametnim telefonima i laptopima — što ranije nije bilo moguće sa standardnim modelima pune preciznosti. PrismML tvrdi da verzija 1-bit koristi 14× manje memorije, radi 8× brže i troši 5× manje energije u poređenju s tradicionalnim modelima 16-bit, a pritom i dalje podržava zaključivanje u više koraka, pozivanje alata, agentske radne procese i multimodalno razumijevanje.

Osnovna filozofija kompanije je “gustoća inteligencije” — maksimiziranje korisne inteligencije po bitu umjesto jednostavnog povećavanja broja parametara. Ovaj pristup nastoji istovremeno riješiti dva velika problema: velike modele koji ne mogu stati na lične uređaje i neodržive energetske potrebe ogromnih podatkovnih centara.

PrismML je idealan za programere, proizvođače hardvera, istraživače i kompanije koje žele snažnu umjetnu inteligenciju koja radi lokalno, uz visok nivo privatnosti, nisku latenciju i visoku energetsku efikasnost.

Izdvojene karakteristike

• Kompresija 1-bit i ternarna kompresija svjetske klase (porodica Bonsai).
• Bonsai 27B radi na telefonima uz samo ~4 GB.
• Značajna poboljšanja u korištenju memorije, brzini i energetskoj efikasnosti.
• Podržava zaključivanje, korištenje alata i multimodalne mogućnosti na samom uređaju.
• Snažna istraživačka osnova s Caltecha.

Šta treba uzeti u obzir

• Budući da je riječ o relativno novoj tehnologiji, podrška u ekosistemu i alati za fino podešavanje još se razvijaju.
• Najbolji rezultati trenutno se postižu na savremenom hardveru visoke klase za mobilne uređaje i laptope.

Ukupna ocjena: 4.6/5 zvjezdica

PrismML trenutno pomjera jednu od najvažnijih granica u umjetnoj inteligenciji — čini velike modele praktičnim za upotrebu na svakodnevnim uređajima. Fokusiranjem na gustoću inteligencije umjesto na samu veličinu, kompanija značajno doprinosi premještanju snažne umjetne inteligencije iz oblaka na krajnje uređaje.

Zaradite QUA nagradu tako što ćete i vi napisati recenziju na Quasa.io!

Započnite: https://quasa.io/projects/prismml