PrismML – pregled: prihodnost velikih jezikovnih modelov v napravah

#Quasa #QUA #prismml

PrismML je ameriško podjetje za raziskave umetne inteligence (z močnimi koreninami na Caltechu), ki se osredotoča na ključen izziv: kako pomnožiti inteligenco modelov, ne da bi povečali njihovo velikost ali kompleksnost. Njihova rešitev so izjemno gosti, močno stisnjeni modeli, ki zagotavljajo visoko zmogljivost ob bistveno manjši porabi pomnilnika, energije in računskih virov.

Njihov vodilni izdelek, Bonsai 27B, je model s 27 milijardami parametrov, ki je na voljo v 1-bitni (samo 3.9 GB) in ternarni (5.9 GB) različici. To omogoča, da model takšnega obsega deluje neposredno na pametnih telefonih in prenosnikih — kar s standardnimi modeli s polno natančnostjo prej ni bilo mogoče. PrismML trdi, da 1-bitna različica uporablja 14× manj pomnilnika, deluje 8× hitreje in porabi 5× manj energije v primerjavi s tradicionalnimi 16-bitnimi modeli, pri tem pa še vedno podpira večstopenjsko sklepanje, klicanje orodij, agentske delovne tokove in večmodalno razumevanje.

Temeljna filozofija podjetja je “gostota inteligence” — čim več uporabne inteligence na bit namesto zgolj povečevanja števila parametrov. Cilj tega pristopa je hkrati rešiti dve veliki težavi: velike modele, ki jih ni mogoče namestiti na osebne naprave, in nevzdržne energetske potrebe ogromnih podatkovnih centrov.

PrismML je idealen za razvijalce, proizvajalce strojne opreme, raziskovalce in podjetja, ki želijo zmogljivo umetno inteligenco, ki deluje lokalno ter zagotavlja visoko raven zasebnosti, nizko zakasnitev in visoko energetsko učinkovitost.

Poudarki

• Vrhunsko 1-bitno in ternarno stiskanje (družina Bonsai).
• Bonsai 27B deluje na telefonih s samo ~4 GB.
• Znatne izboljšave pri porabi pomnilnika, hitrosti in energetski učinkovitosti.
• Podpira sklepanje, uporabo orodij in večmodalne zmožnosti neposredno v napravi.
• Trdni raziskovalni temelji s Caltecha.

Morebitni pomisleki

• Ker gre za razmeroma novo tehnologijo, se podpora v ekosistemu in orodja za fino prilagajanje še razvijajo.
• Najboljše rezultate trenutno dosegajo na sodobni strojni opremi višjega razreda za mobilne naprave in prenosnike.

Skupna ocena: 4.6/5 zvezdic

PrismML trenutno premika eno najpomembnejših meja na področju umetne inteligence — omogoča praktično uporabo velikih modelov na vsakdanjih napravah. Z osredotočanjem na gostoto inteligence namesto zgolj na velikost podjetje pomembno prispeva k selitvi zmogljive umetne inteligence iz oblaka na rob omrežja.

Tudi vi si prislužite nagrado QUA z oceno na Quasa.io!

Začnite: https://quasa.io/projects/prismml