PrismML-recension: Framtiden för stora språkmodeller som körs lokalt på enheter

#Quasa #QUA #prismml

PrismML är ett USA-baserat AI-forskningsföretag (med starka rötter vid Caltech) som fokuserar på en avgörande utmaning: hur man kan mångdubbla intelligensen i modeller utan att öka deras storlek eller komplexitet. Deras lösning är ultratäta, kraftigt komprimerade modeller som ger hög prestanda samtidigt som de använder dramatiskt mindre minne, energi och beräkningsresurser.

Deras flaggskeppsprodukt, Bonsai 27B, är en modell med 27 miljarder parametrar som finns i en 1-bit-version (endast 3.9 GB) och en ternär version (5.9 GB). Detta gör att en modell av den här storleken kan köras direkt på smarttelefoner och bärbara datorer — något som tidigare var omöjligt med vanliga modeller med full precision. PrismML hävdar att 1-bit-versionen använder 14× mindre minne, körs 8× snabbare och förbrukar 5× mindre energi jämfört med traditionella 16-bit-modeller, samtidigt som den fortfarande stöder resonemang i flera steg, verktygsanrop, agentbaserade arbetsflöden och multimodal förståelse.

Företagets grundfilosofi är “intelligenstäthet” — att maximera användbar intelligens per bit snarare än att bara öka antalet parametrar. Detta tillvägagångssätt syftar till att lösa två stora problem samtidigt: stora modeller som inte får plats på personliga enheter och de ohållbara energibehoven hos enorma datacenter.

PrismML är idealiskt för utvecklare, hårdvarutillverkare, forskare och företag som vill köra kraftfull AI lokalt med starkt integritetsskydd, låg latens och hög energieffektivitet.

Höjdpunkter

• 1-bit-komprimering och ternär komprimering i världsklass (Bonsai-familjen).
• Bonsai 27B körs på telefoner med endast ~4 GB.
• Betydande förbättringar av minnesanvändning, hastighet och energieffektivitet.
• Stöder resonemang, verktygsanvändning och multimodala funktioner lokalt på enheten.
• Stark forskningsgrund från Caltech.

Saker att tänka på

• Eftersom tekniken är relativt ny fortsätter stödet i ekosystemet och verktygen för finjustering att utvecklas.
• De bästa resultaten uppnås för närvarande på modern, högpresterande hårdvara i mobila enheter och bärbara datorer.

Samlat omdöme: 4.6/5 stjärnor

PrismML flyttar fram gränserna inom ett av de viktigaste områdena för AI just nu — att göra stora modeller praktiskt användbara på vardagliga enheter. Genom att fokusera på intelligenstäthet i stället för enbart storlek bidrar företaget på ett betydelsefullt sätt till att flytta kraftfull AI från molnet till lokala enheter.

Få en belöning i QUA genom att skriva en recension på Quasa.io du också!

Kom igång: https://quasa.io/projects/prismml