PrismML a examen: el futur dels grans models de llenguatge que s’executen al dispositiu

#Quasa #QUA #prismml

PrismML és una empresa de recerca en IA amb seu als Estats Units (amb arrels sòlides a Caltech) que se centra en un repte crucial: com multiplicar la intel·ligència dels models sense augmentar-ne la mida ni la complexitat. La seva solució són models ultradensos i altament comprimits que ofereixen un rendiment elevat amb un consum de memòria, energia i recursos de càlcul dràsticament inferior.

El seu producte estrella, Bonsai 27B, és un model de 27 mil milions de paràmetres disponible en versions d’1 bit (només 3.9 GB) i ternària (5.9 GB). Això permet que un model d’aquesta escala s’executi directament en telèfons intel·ligents i ordinadors portàtils — una cosa que abans era impossible amb els models estàndard de precisió completa. PrismML afirma que la versió d’1 bit utilitza 14× menys memòria, s’executa 8× més de pressa i consumeix 5× menys energia que els models tradicionals de 16 bits, alhora que continua admetent el raonament en diversos passos, la invocació d’eines, els fluxos de treball amb agents i la comprensió multimodal.

La filosofia central de l’empresa és la “densitat d’intel·ligència” — maximitzar la intel·ligència útil per bit en lloc de limitar-se a augmentar el nombre de paràmetres. Aquest enfocament pretén resoldre dos grans problemes alhora: els models grans que no caben als dispositius personals i les necessitats energètiques insostenibles dels centres de dades de grans dimensions.

PrismML és ideal per a desenvolupadors, fabricants de maquinari, investigadors i empreses que volen una IA potent que s’executi localment amb un alt nivell de privadesa, baixa latència i una gran eficiència energètica.

Aspectes destacats

• Compressió d’1 bit i ternària de primer nivell mundial (família Bonsai).
• Bonsai 27B s’executa en telèfons amb només ~4 GB.
• Millores significatives en l’ús de memòria, la velocitat i l’eficiència energètica.
• Admet el raonament, l’ús d’eines i les capacitats multimodals al mateix dispositiu.
• Una base de recerca sòlida provinent de Caltech.

Aspectes que cal tenir en compte

• Com que és una tecnologia relativament nova, el suport de l’ecosistema i les eines d’ajust fi encara s’estan ampliant.
• Actualment, els millors resultats s’obtenen amb maquinari modern de gamma alta per a mòbils i ordinadors portàtils.

Valoració global: 4.6/5 estrelles

PrismML està fent avançar una de les fronteres més importants de la IA actual — fer que els models grans siguin pràctics en dispositius d’ús quotidià. En centrar-se en la densitat d’intel·ligència en lloc de la mera mida, l’empresa està contribuint de manera significativa a traslladar una IA potent del núvol als dispositius perifèrics.

Guanya una recompensa en QUA publicant una ressenya a Quasa.io també!

Comença: https://quasa.io/projects/prismml