PrismML: Recenzie — viitorul modelelor lingvistice mari care rulează direct pe dispozitive

#Quasa #QUA #prismml

PrismML este o companie americană de cercetare în domeniul AI (cu rădăcini puternice la Caltech), axată pe o provocare esențială: cum să multiplice inteligența modelelor fără a le crește dimensiunea sau complexitatea. Soluția sa constă în modele ultradense, puternic comprimate, care oferă performanțe ridicate folosind mult mai puțină memorie, energie și putere de calcul.

Produsul său de referință, Bonsai 27B, este un model cu 27 de miliarde de parametri, disponibil în versiuni 1-bit (doar 3.9 GB) și ternare (5.9 GB). Acest lucru permite unui model de asemenea dimensiuni să ruleze direct pe smartphone-uri și laptopuri — ceva imposibil anterior cu modelele standard cu precizie completă. PrismML susține că versiunea 1-bit folosește de 14× mai puțină memorie, rulează de 8× mai rapid și consumă de 5× mai puțină energie comparativ cu modelele tradiționale 16-bit, oferind în continuare suport pentru raționament în mai mulți pași, apelarea instrumentelor, fluxuri de lucru bazate pe agenți și înțelegere multimodală.

Filozofia de bază a companiei este “densitatea inteligenței” — maximizarea inteligenței utile per bit, în locul simplei creșteri a numărului de parametri. Această abordare urmărește să rezolve simultan două probleme majore: modelele mari care nu încap pe dispozitivele personale și cerințele energetice nesustenabile ale centrelor de date masive.

PrismML este ideal pentru dezvoltatori, producători de echipamente, cercetători și companii care doresc o inteligență artificială puternică, ce rulează local, cu un nivel ridicat de confidențialitate, latență redusă și eficiență energetică ridicată.

Puncte forte

• Compresie 1-bit și ternară de nivel mondial (familia Bonsai).
• Bonsai 27B rulează pe telefoane cu doar ~4 GB.
• Îmbunătățiri semnificative în privința utilizării memoriei, a vitezei și a eficienței energetice.
• Oferă suport pentru raționament, utilizarea instrumentelor și capabilități multimodale direct pe dispozitiv.
• Bază solidă de cercetare provenită de la Caltech.

Aspecte de luat în considerare

• Fiind o tehnologie relativ nouă, suportul din partea ecosistemului și instrumentele de ajustare fină sunt încă în dezvoltare.
• Cele mai bune rezultate se obțin în prezent pe telefoane mobile și laptopuri moderne, cu echipamente de top.

Verdict general: 4.6/5 stele

PrismML avansează în prezent una dintre cele mai importante frontiere ale AI — făcând modelele mari practice pe dispozitivele de zi cu zi. Concentrându-se pe densitatea inteligenței în locul dimensiunii brute, compania contribuie substanțial la mutarea inteligenței artificiale puternice din cloud către dispozitivele de la marginea rețelei.

Câștigă și tu o recompensă în QUA publicând o recenzie pe Quasa.io!

Începe aici: https://quasa.io/projects/prismml