PrismML – recenzia: Budúcnosť veľkých jazykových modelov priamo v zariadeniach

#Quasa #QUA #prismml

PrismML je spoločnosť zaoberajúca sa výskumom AI so sídlom v USA (s pevnými koreňmi na Caltech), ktorá sa zameriava na zásadnú výzvu: ako znásobiť inteligenciu modelov bez zväčšovania ich veľkosti alebo zložitosti. Jej riešením sú mimoriadne husté, vysoko komprimované modely, ktoré poskytujú vysoký výkon pri výrazne nižšej spotrebe pamäte, energie a výpočtových zdrojov.

Jej vlajkový produkt, Bonsai 27B, je model s 27 miliardami parametrov dostupný vo verziách 1-bit (iba 3.9 GB) a ternárnej (5.9 GB). To umožňuje spúšťať model takéhoto rozsahu priamo na smartfónoch a notebookoch — čo bolo predtým so štandardnými modelmi s plnou presnosťou nemožné. PrismML tvrdí, že verzia 1-bit využíva 14× menej pamäte, beží 8× rýchlejšie a spotrebuje 5× menej energie v porovnaní s tradičnými modelmi 16-bit, pričom naďalej podporuje viackrokové uvažovanie, volanie nástrojov, agentové pracovné postupy a multimodálne porozumenie.

Základnou filozofiou spoločnosti je “hustota inteligencie” — maximalizácia užitočnej inteligencie na bit namiesto jednoduchého zvyšovania počtu parametrov. Cieľom tohto prístupu je vyriešiť dva zásadné problémy naraz: veľké modely, ktoré sa nezmestia do osobných zariadení, a neudržateľné energetické nároky obrovských dátových centier.

PrismML je ideálny pre vývojárov, výrobcov hardvéru, výskumníkov a spoločnosti, ktoré chcú výkonnú AI bežiacu lokálne so silnou ochranou súkromia, nízkou latenciou a vysokou energetickou efektívnosťou.

Hlavné prednosti

• Kompresia 1-bit a ternárna kompresia na svetovej úrovni (rodina Bonsai).
• Bonsai 27B beží na telefónoch pri veľkosti iba ~4 GB.
• Výrazné zlepšenia vo využití pamäte, rýchlosti a energetickej efektívnosti.
• Podporuje uvažovanie, používanie nástrojov a multimodálne schopnosti priamo v zariadení.
• Silné výskumné zázemie z Caltech.

Čo treba zvážiť

• Keďže ide o relatívne novú technológiu, podpora v ekosystéme a nástroje na jemné dolaďovanie sa stále rozširujú.
• Najlepšie výsledky sa v súčasnosti dosahujú na modernom špičkovom hardvéri mobilných zariadení a notebookov.

Celkové hodnotenie: 4.6/5 hviezdičiek

PrismML v súčasnosti posúva jednu z najdôležitejších hraníc AI — umožňuje praktické využitie veľkých modelov na bežných zariadeniach. Zameraním na hustotu inteligencie namiesto samotnej veľkosti spoločnosť významne pomáha presúvať výkonnú AI z cloudu na koncové zariadenia.

Získajte odmenu v QUA aj za napísanie recenzie na Quasa.io!

Začnite: https://quasa.io/projects/prismml