PrismML – recenze: Budoucnost velkých jazykových modelů přímo na zařízeních

#Quasa #QUA #prismml

PrismML je americká společnost zabývající se výzkumem AI (se silnými kořeny v Caltech), která se zaměřuje na zásadní výzvu: jak znásobit inteligenci modelů bez zvětšování jejich velikosti či složitosti. Jejím řešením jsou mimořádně husté, vysoce komprimované modely, které poskytují vysoký výkon při výrazně nižší spotřebě paměti, energie a výpočetních prostředků.

Její vlajkový produkt, Bonsai 27B, je model s 27 miliardami parametrů dostupný v 1bitové (pouze 3.9 GB) a ternární (5.9 GB) verzi. Díky tomu může model takového rozsahu běžet přímo na chytrých telefonech a noteboocích — což dříve se standardními modely s plnou přesností nebylo možné. PrismML tvrdí, že 1bitová verze využívá 14× méně paměti, běží 8× rychleji a spotřebovává 5× méně energie ve srovnání s tradičními 16bitovými modely, přičemž stále podporuje vícekrokové uvažování, volání nástrojů, agentní pracovní postupy a multimodální porozumění.

Základní filozofií společnosti je “hustota inteligence” — maximalizace užitečné inteligence na bit namísto pouhého zvyšování počtu parametrů. Tento přístup má za cíl vyřešit dva zásadní problémy najednou: velké modely, které se nevejdou do osobních zařízení, a neudržitelné energetické nároky obrovských datových center.

PrismML je ideální pro vývojáře, výrobce hardwaru, výzkumníky a společnosti, kteří chtějí výkonnou AI běžící lokálně s vysokou úrovní ochrany soukromí, nízkou latencí a vysokou energetickou účinností.

Hlavní přednosti

• Špičková 1bitová a ternární komprese (rodina Bonsai).
• Bonsai 27B běží na telefonech s pouhými ~4 GB.
• Výrazná zlepšení v nárocích na paměť, rychlosti a energetické účinnosti.
• Podporuje uvažování, používání nástrojů a multimodální funkce přímo na zařízení.
• Silné výzkumné základy z Caltech.

Co je třeba zvážit

• Jde o relativně novou technologii, takže podpora v ekosystému a nástroje pro dolaďování modelů se stále rozšiřují.
• Nejlepších výsledků je v současnosti dosahováno na moderním špičkovém hardwaru mobilních zařízení a notebooků.

Celkové hodnocení: 4.6/5 hvězdiček

PrismML právě posouvá jednu z nejdůležitějších hranic v oblasti AI — umožňuje praktické využití velkých modelů na běžných zařízeních. Zaměřením na hustotu inteligence namísto samotné velikosti společnost významně přispívá k přesunu výkonné AI z cloudu na koncová zařízení.

Získejte odměnu v QUA také za napsání recenze na Quasa.io!

Začněte zde: https://quasa.io/projects/prismml