PrismML — recenzja: przyszłość dużych modeli językowych działających bezpośrednio na urządzeniach

#Quasa #QUA #prismml

PrismML to amerykańska firma badawcza zajmująca się AI (silnie zakorzeniona w Caltech), która koncentruje się na kluczowym wyzwaniu: jak zwielokrotnić inteligencję modeli bez zwiększania ich rozmiaru ani złożoności. Jej rozwiązaniem są modele o bardzo dużej gęstości i wysokim stopniu kompresji, które zapewniają wysoką wydajność przy znacznie mniejszym zużyciu pamięci, energii i zasobów obliczeniowych.

Jej flagowy produkt, Bonsai 27B, to model o 27 miliardach parametrów, dostępny w wersji 1-bitowej (zaledwie 3.9 GB) i trójwartościowej (5.9 GB). Pozwala to uruchamiać model tej skali bezpośrednio na smartfonach i laptopach — co wcześniej było niemożliwe w przypadku standardowych modeli o pełnej precyzji. PrismML twierdzi, że wersja 1-bitowa wykorzystuje 14× mniej pamięci, działa 8× szybciej i zużywa 5× mniej energii w porównaniu z tradycyjnymi modelami 16-bitowymi, a jednocześnie nadal obsługuje wieloetapowe rozumowanie, wywoływanie narzędzi, przepływy pracy oparte na agentach oraz rozumienie multimodalne.

Podstawą filozofii firmy jest “gęstość inteligencji” — maksymalizacja użytecznej inteligencji przypadającej na bit zamiast prostego zwiększania liczby parametrów. Takie podejście ma rozwiązać jednocześnie dwa główne problemy: duże modele, które nie mieszczą się na urządzeniach osobistych, oraz niemożliwe do utrzymania na dłuższą metę zapotrzebowanie ogromnych centrów danych na energię.

PrismML to idealne rozwiązanie dla programistów, producentów sprzętu, badaczy i firm, które chcą korzystać z zaawansowanej AI działającej lokalnie, zapewniającej wysoki poziom prywatności, niskie opóźnienia i wysoką efektywność energetyczną.

Najważniejsze zalety

• Światowej klasy kompresja 1-bitowa i trójwartościowa (rodzina Bonsai).
• Bonsai 27B działa na telefonach, zajmując zaledwie ~4 GB.
• Znaczące korzyści pod względem wykorzystania pamięci, szybkości i efektywności energetycznej.
• Obsługuje rozumowanie, korzystanie z narzędzi i funkcje multimodalne bezpośrednio na urządzeniu.
• Solidne podstawy badawcze wywodzące się z Caltech.

Kwestie warte rozważenia

• Ponieważ jest to stosunkowo nowa technologia, wsparcie ekosystemu i narzędzia do dostrajania modeli wciąż się rozwijają.
• Najlepsze wyniki uzyskuje się obecnie na nowoczesnych urządzeniach mobilnych i laptopach z najwyższej półki.

Ocena ogólna: 4.6/5 gwiazdek

PrismML przesuwa obecnie jedną z najważniejszych granic w AI — sprawia, że duże modele stają się praktyczne w użyciu na urządzeniach codziennego użytku. Koncentrując się na gęstości inteligencji zamiast na samym rozmiarze, firma w istotny sposób pomaga przenosić zaawansowaną AI z chmury na urządzenia końcowe.

Ty też zdobądź nagrodę w QUA za napisanie recenzji na Quasa.io!

Zacznij: https://quasa.io/projects/prismml