PrismML: агляд будучыні вялікіх моўных мадэляў, якія працуюць непасрэдна на прыладах

#Quasa #QUA #prismml

PrismML — амерыканская кампанія, якая займаецца даследаваннямі ў галіне ШІ (з моцнымі каранямі ў Caltech) і засяроджваецца на найважнейшай задачы: як памножыць інтэлект мадэляў без павелічэння іх памеру або складанасці. Яе рашэнне — звышшчыльныя мадэлі з высокай ступенню сціскання, якія забяспечваюць высокую прадукцыйнасць, выкарыстоўваючы значна менш памяці, энергіі і вылічальных рэсурсаў.

Яе флагманскі прадукт, Bonsai 27B, — гэта мадэль з 27 мільярдамі параметраў, даступная ў версіях 1-bit (усяго 3.9 GB) і з траічным прадстаўленнем (5.9 GB). Гэта дазваляе запускаць мадэль такога маштабу непасрэдна на смартфонах і ноўтбуках — што раней было немагчыма са стандартнымі мадэлямі поўнай дакладнасці. PrismML сцвярджае, што версія 1-bit выкарыстоўвае у 14× менш памяці, працуе у 8× хутчэй і спажывае у 5× менш энергіі ў параўнанні з традыцыйнымі мадэлямі 16-bit, пры гэтым падтрымліваючы шматкрокавыя разважанні, выклік інструментаў, працоўныя працэсы з удзелам агентаў і мультымадальнае разуменне.

Асноўная філасофія кампаніі — “шчыльнасць інтэлекту” — максімізацыя карыснага інтэлекту на біт замест простага нарошчвання колькасці параметраў. Гэты падыход мае на мэце вырашыць адразу дзве галоўныя праблемы: вялікія мадэлі, якія не змяшчаюцца на асабістых прыладах, і празмерныя патрэбы велізарных цэнтраў апрацоўкі даных у энергіі.

PrismML ідэальна падыходзіць распрацоўшчыкам, вытворцам абсталявання, даследчыкам і кампаніям, якія хочуць, каб магутны ШІ працаваў лакальна з высокім узроўнем прыватнасці, малой затрымкай і высокай энергаэфектыўнасцю.

Асноўныя перавагі

• Сцісканне сусветнага ўзроўню з прадстаўленнем 1-bit і траічным прадстаўленнем (сямейства Bonsai).
• Bonsai 27B працуе на тэлефонах, займаючы ўсяго ~4 GB.
• Значныя паляпшэнні ў выкарыстанні памяці, хуткасці і энергаэфектыўнасці.
• Падтрымлівае разважанні, выкарыстанне інструментаў і мультымадальныя магчымасці непасрэдна на прыладзе.
• Моцная даследчая аснова з Caltech.

Што варта ўлічваць

• Паколькі тэхналогія адносна новая, падтрымка ў экасістэме і набор інструментаў для дадатковага навучання ўсё яшчэ пашыраюцца.
• Найлепшыя вынікі цяпер назіраюцца на сучасным мабільным абсталяванні і ноўтбуках высокага класа.

Агульная ацэнка: 4.6/5 зорак

PrismML цяпер прасоўвае адзін з найважнейшых кірункаў развіцця ШІ — робіць вялікія мадэлі практычнымі для выкарыстання на паўсядзённых прыладах. Засяроджваючыся на шчыльнасці інтэлекту замест самога памеру, кампанія дапамагае істотна прасунуць перанос магутнага ШІ з воблака на канцавыя прылады.

Таксама атрымлівайце ўзнагароду ў QUA за агляды на Quasa.io!

Пачніце: https://quasa.io/projects/prismml