PrismML рецензија: Будућност великих језичких модела на самим уређајима

#Quasa #QUA #prismml

PrismML је компанија за истраживање вештачке интелигенције са седиштем у САД (са снажним коренима на универзитету Caltech), усредсређена на кључни изазов: како вишеструко повећати интелигенцију модела без повећања њихове величине или сложености. Њихово решење су модели изузетно велике густине и високог степена компресије који остварују одличне перформансе уз драстично мању потрошњу меморије, енергије и рачунарских ресурса.

Њихов водећи производ, Bonsai 27B, модел је са 27 милијарди параметара, доступан у верзији 1-bit (само 3.9 GB) и тернарној верзији (5.9 GB). То омогућава да се модел овог обима покреће директно на паметним телефонима и лаптоповима — што је раније било немогуће са стандардним моделима пуне прецизности. PrismML тврди да верзија 1-bit користи 14× мање меморије, ради 8× брже и троши 5× мање енергије у поређењу са традиционалним моделима 16-bit, а притом и даље подржава закључивање у више корака, позивање алата, агентске токове рада и мултимодално разумевање.

Основна филозофија компаније је “густина интелигенције” — максимално повећање корисне интелигенције по биту уместо једноставног повећавања броја параметара. Овај приступ има за циљ да истовремено реши два велика проблема: велике моделе који не могу да стану на личне уређаје и неодрживе енергетске потребе огромних центара података.

PrismML је идеалан за програмере, произвођаче хардвера, истраживаче и компаније које желе моћну вештачку интелигенцију која ради локално, уз висок ниво приватности, мало кашњење и високу енергетску ефикасност.

Кључне предности

• Компресија 1-bit и тернарна компресија светске класе (породица Bonsai).
• Bonsai 27B ради на телефонима уз само ~4 GB.
• Значајна побољшања у искоришћењу меморије, брзини и енергетској ефикасности.
• Подржава закључивање, употребу алата и мултимодалне могућности на самом уређају.
• Снажна истраживачка основа са универзитета Caltech.

Шта треба узети у обзир

• Пошто је реч о релативно новој технологији, подршка у екосистему и алати за фино подешавање и даље се развијају.
• Најбољи резултати тренутно се постижу на савременим мобилним уређајима и лаптоповима високе класе.

Укупна оцена: 4.6/5 звездица

PrismML тренутно помера једну од најважнијих граница у области вештачке интелигенције — чини велике моделе практично употребљивим на свакодневним уређајима. Усредсређујући се на густину интелигенције уместо на саму величину, компанија на значајан начин помаже преласку моћне вештачке интелигенције из облака на крајње уређаје.

Зарадите QUA награду тако што ћете и ви написати рецензију на Quasa.io!

Почните: https://quasa.io/projects/prismml