PrismML рецензија: Иднината на големите јазични модели што работат директно на уредите

#Quasa #QUA #prismml

PrismML е компанија за истражување на вештачката интелигенција со седиште во САД (со силни корени во Caltech), насочена кон еден клучен предизвик: како повеќекратно да се зголеми интелигенцијата на моделите без да се зголемат нивната големина или сложеност. Нејзиното решение се модели со ултрависока густина и висок степен на компресија, кои постигнуваат одлични резултати користејќи драстично помалку меморија, енергија и пресметковни ресурси.

Нејзиниот водечки производ, Bonsai 27B, е модел со 27 милијарди параметри, достапен во 1-bit (само 3.9 GB) и тернарна (5.9 GB) верзија. Ова овозможува модел од ваков размер да работи директно на паметни телефони и лаптопи — нешто што претходно беше невозможно со стандардните модели со целосна прецизност. PrismML тврди дека 1-bit верзијата користи 14× помалку меморија, работи 8× побрзо и троши 5× помалку енергија во споредба со традиционалните 16-bit модели, а притоа и понатаму поддржува расудување во повеќе чекори, повикување алатки, работни текови со агенти и мултимодално разбирање.

Основната филозофија на компанијата е “густина на интелигенцијата” — максимизирање на корисната интелигенција по бит наместо едноставно зголемување на бројот на параметри. Овој пристап има цел да реши два големи проблема одеднаш: големите модели што не можат да се сместат на личните уреди и неодржливите енергетски потреби на огромните центри за податоци.

PrismML е идеален за развивачи, производители на хардвер, истражувачи и компании што сакаат моќна вештачка интелигенција која работи локално, со високо ниво на приватност, мала латентност и висока енергетска ефикасност.

Клучни предности

• 1-bit и тернарна компресија од светска класа (семејството Bonsai).
• Bonsai 27B работи на телефони со само ~4 GB.
• Значителни подобрувања во искористувањето на меморијата, брзината и енергетската ефикасност.
• Поддржува расудување, користење алатки и мултимодални можности директно на уредот.
• Силна истражувачка основа од Caltech.

Можни аспекти за разгледување

• Бидејќи станува збор за релативно нова технологија, поддршката во екосистемот и алатките за фино приспособување сè уште се прошируваат.
• Најдобрите резултати засега се постигнуваат со современ хардвер од висока класа за мобилни уреди и лаптопи.

Општа оценка: 4.6/5 ѕвезди

PrismML поместува една од најважните граници во вештачката интелигенција во моментов — овозможува големите модели да бидат практични за употреба на секојдневните уреди. Со насочувањето кон густината на интелигенцијата наместо кон самата големина, компанијата помага моќната вештачка интелигенција суштински да се пренесе од облакот на крајните уреди.

Заработете награда во QUA со објавување рецензија и на Quasa.io!

Започнете: https://quasa.io/projects/prismml