PrismML – ревю: Бъдещето на големите езикови модели, работещи на самото устройство

#Quasa #QUA #prismml

PrismML е американска компания за изследвания в областта на AI (със силни корени в Caltech), която се фокусира върху ключово предизвикателство: как да се умножи интелигентността на моделите, без да се увеличават размерът или сложността им. Нейното решение са модели с изключително висока плътност и силна компресия, които осигуряват висока производителност, като използват значително по-малко памет, енергия и изчислителни ресурси.

Водещият ѝ продукт, Bonsai 27B, е модел с 27 милиарда параметъра, предлаган във версии с 1-bit (само 3.9 GB) и троично представяне (5.9 GB). Това позволява модел от такъв мащаб да работи директно на смартфони и лаптопи — нещо, което преди беше невъзможно със стандартните модели с пълна точност. PrismML твърди, че версията с 1-bit използва 14× по-малко памет, работи 8× по-бързо и консумира 5× по-малко енергия в сравнение с традиционните модели с 16-bit, като същевременно поддържа разсъждение в няколко стъпки, извикване на инструменти, работни процеси с агенти и мултимодално разбиране.

Основната философия на компанията е “плътност на интелигентността” — максимизиране на полезната интелигентност на бит вместо просто увеличаване на броя на параметрите. Този подход цели да реши едновременно два основни проблема: големите модели, които не се побират на личните устройства, и неустойчиво високото потребление на енергия от огромните центрове за данни.

PrismML е идеален избор за разработчици, производители на хардуер, изследователи и компании, които искат мощен AI, работещ локално, с висока степен на поверителност, ниска латентност и висока енергийна ефективност.

Основни предимства

• Компресия от световна класа с 1-bit и троично представяне (семейството Bonsai).
• Bonsai 27B работи на телефони със само ~4 GB.
• Значителни подобрения в използването на паметта, скоростта и енергийната ефективност.
• Поддържа разсъждение, използване на инструменти и мултимодални възможности на самото устройство.
• Солидна научноизследователска основа от Caltech.

Възможни съображения

• Тъй като технологията е сравнително нова, поддръжката в екосистемата и инструментите за фина настройка все още се разширяват.
• Понастоящем най-добрите резултати се наблюдават при съвременни мобилни устройства и лаптопи с хардуер от висок клас.

Обща оценка: 4.6/5 звезди

PrismML разширява границите в едно от най-важните направления на AI в момента — превръщането на големите модели в практично решение за устройствата, които използваме всеки ден. Като се фокусира върху плътността на интелигентността вместо единствено върху размера, компанията допринася съществено за пренасянето на мощния AI от облака към крайните устройства.

Спечелете награда в QUA, като и вие публикувате ревю в Quasa.io!

Започнете: https://quasa.io/projects/prismml