PrismML értékelés: Az eszközön futó nagy nyelvi modellek jövője

#Quasa #QUA #prismml

A PrismML egy egyesült államokbeli, erős Caltech-gyökerekkel rendelkező AI-kutatócég, amely egy kulcsfontosságú kihívásra összpontosít: hogyan lehet megsokszorozni a modellek intelligenciáját méretük vagy összetettségük növelése nélkül. Megoldásuk az ultrasűrű, nagymértékben tömörített modellekben rejlik, amelyek kiváló teljesítményt nyújtanak, miközben drámaian kevesebb memóriát, energiát és számítási kapacitást használnak.

Zászlóshajó termékük, a Bonsai 27B egy 27 milliárd paraméteres modell, amely 1 bites (mindössze 3.9 GB) és ternáris (5.9 GB) változatban érhető el. Ez lehetővé teszi, hogy egy ekkora modell közvetlenül okostelefonokon és laptopokon fusson — ami korábban a szokásos, teljes pontosságú modellekkel lehetetlen volt. A PrismML állítása szerint az 1 bites változat 14× kevesebb memóriát használ, 8× gyorsabban fut, és 5× kevesebb energiát fogyaszt a hagyományos 16 bites modellekhez képest, miközben továbbra is támogatja a többlépéses következtetést, az eszközhívást, az ágensalapú munkafolyamatokat és a multimodális megértést.

A vállalat alapvető filozófiája az „intelligenciasűrűség” — a bitenkénti hasznos intelligencia maximalizálása a paraméterszám puszta növelése helyett. Ez a megközelítés egyszerre két jelentős probléma megoldását célozza: a személyes eszközökön el nem férő nagy modellekét és a hatalmas adatközpontok fenntarthatatlan energiaigényét.

A PrismML ideális fejlesztők, hardvergyártók, kutatók és olyan vállalatok számára, amelyek nagy teljesítményű, helyben futó AI-t szeretnének erős adatvédelemmel, alacsony késleltetéssel és magas energiahatékonysággal.

Főbb jellemzők

• Világszínvonalú 1 bites és ternáris tömörítés (Bonsai család).
• A Bonsai 27B telefonokon is fut, mindössze ~4 GB memóriaigénnyel.
• Jelentős javulás a memóriahasználat, a sebesség és az energiahatékonyság terén.
• Támogatja a következtetést, az eszközhasználatot és a multimodális képességeket közvetlenül az eszközön.
• Erős kutatási háttér a Caltech révén.

Lehetséges megfontolások

• Mivel viszonylag új technológiáról van szó, az ökoszisztéma támogatása és a finomhangolási eszközök köre még folyamatosan bővül.
• Jelenleg a modern, felső kategóriás mobil- és laptophardvereken érhetők el a legjobb eredmények.

Összesített értékelés: 4.6/5 csillag

A PrismML jelenleg az AI egyik legfontosabb területén tágítja a határokat — a nagy modellek mindennapi eszközökön való gyakorlati használatát teszi lehetővé. A vállalat azáltal, hogy a puszta méret helyett az intelligenciasűrűségre összpontosít, érdemben hozzájárul ahhoz, hogy a nagy teljesítményű AI a felhőből a peremeszközökre kerüljön.

Szerezz QUA jutalmat azzal, hogy te is értékelést írsz a Quasa.io oldalán!

Kezdj hozzá: https://quasa.io/projects/prismml