PrismML-resensie: Die toekoms van groot taalmodelle op toestelle

#Quasa #QUA #prismml

PrismML is ʼn Amerikaanse KI-navorsingsmaatskappy (met sterk wortels by Caltech) wat op ʼn kritieke uitdaging fokus: hoe om intelligensie in modelle te vermenigvuldig sonder om hul grootte of kompleksiteit te verhoog. Hul oplossing is ultradigte, hoogs saamgeperste modelle wat sterk werkverrigting lewer terwyl hulle aansienlik minder geheue, energie en rekenkrag gebruik.

Hul vlagskipproduk, Bonsai 27B, is ʼn model met 27 miljard parameters wat in 1-bit- (slegs 3.9 GB) en ternêre (5.9 GB) weergawes beskikbaar is. Dit stel ʼn model van hierdie omvang in staat om direk op slimfone en skootrekenaars te werk — iets wat voorheen met standaardmodelle met volle presisie onmoontlik was. PrismML beweer dat die 1-bit-weergawe 14× minder geheue gebruik, 8× vinniger werk en 5× minder energie verbruik as tradisionele 16-bit-modelle, terwyl dit steeds meerstapredenering, die aanroep van hulpmiddels, agentgebaseerde werkvloeie en multimodale begrip ondersteun.

Die maatskappy se kernfilosofie is “intelligensiedigtheid” — om nuttige intelligensie per bis te maksimeer eerder as om bloot die aantal parameters te vergroot. Hierdie benadering beoog om twee groot probleme tegelyk op te los: groot modelle wat nie op persoonlike toestelle pas nie, en die onvolhoubare energiebehoeftes van massiewe datasentrums.

PrismML is ideaal vir ontwikkelaars, hardewarevervaardigers, navorsers en maatskappye wat kragtige KI plaaslik wil laat werk met sterk privaatheid, lae latensie en hoë energiedoeltreffendheid.

Hoogtepunte

• Wêreldklas-1-bit- en ternêre kompressie (Bonsai-familie).
• Bonsai 27B werk op fone met slegs ~4 GB.
• Beduidende verbeterings in geheuegebruik, spoed en energiedoeltreffendheid.
• Ondersteun redenering, die gebruik van hulpmiddels en multimodale vermoëns op die toestel.
• Sterk navorsingsgrondslag vanuit Caltech.

Moontlike oorwegings

• Aangesien dit ʼn betreklik nuwe tegnologie is, brei ondersteuning binne die ekosisteem en hulpmiddels vir fyninstelling steeds uit.
• Die beste resultate word tans op moderne, hoëgehaltehardeware vir mobiele toestelle en skootrekenaars behaal.

Algehele oordeel: 4.6/5 sterre

PrismML verskuif tans een van die belangrikste grense in KI — deur groot modelle prakties bruikbaar te maak op alledaagse toestelle. Deur op intelligensiedigtheid eerder as blote grootte te fokus, help die maatskappy om kragtige KI op ʼn betekenisvolle manier van die wolk na die netwerkrand te verskuif.

Verdien ook ʼn QUA-beloning deur ʼn resensie op Quasa.io te skryf!

Begin hier: https://quasa.io/projects/prismml