PrismML beoardiele: De takomst fan grutte taalmodellen op apparaten

#Quasa #QUA #prismml

PrismML is in yn de Feriene Steaten fêstige AI-ûndersyksbedriuw (mei sterke woartels by Caltech) dat him rjochtet op in krúsjale útdaging: hoe't de yntelliginsje yn modellen fermannichfâldige wurde kin sûnder har omfang of kompleksiteit te fergrutsjen. Harren oplossing bestiet út modellen mei in tige hege tichtens en sterke kompresje, dy't goed prestearje en tagelyk folle minder ûnthâld, enerzjy en rekkenkrêft brûke.

Harren wichtichste produkt, Bonsai 27B, is in model mei 27 miljard parameters dat beskikber is yn 1-bit-ferzjes (mar 3.9 GB) en ternêre ferzjes (5.9 GB). Dêrtroch kin in model fan dizze omfang streekrjocht op smartphones en laptops draaie — eat dat earder ûnmooglik wie mei standertmodellen mei folsleine presyzje. PrismML stelt dat de 1-bit-ferzje 14× minder ûnthâld brûkt, 8× flugger draait en 5× minder enerzjy ferbrûkt as tradisjonele 16-bit-modellen, wylst it model noch altyd redenearjen yn meardere stappen, it oanroppen fan ark, agentyske wurkprosessen en multimodaal begryp stipet.

De kearnfilosofy fan it bedriuw is “yntelliginsjetichtens” — safolle mooglik brûkbere yntelliginsje de bit berikke ynstee fan inkeld it tal parameters te fergrutsjen. Dizze oanpak is derop rjochte twa grutte problemen tagelyk op te lossen: grutte modellen dy't net op persoanlike apparaten passe, en it ûnhâldber hege enerzjyferlet fan ûnbidich grutte datasintra.

PrismML is ideaal foar ûntwikkelders, hardwarefabrikanten, ûndersikers en bedriuwen dy't krêftige AI lokaal draaie litte wolle mei sterke beskerming fan de privacy, in koarte reaksjetiid en hege enerzjy-effisjinsje.

Hichtepunten

• 1-bit- en ternêre kompresje fan wrâldklasse (Bonsai-famylje).
• Bonsai 27B draait op telefoans mei mar ~4 GB.
• Grutte ferbetteringen yn ûnthâldgebrûk, faasje en enerzjy-effisjinsje.
• Stipet redenearjen, it brûken fan ark en multimodale mooglikheden op it apparaat sels.
• Sterke ûndersyksbasis fan Caltech.

Mooglike oandachtspunten

• Om't de technology noch frij nij is, wurde de stipe binnen it ekosysteem en de ark foar fierdere ôfstimming noch útwreide.
• De bêste resultaten wurde op it stuit behelle op moderne hardware foar mobile apparaten en laptops út it heechste segmint.

Einbeoardieling: 4.6/5 stjerren

PrismML ferleit op it stuit ien fan de wichtichste grinzen binnen AI — grutte modellen praktysk brûkber meitsje op deistige apparaten. Troch him te rjochtsjen op yntelliginsjetichtens ynstee fan allinnich omfang, helpt it bedriuw om krêftige AI op in betsjuttingsfolle wize fan de cloud nei de einapparaten te bringen.

Fertsjinje ek in QUA-beleanning troch in beoardieling op Quasa.io te skriuwen!

Begjin hjir: https://quasa.io/projects/prismml