PrismML-anmeldelse: Fremtiden for store språkmodeller som kjører lokalt på enheter

#Quasa #QUA #prismml

PrismML er et amerikansk AI-forskningsselskap (med sterke røtter ved Caltech) som fokuserer på en avgjørende utfordring: hvordan man kan mangedoble intelligensen i modeller uten å øke størrelsen eller kompleksiteten. Løsningen deres er ultratette, svært komprimerte modeller som leverer høy ytelse samtidig som de bruker dramatisk mindre minne, energi og beregningsressurser.

Flaggskipproduktet deres, Bonsai 27B, er en modell med 27 milliarder parametere, tilgjengelig i 1-bit- (kun 3.9 GB) og ternære (5.9 GB) versjoner. Dette gjør at en modell av denne størrelsen kan kjøre direkte på smarttelefoner og bærbare datamaskiner — noe som tidligere var umulig med standardmodeller med full presisjon. PrismML hevder at 1-bit-versjonen bruker 14× mindre minne, kjører 8× raskere og bruker 5× mindre energi sammenlignet med tradisjonelle 16-bit-modeller, samtidig som den støtter resonnering i flere trinn, verktøykall, agentbaserte arbeidsflyter og multimodal forståelse.

Selskapets grunnfilosofi er “intelligenstetthet” — å maksimere nyttig intelligens per bit fremfor bare å øke antallet parametere. Denne tilnærmingen tar sikte på å løse to store problemer samtidig: store modeller som ikke får plass på personlige enheter, og de uholdbare energibehovene til enorme datasentre.

PrismML er ideelt for utviklere, maskinvareprodusenter, forskere og selskaper som ønsker kraftig AI som kjører lokalt med godt personvern, lav latenstid og høy energieffektivitet.

Høydepunkter

• 1-bit-komprimering og ternær komprimering i verdensklasse (Bonsai-familien).
• Bonsai 27B kjører på telefoner med bare ~4 GB.
• Betydelige forbedringer i minnebruk, hastighet og energieffektivitet.
• Støtter resonnering, verktøybruk og multimodale funksjoner lokalt på enheten.
• Solid forskningsgrunnlag fra Caltech.

Mulige hensyn

• Siden teknologien er relativt ny, er støtten i økosystemet og verktøyene for finjustering fortsatt under utvikling.
• De beste resultatene oppnås foreløpig på moderne mobiltelefoner og bærbare datamaskiner med avansert maskinvare.

Samlet vurdering: 4.6/5 stjerner

PrismML flytter en av de viktigste grensene innen AI akkurat nå — ved å gjøre store modeller praktisk anvendelige på enheter vi bruker til daglig. Ved å fokusere på intelligenstetthet fremfor ren størrelse bidrar selskapet til å flytte kraftig AI fra skyen til lokale enheter på en betydningsfull måte.

Få belønning i QUA ved å skrive anmeldelser på Quasa.io du også!

Kom i gang: https://quasa.io/projects/prismml