PrismML-anmeldelse: Fremtiden for store sprogmodeller på lokale enheder

#Quasa #QUA #prismml

PrismML er en amerikansk AI-forskningsvirksomhed (med stærke rødder i Caltech), der fokuserer på en afgørende udfordring: hvordan man mangedobler intelligensen i modeller uden at øge deres størrelse eller kompleksitet. Deres løsning er ultratætte, stærkt komprimerede modeller, der leverer høj ydeevne, samtidig med at de bruger markant mindre hukommelse, energi og beregningskraft.

Deres flagskibsprodukt, Bonsai 27B, er en model med 27 milliarder parametre, der fås i en 1-bit-version (kun 3.9 GB) og en ternær version (5.9 GB). Det gør det muligt for en model af denne størrelse at køre direkte på smartphones og bærbare computere — noget, der tidligere var umuligt med almindelige modeller med fuld præcision. PrismML hævder, at 1-bit-versionen bruger 14× mindre hukommelse, kører 8× hurtigere og forbruger 5× mindre energi sammenlignet med traditionelle 16-bit-modeller, samtidig med at den stadig understøtter ræsonnement i flere trin, værktøjskald, agentbaserede arbejdsgange og multimodal forståelse.

Virksomhedens grundlæggende filosofi er “intelligenstæthed” — at maksimere den nyttige intelligens pr. bit frem for blot at øge antallet af parametre. Denne tilgang sigter mod at løse to store problemer på én gang: store modeller, der ikke kan være på personlige enheder, og det uholdbare energibehov i enorme datacentre.

PrismML er ideelt til udviklere, hardwareproducenter, forskere og virksomheder, der ønsker kraftfuld AI, som kører lokalt med stærk beskyttelse af privatlivet, lav latenstid og høj energieffektivitet.

Højdepunkter

• 1-bit-komprimering og ternær komprimering i verdensklasse (Bonsai-familien).
• Bonsai 27B kører på telefoner med kun ~4 GB.
• Betydelige forbedringer i hukommelsesforbrug, hastighed og energieffektivitet.
• Understøtter ræsonnement, brug af værktøjer og multimodale funktioner direkte på enheden.
• Stærkt forskningsfundament fra Caltech.

Mulige forbehold

• Da teknologien er relativt ny, er understøttelsen i økosystemet og værktøjerne til finjustering stadig under udbygning.
• De bedste resultater ses i øjeblikket på moderne mobiltelefoner og bærbare computere med hardware i den høje ende.

Samlet vurdering: 4.6/5 stjerner

PrismML flytter lige nu en af de vigtigste grænser inden for AI — ved at gøre store modeller praktisk anvendelige på hverdagens enheder. Ved at fokusere på intelligenstæthed frem for ren størrelse bidrager virksomheden på væsentlig vis til at flytte kraftfuld AI fra skyen ud på lokale enheder.

Optjen også en QUA-belønning ved at skrive anmeldelser på Quasa.io!

Kom i gang: https://quasa.io/projects/prismml