PrismML-review: de toekomst van grote taalmodellen op het apparaat

#Quasa #QUA #prismml

PrismML is een in de Verenigde Staten gevestigd AI-onderzoeksbedrijf (met sterke wortels bij Caltech) dat zich richt op een cruciale uitdaging: hoe de intelligentie van modellen te vermenigvuldigen zonder hun omvang of complexiteit te vergroten. Hun oplossing bestaat uit ultracompacte, sterk gecomprimeerde modellen die sterke prestaties leveren en daarbij aanzienlijk minder geheugen, energie en rekenkracht gebruiken.

Hun belangrijkste product, Bonsai 27B, is een model met 27 miljard parameters, beschikbaar in een 1-bit-versie (slechts 3.9 GB) en een ternaire versie (5.9 GB). Hierdoor kan een model van deze omvang rechtstreeks op smartphones en laptops draaien — iets wat voorheen onmogelijk was met standaardmodellen met volledige precisie. PrismML stelt dat de 1-bit-versie 14× minder geheugen gebruikt, 8× sneller werkt en 5× minder energie verbruikt dan traditionele 16-bit-modellen, terwijl deze nog steeds redeneren in meerdere stappen, het aanroepen van tools, workflows met AI-agenten en multimodaal begrip ondersteunt.

De kernfilosofie van het bedrijf is “intelligentiedichtheid” — de bruikbare intelligentie per bit maximaliseren in plaats van simpelweg het aantal parameters te vergroten. Deze aanpak is bedoeld om twee grote problemen tegelijk op te lossen: grote modellen die niet op persoonlijke apparaten passen en de onhoudbare energiebehoefte van enorme datacenters.

PrismML is ideaal voor ontwikkelaars, hardwarefabrikanten, onderzoekers en bedrijven die krachtige AI lokaal willen laten draaien, met sterke privacybescherming, een lage latentie en een hoge energie-efficiëntie.

Hoogtepunten

• 1-bit- en ternaire compressie van wereldklasse (Bonsai-familie).
• Bonsai 27B draait op telefoons met slechts ~4 GB.
• Aanzienlijke verbeteringen in geheugengebruik, snelheid en energie-efficiëntie.
• Ondersteunt redeneren, het gebruik van tools en multimodale mogelijkheden op het apparaat zelf.
• Sterke onderzoeksbasis vanuit Caltech.

Mogelijke aandachtspunten

• Omdat het een relatief nieuwe technologie is, worden de ondersteuning binnen het ecosysteem en de tools voor het verfijnen van modellen nog verder uitgebreid.
• De beste resultaten worden momenteel behaald op moderne, hoogwaardige hardware voor mobiele apparaten en laptops.

Eindoordeel: 4.6/5 sterren

PrismML verlegt momenteel een van de belangrijkste grenzen binnen AI — grote modellen praktisch bruikbaar maken op alledaagse apparaten. Door zich te richten op intelligentiedichtheid in plaats van pure omvang, helpt het bedrijf krachtige AI op een betekenisvolle manier van de cloud naar de edge te verplaatsen.

Verdien ook een QUA-beloning door een review te schrijven op Quasa.io!

Aan de slag: https://quasa.io/projects/prismml