PrismML im Test: Die Zukunft großer Sprachmodelle direkt auf dem Gerät

#Quasa #QUA #prismml

PrismML ist ein KI-Forschungsunternehmen mit Sitz in den USA (mit starken Wurzeln am Caltech), das sich auf eine entscheidende Herausforderung konzentriert: Wie lässt sich die Intelligenz von Modellen vervielfachen, ohne ihre Größe oder Komplexität zu erhöhen? Die Lösung des Unternehmens sind ultradichte, stark komprimierte Modelle, die eine hohe Leistung liefern und dabei deutlich weniger Speicher, Energie und Rechenleistung benötigen.

Das Flaggschiffprodukt des Unternehmens, Bonsai 27B, ist ein Modell mit 27 Milliarden Parametern, das als 1-bit-Version (nur 3.9 GB) und als ternäre Version (5.9 GB) verfügbar ist. Dadurch kann ein Modell dieser Größenordnung direkt auf Smartphones und Laptops ausgeführt werden — etwas, das mit herkömmlichen Modellen mit voller Präzision bisher unmöglich war. Laut PrismML benötigt die 1-bit-Version 14× weniger Speicher, läuft 8× schneller und verbraucht 5× weniger Energie als herkömmliche 16-bit-Modelle. Gleichzeitig unterstützt sie weiterhin mehrstufiges Schlussfolgern, Tool-Aufrufe, agentische Arbeitsabläufe und multimodales Verständnis.

Die grundlegende Philosophie des Unternehmens ist die “Intelligenzdichte” — die nutzbare Intelligenz pro Bit zu maximieren, anstatt einfach die Anzahl der Parameter zu erhöhen. Dieser Ansatz soll zwei große Probleme gleichzeitig lösen: große Modelle, die nicht auf persönliche Geräte passen, und den auf Dauer nicht tragbaren Energiebedarf riesiger Rechenzentren.

PrismML ist ideal für Entwickler, Hardwarehersteller, Forscher und Unternehmen, die leistungsstarke KI lokal ausführen möchten — mit hohem Datenschutz, geringer Latenz und hoher Energieeffizienz.

Höhepunkte

• Erstklassige 1-bit- und ternäre Komprimierung (Bonsai-Familie).
• Bonsai 27B läuft auf Smartphones mit nur ~4 GB.
• Deutliche Verbesserungen bei Speicherbedarf, Geschwindigkeit und Energieeffizienz.
• Unterstützt Schlussfolgern, Tool-Nutzung und multimodale Funktionen direkt auf dem Gerät.
• Solide Forschungsgrundlage vom Caltech.

Mögliche Einschränkungen

• Da die Technologie noch relativ neu ist, werden die Unterstützung im Ökosystem und die Werkzeuge zur Feinabstimmung noch weiter ausgebaut.
• Die besten Ergebnisse werden derzeit auf moderner High-End-Hardware für Mobilgeräte und Laptops erzielt.

Gesamturteil: 4.6/5 Sterne

PrismML treibt derzeit eine der wichtigsten Entwicklungen im Bereich KI voran — große Modelle auf Alltagsgeräten praktisch nutzbar zu machen. Indem sich das Unternehmen auf Intelligenzdichte statt auf reine Größe konzentriert, trägt es wesentlich dazu bei, leistungsstarke KI von der Cloud auf lokale Endgeräte zu verlagern.

Verdienen auch Sie eine QUA-Belohnung, indem Sie auf Quasa.io eine Bewertung abgeben!

Jetzt loslegen: https://quasa.io/projects/prismml