PrismML: análisis del futuro de los grandes modelos de lenguaje en dispositivos

#Quasa #QUA #prismml

PrismML es una empresa de investigación en IA con sede en Estados Unidos (con fuertes raíces en Caltech) centrada en un desafío crucial: cómo multiplicar la inteligencia de los modelos sin aumentar su tamaño ni su complejidad. Su solución son modelos ultradensos y altamente comprimidos que ofrecen un gran rendimiento utilizando mucha menos memoria, energía y capacidad de cómputo.

Su producto estrella, Bonsai 27B, es un modelo de 27 mil millones de parámetros disponible en versiones de 1-bit (solo 3.9 GB) y ternaria (5.9 GB). Esto permite que un modelo de esta escala se ejecute directamente en teléfonos inteligentes y portátiles — algo que antes era imposible con los modelos estándar de precisión completa. PrismML afirma que la versión de 1-bit utiliza 14× menos memoria, se ejecuta 8× más rápido y consume 5× menos energía en comparación con los modelos tradicionales de 16-bit, sin dejar de admitir razonamiento de varios pasos, llamadas a herramientas, flujos de trabajo con agentes y comprensión multimodal.

La filosofía central de la empresa es la “densidad de inteligencia” — maximizar la inteligencia útil por bit en lugar de simplemente aumentar la cantidad de parámetros. Este enfoque busca resolver dos grandes problemas a la vez: los modelos grandes que no caben en los dispositivos personales y la demanda energética insostenible de los centros de datos masivos.

PrismML es ideal para desarrolladores, fabricantes de hardware, investigadores y empresas que desean una IA potente que se ejecute localmente con un alto nivel de privacidad, baja latencia y alta eficiencia energética.

Aspectos destacados

• Compresión de 1-bit y ternaria de primer nivel mundial (familia Bonsai).
• Bonsai 27B se ejecuta en teléfonos con solo ~4 GB.
• Mejoras significativas en memoria, velocidad y eficiencia energética.
• Admite razonamiento, uso de herramientas y capacidades multimodales en el dispositivo.
• Sólida base de investigación procedente de Caltech.

Posibles aspectos a tener en cuenta

• Al tratarse de una tecnología relativamente nueva, la compatibilidad del ecosistema y las herramientas de ajuste fino siguen ampliándose.
• Actualmente, los mejores resultados se observan en hardware moderno de gama alta para móviles y portátiles.

Veredicto general: 4.6/5 estrellas

PrismML está impulsando una de las fronteras más importantes de la IA en este momento — hacer que los modelos grandes sean prácticos en los dispositivos cotidianos. Al centrarse en la densidad de inteligencia en lugar del mero tamaño, la empresa está contribuyendo de forma significativa a trasladar una IA potente de la nube a los dispositivos locales.

¡Gana una recompensa en QUA publicando tú también una reseña en Quasa.io!

Empieza aquí: https://quasa.io/projects/prismml