PrismML: análise do futuro dos grandes modelos de linguaxe en dispositivos

#Quasa #QUA #prismml

PrismML é unha empresa de investigación en IA con sede nos Estados Unidos (con fortes raíces en Caltech) centrada nun reto crucial: como multiplicar a intelixencia dos modelos sen aumentar o seu tamaño nin a súa complexidade. A súa solución consiste en modelos ultradensos e altamente comprimidos que ofrecen un gran rendemento cun consumo de memoria, enerxía e recursos de cálculo drasticamente menor.

O seu produto estrela, Bonsai 27B, é un modelo de 27 mil millóns de parámetros dispoñible en versións de 1-bit (só 3.9 GB) e ternaria (5.9 GB). Isto permite que un modelo desta escala se execute directamente en teléfonos intelixentes e ordenadores portátiles — algo que antes era imposible cos modelos estándar de precisión completa. PrismML afirma que a versión de 1-bit utiliza 14× menos memoria, funciona 8× máis rápido e consome 5× menos enerxía ca os modelos tradicionais de 16-bit, sen deixar de admitir o razoamento en varios pasos, as chamadas a ferramentas, os fluxos de traballo con axentes e a comprensión multimodal.

A filosofía central da empresa é a “densidade de intelixencia” — maximizar a intelixencia útil por bit en lugar de simplemente aumentar o número de parámetros. Este enfoque pretende resolver dous grandes problemas á vez: os modelos grandes que non caben nos dispositivos persoais e a demanda enerxética insostible dos enormes centros de datos.

PrismML é ideal para desenvolvedores, fabricantes de hardware, investigadores e empresas que queren unha IA potente que se execute localmente, cun alto nivel de privacidade, baixa latencia e alta eficiencia enerxética.

Aspectos destacados

• Compresión de 1-bit e ternaria de primeiro nivel mundial (familia Bonsai).
• Bonsai 27B execútase en teléfonos con só ~4 GB.
• Melloras significativas en memoria, velocidade e eficiencia enerxética.
• Admite razoamento, uso de ferramentas e capacidades multimodais no propio dispositivo.
• Sólida base de investigación procedente de Caltech.

Aspectos que cómpre ter en conta

• Ao tratarse dunha tecnoloxía relativamente nova, a compatibilidade co ecosistema e as ferramentas de axuste fino aínda están en expansión.
• Actualmente, os mellores resultados obtéñense con hardware moderno de gama alta en dispositivos móbiles e ordenadores portátiles.

Valoración xeral: 4.6/5 estrelas

PrismML está a ampliar unha das fronteiras máis importantes da IA na actualidade — facer que os grandes modelos sexan prácticos nos dispositivos de uso cotián. Ao centrarse na densidade de intelixencia en lugar de no mero tamaño, a empresa está a contribuír de maneira significativa a trasladar unha IA potente da nube aos dispositivos locais.

Ti tamén podes gañar unha recompensa en QUA publicando unha análise en Quasa.io!

Comeza aquí: https://quasa.io/projects/prismml