PrismML em análise: o futuro dos grandes modelos de linguagem no próprio dispositivo

#Quasa #QUA #prismml

A PrismML é uma empresa de investigação em IA sediada nos EUA (com fortes raízes no Caltech) que se dedica a um desafio crucial: como multiplicar a inteligência dos modelos sem aumentar a sua dimensão ou complexidade. A sua solução consiste em modelos ultradensos e altamente comprimidos que oferecem um desempenho elevado, utilizando muito menos memória, energia e recursos computacionais.

O seu principal produto, o Bonsai 27B, é um modelo de 27 mil milhões de parâmetros disponível em versões de 1-bit (apenas 3.9 GB) e ternária (5.9 GB). Isto permite que um modelo desta escala seja executado diretamente em smartphones e computadores portáteis — algo anteriormente impossível com modelos convencionais de precisão total. A PrismML afirma que a versão de 1-bit utiliza 14× menos memória, é executada 8× mais depressa e consome 5× menos energia em comparação com os modelos tradicionais de 16-bit, mantendo o suporte para raciocínio em várias etapas, chamadas a ferramentas, fluxos de trabalho com agentes e compreensão multimodal.

A filosofia central da empresa é a “densidade de inteligência” — maximizar a inteligência útil por bit em vez de simplesmente aumentar o número de parâmetros. Esta abordagem visa resolver dois grandes problemas em simultâneo: os modelos de grandes dimensões que não cabem nos dispositivos pessoais e as necessidades energéticas insustentáveis dos centros de dados de enorme dimensão.

A PrismML é ideal para programadores, fabricantes de hardware, investigadores e empresas que pretendam executar IA potente localmente, com um elevado nível de privacidade, baixa latência e elevada eficiência energética.

Destaques

• Compressão de 1-bit e ternária de excelência mundial (família Bonsai).
• O Bonsai 27B funciona em telemóveis com apenas ~4 GB.
• Ganhos significativos em memória, velocidade e eficiência energética.
• Suporta raciocínio, utilização de ferramentas e capacidades multimodais no próprio dispositivo.
• Sólida base de investigação proveniente do Caltech.

Aspetos a ter em conta

• Por se tratar de uma tecnologia relativamente recente, o suporte do ecossistema e as ferramentas de ajuste fino continuam em expansão.
• Atualmente, os melhores resultados são obtidos em hardware moderno de gama alta para dispositivos móveis e computadores portáteis.

Veredito geral: 4.6/5 estrelas

A PrismML está a desbravar uma das fronteiras mais importantes da IA na atualidade — tornar os modelos de grandes dimensões viáveis nos dispositivos do dia a dia. Ao concentrar-se na densidade de inteligência em vez da dimensão bruta, a empresa está a contribuir de forma significativa para levar IA potente da nuvem para a periferia da rede.

Ganhe também uma recompensa em QUA ao publicar uma avaliação na Quasa.io!

Comece aqui: https://quasa.io/projects/prismml