Fractile en Quasa: análise dos chips de inferencia de IA de nova xeración

#Quasa #QUA #fractile

Fractile é unha empresa de tecnoloxía avanzada con sede no Reino Unido que desenvolve procesadores especializados deseñados para acelerar radicalmente a inferencia dos modelos máis avanzados. A súa principal innovación consiste en intercalar fisicamente a memoria e o cálculo no mesmo silicio — unha arquitectura que supera a separación tradicional entre a memoria e o procesamento, que actualmente limita tanto a velocidade como o custo da inferencia dos grandes modelos de linguaxe.

Cun enfoque que abrangue toda a tecnoloxía (desde o deseño dos transistores ata o software de inferencia na nube), Fractile pretende ofrecer simultaneamente baixa latencia e alta capacidade de procesamento. A empresa afirma que os seus procesadores poden executar os modelos máis avanzados ata 25× máis rápido e cun custo de aproximadamente 1/10 do das solucións existentes, ao tempo que fornecen de forma eficiente miles de tokens por segundo a miles de usuarios simultáneos.

Espérase que esta mellora do rendemento non só optimice as implantacións actuais, senón que tamén abra novas posibilidades: xanelas de contexto considerablemente máis longas e tarefas autónomas complexas (como a investigación ou o desenvolvemento de software a grande escala) que hoxe requiren días de traballo humano poderían chegar a realizarse en minutos.

Fractile captou $220 millóns de investidores entre os que se atopan Accel, Factorial Funds e Founders Fund, de Peter Thiel. O equipo traballa en Bristol e Londres e reúne amplos coñecementos especializados en hardware, software e sistemas de IA.

Fractile é ideal para laboratorios de IA, provedores de servizos na nube e empresas que precisan unha inferencia a grande escala dos modelos máis avanzados moito máis rápida e cun custo moito menor.

Aspectos destacados

• Arquitectura innovadora con memoria e cálculo intercalados.
• Inferencia ata 25× máis rápida, segundo a empresa cun custo de ~1/10 do actual.
• Deseñado para ofrecer simultaneamente baixa latencia e alta capacidade de procesamento.
• Desenvolvemento de toda a tecnoloxía, desde o silicio ata o software.
• Financiamento sólido e equipo técnico experimentado.

• Posibles aspectos que cómpre ter en conta

• O hardware aínda está en desenvolvemento (prevese que os chips comerciais cheguen máis adiante).
• As cifras actuais de rendemento baséanse en resultados internos e simulacións.
• Especialmente relevante para organizacións que planean infraestruturas de inferencia a grande escala.

Valoración global: 4.6/5 estrelas

Fractile está a abordar un dos obstáculos máis críticos da IA moderna — o custo elevado e a velocidade limitada da inferencia dos modelos máis avanzados. Ao redeseñar a relación entre a memoria e o cálculo no propio silicio, a empresa ten o potencial de cambiar de maneira significativa os custos de execución dos modelos avanzados de IA.

Ti tamén podes obter unha recompensa en QUA escribindo unha recensión en Quasa.io!

Comeza: https://quasa.io/projects/fractile