Fractile 在 Quasa 上的评测:下一代 AI 推理芯片
#Quasa #QUA #fractile
Fractile 是一家总部位于英国的深科技公司,致力于打造专用处理器,大幅加速前沿模型的推理。其核心创新是在同一块硅片上将内存与计算单元交错排列—这种架构突破了传统的存算分离方式,而存算分离目前正是制约大语言模型推理速度和成本的因素。
Fractile 采用全栈方案(从晶体管级设计到云端推理软件),旨在同时实现低延迟和高吞吐量。该公司声称,其处理器运行最先进模型的速度最高可达现有解决方案的 25×,成本约为现有解决方案的 1/10th,同时能够高效地为数千名并发用户提供每秒数千个 token 的服务。
这一性能提升预计不仅能优化当前的部署,还将开启新的可能性:显著延长上下文窗口,并有望将如今需要人工花费数天完成的复杂自主任务(如研究或大规模软件开发)压缩到几分钟内完成。
Fractile 已从 Accel、Factorial Funds 和 Peter Thiel 的 Founders Fund 等投资方筹集了 $220 million。团队在布里斯托尔和伦敦两地开展工作,汇聚了硬件、软件和 AI 系统领域的深厚专业知识。
Fractile 非常适合需要大规模运行前沿模型,并希望显著提高推理速度和成本效益的 AI 实验室、云服务提供商和企业。
亮点
- 创新架构,将内存与计算单元交错排列。
- 声称推理速度最高可达 25×,成本为原来的 ~1/10th。
- 旨在同时实现低延迟和高吞吐量。
- 全栈开发,涵盖从硅片到软件的各个层面。
- 雄厚的资金支持和经验丰富的技术团队。
-
潜在考量因素
- 硬件仍在开发中(商用芯片预计将在之后推出)。
- 当前的性能数据基于内部结果和模拟。
- 最适合的机构是计划建设大规模推理基础设施的机构。
综合评价:4.6/5 星
Fractile 正在解决现代 AI 最关键的瓶颈之一—前沿模型推理的高成本与速度限制。通过在硅片层面重新设计内存与计算之间的关系,该公司有望显著改变运行先进 AI 模型的经济效益。
也来 Quasa.io 撰写评测,赚取 QUA 奖励吧!























