Fractile 在 Quasa 上的評測:新世代 AI 推論晶片

#Quasa #QUA #fractile

Fractile 是一家總部位於英國的深科技公司,致力於打造專用處理器,旨在大幅加速前沿模型的推論。其核心創新在於將記憶體與運算單元實體交錯配置於同一片矽晶片上——這種架構克服了傳統上記憶體與處理單元分離的限制,而這項限制目前正制約著大型語言模型推論的速度與成本。

Fractile 採取全端開發方式(從電晶體層級的設計到雲端推論軟體),力求同時實現低延遲與高吞吐量。該公司宣稱,其處理器執行最先進模型的速度最高可達現有解決方案的 25×,成本則約為現有方案的 1/10th,同時能有效率地為數千名同時使用的使用者提供每秒數千個 tokens 的服務。

這項效能提升預期不僅能最佳化現有部署,還能開啟新的可能性:大幅延長上下文視窗,並讓目前需要人類投入數天心力的複雜自主作業(例如研究或大規模軟體開發),有機會縮短至幾分鐘內完成。

Fractile 已向包括 Accel、Factorial Funds,以及 Peter Thiel 的 Founders Fund 在內的投資者募得 $220 million。團隊分別在布里斯托與倫敦工作,結合了硬體、軟體及 AI 系統領域的深厚專業知識。

Fractile 非常適合需要大規模執行前沿模型推論,並要求速度大幅提升、成本效益更高的 AI 實驗室、雲端服務供應商及企業。

亮點

  • 創新架構,將記憶體與運算單元交錯配置。
  • 宣稱推論速度最高可達 25×,成本約為原本的 1/10th。
  • 旨在同時實現低延遲與高吞吐量。
  • 全端開發,涵蓋矽晶片到軟體。
  • 雄厚資金支持與經驗豐富的技術團隊。
  • 潛在考量

  • 硬體仍在開發中(商用晶片預計稍後推出)。
  • 目前的效能數據以內部測試結果與模擬為基礎。
  • 最適合的組織是正在規劃大規模推論基礎設施的組織。

整體評價:4.6/5 顆星

Fractile 正致力於解決現代 AI 最關鍵的瓶頸之一——前沿模型推論的高成本與速度限制。透過在矽晶片層級重新設計記憶體與運算之間的關係,該公司有望實質改變執行先進 AI 模型的成本效益。

也來 Quasa.io 撰寫評論,賺取 QUA 獎勵!

立即開始: https://quasa.io/projects/fractile

您可能錯過了