Subquadratic 在 Quasa 上的評測：首款次二次方複雜度 LLM

#Quasa #QUA #subquadratic

Subquadratic 是一家專注於前沿 AI 研究與基礎設施的公司，致力於打造新一類大型語言模型。其旗艦模型 SubQ 是首款完全採用次二次方複雜度稀疏注意力架構的 LLM。傳統 Transformer 的計算量會隨上下文長度呈二次方成長（$O(n^2)$），SubQ 則呈線性成長（$O(n)$），讓數百萬個 token 的推理能夠實際且有效率地運作。

SubQ 專為長上下文任務設計。它能在單一提示中處理完整的程式碼儲存庫、冗長的代理歷程、數個月的提取要求，以及持續保留的狀態，而不降低品質。此模型目前支援高達 12 million tokens 的上下文視窗，在長上下文檢索與通用推理基準測試中皆有優異表現。在 1 million tokens 的情況下，SubQ 所需的運算量大幅減少（宣稱比密集注意力少 64.5×），執行速度也明顯快於標準注意力機制。

該公司以「效率即智慧」為核心理念。Subquadratic 透過在架構層級解決二次方複雜度的瓶頸，致力於催生新一代 AI 代理，讓它們真正能夠處理大量上下文，而無須仰賴分塊、摘要或檢索上的權宜手法。

Subquadratic 非常適合需要可靠長上下文推理的開發者、程式開發代理、企業團隊及研究人員，尤其適用於完整程式碼庫分析、長時間執行的代理，以及複雜的多文件任務。

亮點

• 首個完全採用次二次方複雜度（線性擴展）的 LLM 架構。
• 數百萬個 token 的上下文（最高可達 12M tokens）。
• 強大的長上下文檢索能力，兼具高效率。
• 專為完整儲存庫設計，並支援持續保留的代理狀態。
• 與 OpenAI 相容的 API，以及程式開發代理整合。

• 可能需要考量的事項

• 作為前沿研究模型，其整體生態系與不同規模的模型版本仍在持續擴充。
• 最適合長上下文使用情境，而非一般的短提示聊天。

整體評價：4.7/5 星

Subquadratic 正在解決目前 LLM 最重要的限制之一，也就是注意力機制的二次方計算成本。SubQ 以大幅降低的運算量，提供實用的數百萬個 token 推理能力，為代理與長上下文應用帶來了具有實質意義的架構進展。

也來 Quasa.io 撰寫評論，賺取 QUA 獎勵！

開始使用： https://quasa.io/projects/subquadratic