SubquadraticをQuasaでレビュー：初の計算量が二次未満のLLM

#Quasa #QUA #subquadratic

Subquadraticは、新たな種類の大規模言語モデルを構築する、最先端のAI研究・インフラ企業です。主力モデルのSubQは、計算量が完全に二次未満のスパースアテンションアーキテクチャを採用した初のLLMです。コンテキスト長に対して計算量が二次関数的に増加する従来のTransformer（$O(n^2)$）とは異なり、SubQの計算量は線形に増加する（$O(n)$）ため、数百万トークンにわたる推論を実用的かつ効率的に行えます。

SubQは、長いコンテキストを扱うタスクに特化して設計されています。コードリポジトリ全体、長大なエージェントの履歴、数か月分のプルリクエスト、永続的な状態を、品質を低下させることなく単一のプロンプトで処理できます。現在、このモデルは最大12 million tokensのコンテキストウィンドウに対応し、長いコンテキストからの情報検索と一般的な推論の両方のベンチマークで高い性能を発揮しています。1 million tokensでは、SubQが必要とする計算量は大幅に少なく（同社の主張では、密なアテンションの64.5×分の1）、標準的なアテンション機構よりも大幅に高速に動作します。

同社は、“効率こそが知性である”という原則を重視しています。Subquadraticは、計算量が二次関数的に増加するボトルネックをアーキテクチャのレベルで解消することで、分割、要約、検索の場当たり的な工夫に頼らず、大量のコンテキストを真に扱える新世代のAIエージェントの実現を目指しています。

Subquadraticは、長いコンテキストにわたる信頼性の高い推論を必要とする開発者、コーディングエージェント、企業のチーム、研究者に最適です。—特に、コードベース全体の分析、長時間稼働するエージェント、複数の文書を扱う複雑なタスクに適しています。

主な特長

• 計算量が完全に二次未満（線形に増加）の初のLLMアーキテクチャ。
• 数百万トークンのコンテキスト（最大12M tokens）。
• 長いコンテキストからの優れた情報検索性能を高い効率で実現。
• リポジトリ全体とエージェントの永続的な状態を扱うための設計。
• OpenAI互換APIとコーディングエージェントとの連携。

• 考慮すべき点

• 最先端の研究モデルであり、エコシステムの拡充やサイズの異なるモデルの展開は現在も進行中です。
• 短いプロンプトによる一般的なチャットよりも、長いコンテキストを扱う用途に最も適しています。

総合評価：星4.7/5

Subquadraticは、現在のLLMにおける最も重要な制約の一つである、アテンションのコストが二次関数的に増加する問題に取り組んでいます。SubQは、はるかに少ない計算量で実用的な数百万トークンの推論を実現することで、エージェントや長いコンテキストを扱うアプリケーションにとって、アーキテクチャ上の意義ある進歩をもたらしています。

あなたもQuasa.ioでレビューしてQUA報酬を獲得しましょう！

利用を始める： https://quasa.io/projects/subquadratic