AI検索の「考える時間」を学習時へ、R4Tは推論を最大20倍高速化

Google Researchは2026年9月15日、検索のたびに言語モデルへ複数の検索方向を考えさせる代わりに、その重い処理を学習時へ移す「Retrieve-for-Train（R4T）」の解説を公開した。Google Researchの9月15日付解説 によると、強化学習で得た振る舞いを約5390万パラメータの拡散検索器に学習させ、推論時には複数の検索方向を単一の非自己回帰パスで生成する。

この9月15日の発表で示された高速化は、R4T全体や検索サービス全体ではなく、拡散モデル版のR4T-Diffusionによるクエリ・ファンアウト生成の結果だ。9月16日付の技術分析 は、10方向を生成する比較で、自己回帰方式の約1.46秒に対して拡散方式が0.07秒、最大バッチでは約50秒に対して4.21秒となり、12〜20倍の差が出たと整理している。

検索時の推論を、学習時の探索へ置き換える

R4Tが扱うのは、一つの正解を探す通常の検索ではなく、複数の結果をまとまりとして構成する「クエリ・ファンアウト」だ。「キャンプ用品」という要求なら、似たテントを並べるのではなく、テント、寝袋、調理器具、照明など、互いに補完する方向へクエリを分ける。

一般的な自己回帰型のファンアウトでは、言語モデルが入力のたびにサブクエリを一つずつ生成する。対象データベースに合う多様な方向を探すには推論トークンと逐次処理が必要になり、生成数やバッチが増えるほど待ち時間が延びる。汎用モデルが元の要求に近い言い換えばかりを返し、結果集合が均質になる問題もある。

R4Tは、良い分岐を発見する高コストな役割と、実行時に分岐を出す役割を分離する。強化学習済みの言語モデルを検索のたびに動かすのではなく、そのモデルが見つけた高報酬の分岐を合成教師データへ変換し、小型の拡散検索器へ移す。実行時のモデルは文章としてサブクエリを順番に書かず、検索対象に対応する複数の埋め込みをまとめて生成する。

R4Tを構成する三つの段階

3月6日公開の原論文 は、R4Tを、集合単位の報酬による言語モデルの訓練、教師データの合成、軽量な拡散検索器の訓練という三段階で定義している。人が望ましい検索集合を一件ずつラベル付けするのではなく、強化学習で発見した方策を後段の教師として再利用する設計だ。

1. ファンアウト言語モデルの訓練：一つの入力から複数のサブクエリを生成し、固定した検索器で候補を取得する。報酬は個々の結果ではなく、取得した集合全体に対して計算する。
2. 合成教師データの作成：訓練済みモデルから目的に沿う出力を採取し、元のクエリと目標集合の学習ペアへ変換する。
3. 拡散検索器の訓練：合成データを使い、クエリ埋め込みから複数の目標埋め込みを同時生成するモデルを学習させる。生成後は近傍探索によってデータベース内の項目へ対応付ける。

正解集合が一つに定まらない課題では、報酬に「グラウンデッドネス」「多様性」「整合性」を組み合わせた。データベース内の項目へ結び付くこと、異なる意味方向へ広がること、元の要求から外れないことを同時に求めるためだ。一項目だけを強めると、データベース上の特定位置に近い無意味な文字列や、元のクエリの反復へ収束する可能性がある。

最大20倍が成立した比較条件

速度比較では、各方式が一つの入力から10個の検索方向を生成した。バッチサイズ8では、自己回帰型ファンアウトが約1.46秒、53.9Mパラメータの拡散モデルが0.07秒だった。バッチサイズ1024では、それぞれ約50秒と4.21秒であり、測定範囲の差が12〜20倍となる。

したがって、見出しの「最大20倍」は検索方向を生成する工程の壁時計時間を指す。検索インデックスへの照会、ランキング、ネットワーク通信、キャッシュ、画面表示までを含めたサービス全体の応答時間ではない。また、強化学習済み言語モデルをそのまま動かすR4T-FOLMには自己回帰処理が残るため、この倍率をR4Tの全構成へ一律に当てはめることもできない。

品質はファッションと音楽で評価

評価には、ユーザーが組み合わせた服装集合を収録するPolyvoreと、専門家が作成したプレイリストからなる非公開の音楽データセットが使われた。ファッション側はCLIP系、音楽側はMuLanの埋め込みを利用し、単一クエリ検索、未学習のゼロショット展開、複数回の生成から高報酬の候補を選ぶBest-of-Nなどと比較した。

課題は二種類ある。一つは唯一の正解集合を置かず、多様性、元クエリとの整合性、データベースへの接地性で測るオープンエンド抽象検索。もう一つは、複数の妥当な集合があり得る中で、一つの参照集合を弱い教師としてカバレッジを測る合成検索である。

R4T-FOLMは、近い言い換えの反復を抑えながら、対象データベースに沿う検索方向を探す品質面の役割を担う。R4T-Diffusionは、その出力分布を埋め込み空間で近似し、単一パスで速度と集合品質を両立させる構成だ。ただし、拡散版はテキストの中間サブクエリを出さないため、言語モデル版と同じ方法ではグラウンデッドネスを評価できない。

一般向け検索への導入は未発表

現時点で確認できるのは、ICML 2026の研究として示された手法とベンチマーク結果である。Google検索などの一般向け製品にR4Tを導入したとの発表ではなく、公開APIや利用者向け機能が提供されたわけでもない。

品質評価にも境界がある。正解集合のない課題ではGeminiを判定モデルとして5段階評価を行い、参照集合を使う課題でも、その集合は唯一の完全な正解とは扱われていない。報酬の重みを変えれば、多様性、整合性、カバレッジの均衡も変わる。

R4Tが示したのは、複雑な集合レベルの目的を強化学習で事前に探索し、その結果を小型モデルの並列生成へ移せる可能性だ。一方、公開ウェブ検索や大規模な推薦環境で、データ更新、未知のクエリ、安全性、インデックスの変化を含めた総遅延と品質がどうなるかは、まだ検証されていない。