Geminiが動画の見る場所を自分で選ぶ、トークン消費は最大88％減

Googleは2026年9月1日、質問に応じて見る区間、速度、情報の種類をGemini自身が選ぶ「agentic video understanding」をGemini APIで提供開始した。Google DeepMindの公式発表 では、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteに対応し、アップロード動画とYouTube動画をGoogle AI StudioおよびGemini Enterprise Agent Platformから処理できるとしている。

新方式は動画全体を固定間隔で読み込む代わりに、映像フレーム、音声、文字起こしから候補区間を探し、必要な場面を異なる速度で再走査する。Googleのベンチマークでは従来方式に比べ、トークン消費が最大88％、解析費用が最大66％減り、精度は最大7％向上した。ただし、これらは異なる試験で得られた最大値であり、すべての動画で同時に実現する保証値ではない。

固定1 FPSから「探して見直す」処理へ

従来の静的処理との違いは、動画全体をあらかじめ同じ密度で取り込むのではなく、質問への回答に必要な証拠をモデルが段階的に集める点にある。静的処理は標準で毎秒1フレームを抽出し、設定したフレームレートに沿って動画を処理するため、尺が長くなるほど入力も増えやすい。

1. 質問から、映像、音声、文字起こしのどこに手掛かりがありそうかを判断する。
2. 関連しそうな時間帯を検索し、必要な区間と情報だけを読み込む。
3. 短時間の動きや異常を確かめる必要があれば、その区間を高いフレームレートで見直す。
4. 集めた断片を照合し、証拠が足りなければ別の区間や情報種別を再確認する。

この仕組みなら、1 FPSのサンプリング間で起きる一瞬の状態変化や、速い反復動作を詳しく確認できる。数時間の録画から特定の発言や場面を探す場合は全編を同じ密度で処理せずに済む一方、全場面の網羅を求める質問では探索範囲が広がり、利点が小さくなる可能性がある。

APIでは3モデルに対応、消費者向け展開はこれから

提供開始時点の対応モデルはGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteの3種類だ。API設定の動画入力で処理方式を「agentic」に指定する。専用機能の追加料金はなく、通常のGemini APIトークン料金が適用される。

現在利用できる開発者向けAPIと、今後展開される消費者向けサービスは分けて考える必要がある。GeminiアプリのFlashおよびFlash-Liteへの搭載は「近日中」、YouTube視聴ページのAsk YouTubeへの採用は「今後数カ月」とされ、具体的な開始日は示されていない。APIでの提供開始は、すべてのGeminiアプリ利用者への即時開放を意味しない。

88％減は二つの長時間動画テストで得た上限

最大88％という数字は、Gemini 3.7 Flashのエージェント型処理を、低いメディア解像度、高い思考レベル、静的処理1 FPSという条件と比べた結果だ。公開グラフを検証したPPC Land によると、1H-VideoQAは1問当たり397,600から47,700トークン、LVBenchは300,300から36,000トークンへ減り、いずれも約88％の削減だった。複雑な推論を測るMinervaでは80,900から33,600トークンとなり、削減率は58.4％だった。

精度の変化も一様ではない。Minervaは73.7％から79.0％、1H-VideoQAは87.5％から88.5％、LVBenchは85.1％から88.6％に上がった。最大のトークン削減と最大の精度向上は同じ試験から得られた数字ではなく、「トークン最大88％減」「費用最大66％減」「精度最大7％向上」を一つの処理で同時に期待することはできない。

トークン削減率より費用削減率が小さい理由を再計算できる、ベンチマーク別の完全な課金内訳は公開されていない。選択的な読み込みでは動画入力を減らせるが、区間の探索、推論、内部ツールの呼び出しにも処理が必要になるため、動画の長さだけから費用効果を推定するのは難しい。

実際の効果は動画と質問の組み合わせで変わる

88％を保証値と誤認しないためには、同じ動画、質問、モデル、解像度、思考設定をそろえ、静的処理とエージェント型処理を比較する必要がある。特に確認すべき項目は次の通りだ。

• 動画の性質：尺、重要場面の密度、動きの速さ、主要な証拠が映像・音声・文字起こしのどこにあるか。
• 質問の範囲：特定の瞬間を探す質問か、全編の要約や漏れのない確認か。
• 総消費量：動画入力に加え、探索、推論、内部ツール利用、最終出力を含むトークン数。
• 費用と待ち時間：1問当たりの総額、再走査の回数、回答完了までの時間。
• 回答品質：正答率だけでなく、重要場面の見落とし、誤った時間位置、映像と音声の取り違え。

固定1 FPSには、重要な瞬間をフレーム間で逃す弱点がある。エージェント型にも、最初の探索で重要区間を候補に含めなければ詳しく再確認できないという別の失敗経路が考えられる。異常検知や安全確認のように見落としの影響が大きい用途では、平均精度だけでなく、根拠となる時間位置と見落とし率を分けて評価する必要がある。

効率改善と動画エージェントの能力は別の尺度

Googleの数値は、同社のGemini処理方式について静的処理との効率と精度を比べたものだ。ウェブ検索やページ閲覧などの外部ツールも使い、複数段階で現実の課題を解く汎用的な動画エージェントの能力を測った結果ではない。APIの効率改善を、そのまま幅広いエージェント能力の証明とみなすことはできない。

2026年8月12日に提出された VideoGAIAの研究論文 は、動画の再確認、外部ツールの利用、補足情報の収集、複数情報の統合を求める271件の課題を収録している。各課題は3人の専門家が独立に検証し、評価対象となった先端マルチモーダルモデルはいずれも正答率60％未満だった。この結果はGoogleの最大88％削減と矛盾するものではなく、対象、課題、評価指標が異なる別の測定である。

確認できているのは、Googleが3種類のFlashモデル向けに選択的な動画走査をAPIで提供し、自社ベンチマークの一部で大幅なトークン削減と精度改善を示したことまでだ。モデル別・動画種別の詳しい結果、費用と待ち時間の内訳、重要区間を見落とした場合の検出方法、独立した環境での再現性は、なお明らかになっていない。