Geminiが動画を必要な場面だけ再確認、トークン最大88％減の条件

Googleは2026年9月1日、Gemini APIで「エージェント型動画理解」の提供を始めた。発表内容とベンチマークを検証したPPC Land によると、開始時の対象はGemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteで、アップロード動画とYouTube動画に対応する。最大88％減は、Gemini 3.7 Flashを高いthinking level、低いmedia resolutionで動かし、固定1 FPSの静的処理と比較した長時間動画テストの結果だ。

同日から利用可能になったこの機能は、動画全体を一定間隔で読み込む代わりに、質問に必要な区間、速度、情報の種類をGeminiが選んで再確認する。APIでは動画入力のprocessingを「agentic」に設定するが、88％は保証値でも全テストの平均でもない。動画の長さや質問、モデル、従来の抽出方法によって削減幅と精度は変わる。

固定1 FPSと動的な再確認は何が違うのか

静的処理は、標準では動画から毎秒1フレームを抽出し、決められた間隔を全編に適用する。長い講義や会議では質問と無関係な場面もコンテキストに入る一方、1秒未満の変化は抽出の間に抜ける可能性がある。

エージェント型処理では、モデルが映像フレーム、音声、文字起こしから必要な情報を選び、候補となる時間帯を異なる速度や解像度で調べ直す。これは単にフレームレートを下げる方式ではなく、粗い探索と局所的な再走査を組み合わせる処理だ。開発者が動画の分割、区間検索、結果の統合を別々に実装していた部分が、モデルの内部ループに移る。

現行の対応モデルと最小設定

9月3日更新の Gemini APIの動画理解ドキュメント は、エージェント型処理の対応モデルとしてGemini 3.8 Flash、3.7 Flash、3.6 Flash、3.5 Flash Liteを挙げている。つまり、9月1日の開始時に示された3モデルに、現在は3.8 Flashが加わっている。

最小構成ではInteractions APIを使い、モデルを選んだうえでinput配列に動画と質問文を渡す。動画要素のtypeを「video」、uriをアップロード済みファイルまたは対象動画のURI、processingを「agentic」にする。別の動画専用モデルへ切り替えるのではなく、動画入力ごとに処理方式を指定する設計である。

1. 対応するFlashモデルを指定する。
2. 動画のURIと、必要ならMIME typeを動画要素へ設定する。
3. 同じ動画要素でprocessingを「agentic」にする。
4. 動画の後に、探す場面や必要な根拠が分かる質問文を置く。

利用状況は応答のstepsでも確認できる。processing_callとprocessing_resultが含まれていれば、モデルが動画内を動的に移動したことを示す。長い動画や複雑な質問では内部の探索が増えるため、ストリーミングまたはバックグラウンド実行が推奨されている。

最大88％を一般化できない理由

最大値が出た基準は、固定1 FPSで動画全体を読む静的処理である。すでに0.5 FPSなどへ間隔を落としているシステム、質問前に候補区間を抽出している構成、短い動画だけを扱う処理では、比較の出発点が異なる。したがって、88％を既存の請求額へそのまま掛けることはできない。

エージェント型では、読み込むフレームや音声を減らせても、区間を選ぶ推論や内部ツールの呼び出しが加わる。公式ドキュメントでも、探索中の推論はthought tokens、必要に応じて読み込んだ素材はtool use tokensとして計上される。このため、入力素材の削減率と総トークン数、処理費用、応答開始までの時間は別々に測る必要がある。

特に短いクリップでは、探索の往復によって最初の応答までの時間がわずかに増える場合がある。全フレームの精密確認が必要な短編では静的処理、長時間映像や特定場面の検索ではエージェント型という使い分けが、現行仕様に沿った判断になる。

長時間検索には合うが、異常検知には留保がある

長い講義、会議、記録映像から一つの発言や出来事を探す用途は、無関係な区間を読み込まずに済むため仕組みとの相性がよい。瞬間的な状態変化や細かなカット境界も、候補区間を高いフレームレートで再確認できれば、固定1 FPSより拾える余地がある。

ただし、最初の探索で正しい候補区間を選べなければ、詳細な再走査は始まらない。異常検知や安全監視では「見つけた場面の識別精度」だけでなく、「異常を含む区間を候補に残せた割合」が重要になる。エージェント型という処理方式自体は、見落としの解消を保証しない。

VideoGAIAが示す、再確認できても残る壁

今回のGemini API機能を直接測った独立ベンチマークは、提供開始時点では公表されていない。一方、2026年8月12日公開の VideoGAIA論文 は、動画の再確認とウェブ上の追加調査を組み合わせる271件のタスクで20モデルを評価し、最高正解率が58.30％、全モデルが60％未満だったと報告している。

研究チームが代表5モデルの誤答615件を調べたところ、動画知覚は各モデルで最大の失敗原因となり、誤りの36.8～48.0％を占めた。映像内の人物、文字、物体などを最初に取り違えると、その後の検索や推論も誤った手掛かりを追いやすいという結果である。

VideoGAIAは新しいprocessing設定やGemini 3.7 Flashを直接評価した試験ではないため、Googleの88％というトークン削減値と矛盾するものではない。両者が示すのは、必要な区間だけを読み直す効率と、正しい区間を選んで正確に知覚する能力が別の評価軸だということだ。現時点ではAPIの提供と設定方法は確認できるが、モデル別の削減幅、総費用、処理時間、見逃し率を同条件で比較した独立データはまだ不足している。