AIベンチマークをモデルにも隠す、初の二重盲検評価は何を防ぐのか

Google DeepMindと評価・安全機関などは2026年8月27日、Gemini 2.5 Flash-Liteと機密の評価問題を、互いの所有者に開示せず実行する二重盲検評価の試行完了を発表した。Google DeepMindの発表 は、独自のフロンティア級モデルと外部ベンチマークの双方を暗号学的に保護した評価として世界初と位置づけ、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsとの協力を明らかにしている。

この方式が防ごうとするのは、モデルや開発工程が問題を事前に知り、未知の課題への能力ではなく問題への習熟によって高いスコアを出すベンチマーク汚染だ。MLCommonsの技術解説 によると、試行にはGoogle DeepMindのモデルが過去に処理していないAILuminateの予約問題が使われ、問題を開発側に、モデル重みをMLCommonsや監査側に渡さず評価した。新しいランキングや一般提供サービスではなく、相互秘匿が実モデルで機能することを確かめた概念実証である。

「モデルにも隠す」が意味すること

モデルは推論時には問題文を処理しなければならないため、評価中も設問を認識しないわけではない。二重盲検が隠すのは、評価前にモデルや開発工程が問題へアクセスする機会と、評価後にその内容を保存して追加学習やモデル選択へ利用する経路である。

一般的な非公開テストでも、問題をウェブ上へ公開しなければ事前学習への混入を減らせる。しかし閉じたモデルを提供者のAPI経由で評価すると、プロンプトは提供者側のシステムを通る。ゼロログの運用や秘密保持契約は重要だが、問題が保存・再利用されないことを、評価者が技術だけで確かめられるとは限らない。

反対に、評価者の管理環境へモデルを移せば問題は守りやすいが、今度は開発者がモデル重みや推論コードを外部へ渡すことになる。二重盲検評価は、問題か重みのどちらか一方を相手へ開示するという従来の交換条件をなくすための仕組みだ。

誰が何を見られないのか

AILuminateを使った工程では、Google DeepMindがGemini 2.5 Flash-Liteを提供し、MLCommonsが未使用の予約問題を提供した。AVERIは問題を暗号化し、Google DeepMindと共同で隔離環境内の評価を実行したうえで、出力を復号してAILuminateの基準で採点した。

• モデル開発者のGoogle DeepMindは、評価用プロンプトを収集、保存、学習利用できない。
• ベンチマーク提供者のMLCommonsは、Geminiのモデル重みや独自の推論実装へアクセスしない。
• 監査を担うAVERIは問題と評価出力を扱う一方、モデル重みを見ることはできない。
• OpenMinedは安全な計算を管理するソフトウェアを提供するが、モデル重みの開示先にはならない。

つまり、すべての参加者からすべてを隠す構成ではない。評価者は採点に必要な問題や出力を扱うが、開発者の秘密である重みには触れない。開発者はモデルを実行させられるが、評価者の秘密である問題を持ち帰れないという、役割ごとの信頼境界が置かれている。

暗号学的な隔離環境で両者を接触させる

モデルと問題が接触するのは、Google Cloud Confidential Space上の安全な実行環境の内部だけだ。OpenMinedのPySyftを利用し、コンテナ化されたモデルと暗号化された問題を別々に送り、合意済みの評価処理を実行する。外部へ返す情報は評価に必要な出力や結果に限定される。

中核となるのがリモートアテステーションである。参加者は秘密を送る前に、想定したハードウェアとソフトウェア構成が動いているかを暗号学的に検証する。通信経路だけでなく実行中のメモリーも保護することで、クラウドの管理者や別のプログラムが平文の問題や重みへ到達する危険を抑える。

これは秘密保持契約の代替ではない。契約が、情報を受け取った当事者の保存や利用を制限するのに対し、隔離環境は、当事者へ平文を渡さない技術的な層を加える。法的統制、参加者の審査、ベンチマークの管理は引き続き必要になる。

防げるのは汚染であり、評価設計の欠陥ではない

未使用の問題を評価時だけ隔離環境へ投入すれば、公開問題の暗記や、非公開問題を使った反復的な調整でスコアを先回りする余地を小さくできる。意図的な最適化に加え、ログの再利用、保存設定の誤り、チーム間の偶発的な共有による流出も抑制の対象になる。

ただし、二重盲検であること自体はスコアの妥当性を保証しない。問題が測りたい能力を適切に表しているか、採点基準が一貫しているか、予約問題が本当に未使用かは、別の管理と検証を要する。今回強化されたのは、問題とモデル資産の機密性、および合意した工程が実行されたことの検証可能性である。

また、Singapore AI Safety Instituteはシンガポールの文脈における有害コンテンツを扱う別の機密プロンプト群で同モデルを評価した。AILuminateの試験と同じ問題群ではないため、参加組織を一つの評価工程へまとめて解釈することはできない。

公表されたのは工程で、Geminiのスコアではない

今回の発表はGemini 2.5 Flash-Liteの優劣を示すランキングではなく、相互秘匿の工程が本番モデルで動作したことに焦点を置く。TechRepublicの検証記事 も、モデルのスコアや項目別結果は公開されておらず、一部の独自推論コードを完全には検査できないこと、実行環境のビルドを第三者が独立再現できないことなどが制約として残ると報じている。

したがって、この試行からGemini全般の安全性や、別のベンチマークでの性能まで結論づけることはできない。確認できたのは、実モデルと未使用の機密問題を直接交換せずに評価し、問題の事前露出とモデル重みの漏えいという二つのリスクを同時に減らせることだ。

次に問われるのは、異なるクラウド、モデル、ベンチマーク、独立監査組織でも同じ保証を再現できるかである。公開スコア、第三者による再現性、アテステーションの検証主体、許可されるコードの範囲が明確にならなければ、二重盲検という名称だけで評価結果の信頼性が決まるわけではない。