AIベンチマークの1位を信じる前に、条件欄で見るべき数字

AIモデルのベンチマーク結果が信頼できるかは、1位という表示ではなく、その順位を生んだ条件で判断する。最低限見るべきなのは、評価主体、データ汚染、実行条件、標本数、誤差、再現手順、実務との対応の7項目だ。いずれかが不明なら、スコアは候補を絞る参考にはなっても、製品選定の十分な根拠にはならない。

なかでも、モデル間の差が不確実性の幅を超えているか、全候補が同じ条件で評価されたか、設問が自社の仕事を代表しているかが重要になる。条件欄から確認できなければ、順位表の首位をそのまま採用せず、同一条件での再評価や実務データによる検証へ進むべきである。

1. 評価主体と設問の品質を確認する

最初に確かめるのは、誰が何を評価したのかである。開発元の測定値か、独立機関による追試か、共同評価かを区別し、資金関係やモデル構成も確認する。自己評価と第三者評価の数値が併記されている場合は、モデル名だけでなく、バージョン、推論設定、利用ツールまで一致しているかを見る。

Stanford AI Index 2026の技術性能章 は、不透明な評価と非標準的なプロンプトがモデル間比較を不安定にし、独立評価で開発元の公表値を下回った事例があると整理している。同章が紹介する調査では、9種類のベンチマークで無効と判定された設問の割合が、MMLU Mathの2％からGSM8Kの42％まで開いていた。設問自体に誤りや曖昧さがあれば、小さな点差を精密な能力差として扱うことはできない。

条件欄では、評価者、独立した追試の有無、有効設問と除外設問の基準を確認する。モデルの具体的な識別子と評価時期も必要だ。同じ製品名を維持したまま提供側がモデルを更新する場合、過去の順位が現在のAPIにも当てはまるとは限らない。

2. プロンプトと実行条件をそろえて比べる

同じ問題集を使っていても、プロンプトや利用可能な機能が異なれば、比較対象はモデル単体ではなく「モデルと設定の組み合わせ」になる。ゼロショットか例示付きか、システム指示、回答形式、検索・コード実行・外部ツールの可否、推論予算を確認する。片方だけに専用の例示や補助システムが与えられているなら、結果をモデル単体の優劣とは表現できない。

数値として残すべき条件は、最大出力長、サンプリング設定、タイムアウト、再試行回数、失敗した呼び出しの扱いである。1回目の出力だけを採点する評価と、複数回生成して最良の回答を採用する評価では、成功率も必要な計算量も違う。候補から回答を選ぶ仕組みがある場合は、人間、別モデル、自動採点器のどれが選んだのかも記録する。

APIを使う評価では、実行時期、提供リージョン、レート制限も結果を左右し得る。エラーを失敗として分母に残したのか、成功するまで再実行したのかが不明なら、首位と次点が同じルールで測定されたかを監査できない。

3. 標本数、試行回数、誤差を一組で読む

条件欄で探す数字は、点数だけではない。有効設問数、除外数、各設問の試行回数、成功数、信頼区間または標準誤差を一組で確認する。設問が少ない評価や、確率的な出力を一度しか試していない評価では、数問の成否だけで順位が入れ替わる可能性がある。

仮にモデルAが72％、モデルBが71％でも、両者の信頼区間が大きく重なるなら、表示上の1ポイント差だけからAの優位を断定できない。平均値が同じ場合も、同じ設問への回答が試行ごとに変わるモデルと、安定して同じ結果を返すモデルでは運用上のリスクが異なる。

NISTの統計モデル報告 は、固定された設問群に対する「ベンチマーク精度」と、類似する問題全体を対象にした「一般化精度」を区別している。22のAPI型フロンティアLLMを3種類のベンチマークで分析し、一般化線形混合モデルによって不確実性を定量化しながら、設問難度や分散の内訳も示せると報告した。公開表がどちらの精度を表すか不明なら、限られた設問への得点を未知の業務全体へ広げて解釈してはいけない。

4. データ汚染と再現可能性を別々に監査する

データ汚染とは、評価設問や類似する解説が学習データに含まれ、未知問題への対応力ではなく記憶によって得点が上がる状態を指す。学習データの締め切りだけでなく、完全一致と類似問題をどう検査したか、公開ベンチマーク向けの専用調整をしたか、非公開または更新型テストでも性能を確認したかを見る。

汚染がないという宣言と、結果を再現できることは別の論点である。再現に必要なのは、データセットの版、採点コード、プロンプト全文、モデル識別子、実行時期、乱数やサンプリングの条件、失敗処理、除外設問とその理由だ。コードやログを公開できなくても、第三者が同じ構成を組み直せる程度の説明は求めたい。

確率的な生成やAPI更新があるため、追試の点数が完全には一致しない場合もある。だからこそ、想定する変動幅と試行回数を先に定める必要がある。許容範囲が示されず、再試行のたびに順位が変わる結果は、単独では調達判断を支えられない。

5. 最後は実務タスクとの一致で選ぶ

測定手順が堅牢なベンチマークでも、自社用途と対象能力が違えば選定には直結しない。日本語の契約書要約に英語の選択式知識問題だけを使う、社内検索の選定に検索なしの推論課題だけを使うといった評価では、実運用との距離が大きい。入力言語、文書量、利用できる外部情報、要求する出力、誤りの影響を実際の業務に合わせる。

比較項目には、正確性に加えて、重大な誤り、要修正率、遅延、処理費用、拒否率、出典提示、アクセス制御、監査ログを含める。AIエージェントの場合は回答品質だけでなく、外部システムへの操作を観測し、必要時に停止できるかも評価対象になる。日本AISIが2026年7月7日に公表した第1.20版ガイド も、AIエージェントの普及を踏まえて「観測と制御」を設け、自律的な挙動と外部環境との相互作用に関する評価項目を追加している。

公開順位は候補を減らす入口として使い、最終比較は匿名化した自社データと実際の業務フローで行う。採点基準を実行前に固定し、品質、重大な失敗、処理時間、費用を同じ表へ記録する。人間による確認が運用に含まれるなら、モデル単体ではなく、人間とモデルを組み合わせた工程全体の成果で比べる。

調達時に残す7項目の確認票

ベンダー資料や公開リーダーボードを検討するときは、次の7項目を一枚にまとめる。「記載なし」も回答として残せば、点数とは別に証拠の強さを比較できる。

1. 評価主体：開発元、第三者、共同評価のどれか。独立した追試と利益関係の開示があるか。
2. データ汚染：設問や類似データとの重複をどう検査したか。非公開または更新型テストでも確認したか。
3. 実行条件：モデル版、プロンプト、ツール、推論予算、出力長、再試行規則が全候補でそろっているか。
4. 標本数：有効設問数と除外数はいくつか。各設問を何回実行したか。
5. 誤差：信頼区間または標準誤差が示されているか。上位との差はその幅に比べて十分に大きいか。
6. 再現手順：データ版、採点コード、プロンプト全文、実行時期、失敗ログを確認できるか。
7. 実務との対応：言語、入力、利用ツール、品質基準、遅延、費用、安全上の失敗が自社運用と一致するか。

空欄が多いモデルは、低性能と断定するのではなく、優位性をまだ検証できない候補として扱う。条件がそろい、誤差を考慮しても差が残り、自社タスクでも同じ傾向を確認できたとき、初めてベンチマークの1位が調達上の意味を持つ。