広告コピー11万件をAIが採点、未学習の商品では相関が低下

電通、電通デジタル、SB Intuitionsは2026年9月1日、日本語広告コピーの自動評価に関する共同研究成果を公表した。電通の公式発表 によると、電通のコピーライター64人が生成AIによるコピーを評価し、計11万6,532件の評価データを構築した。

このデータの一部と専門家の評価基準を使い、LLMにコピーを採点させる「LLM-as-a-Judge」を検証した。学習・最適化した業種や商材では人間評価と一定程度の正の相関が確認された一方、未学習の領域では相関が低下した。なお、11万6,532件はAIが採点したコピーの総数ではなく、コピーライターが付与した評価データの件数である。

11万6,532件は人間が作った評価データ

今回の研究基盤を作ったのは、広告コピーを生成したAIだけではない。生成された日本語コピーを電通所属のコピーライター64人が共通基準で評価し、その判断を11万6,532件のデータとして蓄積した。公表資料は、この全件を自動採点の検証に使ったとはしておらず、LLM-as-a-Judgeにはデータの一部を利用したと説明している。

したがって、研究工程は「AIが11万件を一括採点した」という一段階の処理ではない。まず専門家による評価データを作り、次にコピーライターの判断基準を整理し、その後でLLMの採点と人間評価の関係を検証している。データセットの規模と、自動評価に投入した標本数は区別する必要がある。

11万6,532件がすべて異なるコピーを表すのか、一つのコピーに複数人が付けた評価を含むのかも公表資料だけでは判別できない。数字が示すのは評価レコードの規模であり、ユニークな広告コピーの本数ではない。

専門家の判断をLLMの評価基準へ変換

3社はコピーライターへのエキスパートインタビューを実施し、「ファースト・インパクト」「インサイトの深さ」「言葉選びの妥当性」などの観点を整理した。正解が一つに定まらない広告表現を評価するため、熟練者が暗黙に見ている要素を、生成AIで扱える指標へ体系化したという。

LLM-as-a-Judgeは、LLMを文章の生成役ではなく判定役として使う方法だ。今回の検証では、評価データの一部とコピーライターの基準を組み込んだプロンプトを用い、AIの採点結果が専門家の評価傾向とどの程度対応するかを調べた。ビジネス＋ITの報道 も、評価データの作成、基準の体系化、LLMによる比較検証という工程を確認している。

ここでいう正の相関は、AIが高く評価したコピーほど、人間にも高く評価される傾向があったという意味だ。すべての点数や順位が一致したわけではなく、消費者の反応、広告のクリック率、販売効果が予測できたことも示していない。検証対象は、あくまでコピーライターによる品質評価との対応である。

公表されたのは「一定程度の正の相関」という定性的な結果にとどまる。相関係数、評価者間の一致度、業種別の標本数、採点尺度、使用したモデルなどは明らかにされておらず、人間の評価をどの程度代替できる性能なのかは判断できない。

未学習の業種・商材では相関が低下

研究の重要な制約は、評価器を学習・最適化した範囲から外れると、人間評価との対応が弱まったことだ。検証対象外の業種や商材では相関が低下し、プロンプトの調整だけで幅広い分野へ適用することは難しいとされた。3社は、汎用化にはデータの拡充と評価モデルの高度化が必要だとしている。

ただし、公表資料は相関低下の原因を実験的に切り分けていない。商材ごとの表現慣行、訴求点、想定顧客、評価データの量など、どの違いが性能低下を生んだのかは未確定である。「未知の商品だからAIが意味を理解できなかった」といった単一の理由へ還元することはできない。

この結果が示すのは、あるカテゴリーで得た一致傾向を、別のカテゴリーにもそのまま適用できないという一般化の問題だ。LLMは学習範囲外でも点数を返せるため、数値が出たこと自体を信頼性の証拠にはできない。どの業種・商材を学習・検証済みとみなしたのかが開示されなければ、個別の広告案件への適用可能性も評価しにくい。

自動採点は完成した広告審査ではない

今回確認されたのは、限定された対象でAIの採点とコピーライターの評価に正の相関があることだ。商品情報の正確性、法令や媒体基準への適合、誤認を招く表現、ブランド固有の禁止事項まで自動審査できると示されたわけではない。また、研究成果の公表は一般向けサービスの提供開始を意味しない。

そのため現段階での実務上の含意は、自動採点を最終承認と同一視できないという点にある。特に未学習の業種・商材では相関低下が確認されているため、AIの点数だけで採否を決める根拠は不足している。人間による確認を外すには、対象領域ごとの性能と、用途に応じた許容誤差を別途検証する必要がある。

研究成果は、第25回情報科学技術フォーラムの FIT2026公式プログラム に「日本語キャッチコピー評価のための LLM as a Judge の検証」として掲載された。プログラムはSB Intuitions、電通デジタル、電通の研究者を著者として挙げ、キャッチコピー候補の品質を評価する枠組みの妥当性を検証する研究だと説明している。

現時点で確認できるのは、専門家64人による11万6,532件の評価データが構築され、データの一部を使った自動評価が既知の対象では人間評価と正の相関を示し、未知の対象では相関が低下したことまでだ。適用可能な境界を判断するには、対象カテゴリー、検証用データの分け方、具体的な相関係数、評価者間のばらつきなど、より詳しい開示が必要になる。