KI-Benchmarks können auswendig gelernt sein – so erkennt man die Täuschung

Ein hoher Benchmarkwert belegt nur dann neue Fähigkeiten, wenn das Modell die Aufgaben nicht bereits aus Trainingsdaten, veröffentlichten Lösungen oder früheren Testläufen kennt. Prüfen lässt sich das Risiko durch frische Kontrollaufgaben, den Vergleich von Originalen mit gleich schwierigen Varianten, eine offengelegte Testhistorie und die strikte Trennung von Entwicklung und Schlussprüfung.

Keines dieser Verfahren kann Kontamination allein zweifelsfrei ausschließen. Belastbar wird ein Modellvergleich durch eine Indizienkette: auffällige Reproduktionen, Leistungseinbrüche bei neuen Aufgaben desselben Typs, fehlende Angaben zu Trainings- und Testzeitraum sowie Ergebnisse auf einem reservierten Set. Die „Täuschung“ liegt dabei zunächst im Messwert – sie ist kein Beweis für eine bewusste Täuschungsabsicht des Anbieters.

Wie ein Modell den Test kennen kann

Öffentliche Aufgaben können auf mehreren Wegen in die Modellentwicklung gelangen. Die Testdatei kann in einem gecrawlten Repository liegen; Fragen und Lösungen können außerdem in Papers, Foren oder Tutorial-Notebooks zitiert werden. Abgeleitete oder synthetische Trainingsdaten können Paraphrasen enthalten, obwohl die Originaldatei ausgeschlossen wurde.

Eine Übersicht von Multigrid beschreibt neben solchen Datenüberschneidungen auch Kontamination durch den Entwicklungsprozess: Werden Prompts, Systemanweisungen oder Modellvarianten wiederholt anhand desselben öffentlichen Testsets ausgewählt, fließen Informationen aus dem Test in die Optimierung ein. Das Modell muss die Aufgaben dafür nicht bereits beim Vortraining gesehen haben.

Eine Suche nach exakten Duplikaten erfasst daher nur einen Teil des Risikos. Sie kann identische Zeichenfolgen finden, übersieht aber umformulierte Aufgaben, zitierte Lösungswege und die wiederholte Anpassung an bekannte Ergebnisse. Die Aussage, es seien keine wörtlichen Treffer gefunden worden, ist ein nützlicher Befund, aber kein Nachweis eines sauberen Tests.

Welche Warnsignale einen hohen Wert relativieren

Verdächtig ist nicht der hohe Wert an sich, sondern ein Wert ohne nachvollziehbare Beweiskette. Ein Testbericht sollte mindestens Modellversion, Trainingsstichtag, genaue Benchmark-Version, Prompt, Hilfsmittel und Auswertungsregel nennen. Ohne diese Angaben lassen sich weder zeitliche Überschneidungen noch faire Wiederholungen beurteilen.

• Vorsprung nur auf dem bekannten Set: Das Modell dominiert einen älteren öffentlichen Benchmark, erreicht diesen Abstand aber nicht auf neu erstellten Aufgaben desselben Typs.
• Reproduktion nebensächlicher Details: Nach dem Anfang eines Items ergänzt es ungewöhnliche Formulierungen, Variablennamen oder Antwortoptionen in der ursprünglichen Reihenfolge.
• Einbruch bei kontrollierten Varianten: Die Leistung sinkt deutlich, obwohl Inhalt und Schwierigkeit erhalten bleiben und nur Oberfläche, Namen oder Zahlen verändert werden.
• Unklare Auswahl des Testlaufs: Es bleibt offen, wie viele Prompts oder Konfigurationen ausprobiert und nach welcher Regel der gemeldete Lauf ausgewählt wurde.
• Keine Kontaminationserklärung: Der Anbieter veröffentlicht einen Rang oder Prozentwert, erläutert aber weder Überschneidungsprüfungen noch die Grenzen eines unbekannten Trainingskorpus.

Keines dieser Signale beweist allein, dass ein Ergebnis auswendig gelernt wurde. Mehrere übereinstimmende Befunde zeigen jedoch, dass der Wert neben Problemlösefähigkeit auch Erinnerung oder Auswahl-Overfitting messen könnte. Für eine Beschaffung ist das ein Grund, die Rangliste nicht als Entscheidungsgrundlage zu übernehmen und einen kontrollierten Vergleich zu verlangen.

Warum ein passender Mittelwert trotzdem falsch sein kann

Auch eine scheinbar erfolgreiche rechnerische Bereinigung kann Fehler verdecken. Die Forschungsarbeit Zero Gap Is Not Restoration untersucht Verfahren, die memorisierte Antworten während der Generierung unterdrücken sollen. Ihre Autoren zeigen, dass ein aggregierter Leistungsabstand Über- und Unterkorrekturen miteinander verrechnen kann: Ein kleiner Gesamtabstand zum sauberen Referenzmodell bedeutet dann nicht, dass dessen Verhalten bei den einzelnen Fragen wiederhergestellt wurde.

Deshalb sollten Prüfer nicht nur Gesamtgenauigkeit oder durchschnittliche Differenzen vergleichen. Aussagekräftiger ist eine Auswertung pro Aufgabe oder nach nachvollziehbaren Schwierigkeitsgruppen. Wiederholte Läufe können zusätzlich eine Lösungswahrscheinlichkeit pro Frage schätzen, anstatt jedes Item nach einer einzigen Antwort nur als richtig oder falsch zu verbuchen.

Hilfreich ist außerdem der Vergleich alter Aufgaben mit solchen, die erst nach dem Trainingsstichtag entstanden sind. Themengebiet, Format, Schwierigkeit und Bewertung müssen dabei möglichst vergleichbar sein. Ein Leistungsabfall bei den neueren Aufgaben ist ein Indiz für Kontamination, kann ohne diese Kontrollen aber ebenso durch einen höheren Schwierigkeitsgrad erklärt werden.

Ein Prüfraster für belastbarere Modellvergleiche

Der Prüfprozess sollte Risikoanalyse, Entwicklung und endgültige Entscheidung voneinander trennen. Das ist auch bei geschlossenen Modellen möglich, deren Trainingsdaten nicht eingesehen werden können.

1. Teststatus erfassen: Kennzeichnen, welche Aufgaben öffentlich, reserviert oder erst nach dem Trainingsstichtag erstellt wurden. Leicht veränderte Fassungen eines veröffentlichten Items gelten nicht automatisch als unabhängig.
2. Konfiguration einfrieren: Modellversion, Systemprompt, Werkzeuge, Decoding, Scoring und Abbruchregeln vor dem finalen Lauf festlegen. So fließen Ergebnisse des reservierten Sets nicht zurück in die Optimierung.
3. Frisches Kontrollset erstellen: Neue Aufgaben aus demselben Anwendungsbereich unabhängig auf Schwierigkeit und eindeutige Bewertbarkeit prüfen. Bei einer Beschaffung sollte dieses Set reale Arbeitsanforderungen abbilden.
4. Memorisierung sondieren: Öffentliche Items anschneiden und auf die genaue Ergänzung nebensächlicher Details prüfen. Zusätzlich lassen sich Originale mit kontrollierten Paraphrasen oder Aufgaben nach dem Trainingsstichtag vergleichen.
5. Ergebnisse aufschlüsseln: Öffentliche und reservierte Aufgaben getrennt ausweisen, Abweichungen über Wiederholungen nennen und Fehler auf Aufgabenebene untersuchen. Ein Gesamtwert darf diese Unterschiede nicht verdecken.
6. Schlussprüfung versiegeln: Das reservierte Set nur für die endgültige Auswahl verwenden und anschließend erneuern. Fortlaufende Optimierung anhand seiner Ergebnisse macht es schrittweise zu einem weiteren bekannten Test.

Was geheime und doppelt blinde Prüfungen leisten

Ein reserviertes Testset senkt das Kontaminationsrisiko, solange Aufgaben, Lösungen und abgeleitete Beispiele vertraulich bleiben. Es kann dennoch durch interne Weitergabe, Protokollierung oder wiederholte Optimierung anhand seiner Ergebnisse entwertet werden. „Geheim“ bezeichnet deshalb einen kontrollierten Umgang mit dem Test und keine dauerhafte Eigenschaft einer Datei.

Bei externen Prüfungen entsteht ein weiteres Problem: Entweder erhält der Modellanbieter vertrauliche Prompts oder die prüfende Stelle bekommt Zugriff auf proprietäre Modellgewichte. Der von Google DeepMind vorgestellte Pilot soll beides in einer kryptografisch geschützten Umgebung abschirmen: Die externe Seite kann die Gewichte des getesteten Gemini-Modells nicht einsehen, während Google keinen Einblick in ihre Testprompts erhält.

Dieses Verfahren erschwert, dass vertrauliche Aufgaben später für eine gezielte Optimierung verwendet werden, und schützt zugleich das Modell. Es beweist jedoch nicht, dass ähnliche Aufgaben niemals auf anderem Weg ins Training gelangten, dass der Test den realen Einsatz abbildet oder dass seine Bewertungsmetrik geeignet ist. Auch eine doppelt blinde Ausführung braucht daher frische Aufgaben, eine vorab festgelegte Konfiguration und eine Auswertung, die Unterschiede auf Aufgabenebene sichtbar macht.

Für Käufer und Entwicklungsteams ist somit nicht der höchste Rang die stärkste Evidenz, sondern der Wert mit der am besten kontrollierten Entstehung. Bleiben Trainingsüberschneidung und Testhistorie unbekannt, ist ein öffentlicher Benchmark lediglich ein Hinweis; die Entscheidung sollte auf einem frischen, reservierten und anwendungsnahen Prüfset fallen.