Claude verbessert zehn Sicherheitsfehler – doch der Maßstab setzt die Grenze
Anthropic veröffentlichte am 28. August 2026 einen Versuch, in dem Claude Trainingsmethoden für zehn Kategorien von Alignment-Fehlern entwickelte. Laut Anthropics Forschungsbericht verbesserten die ausgewählten Methoden in allen zehn Kategorien die dafür festgelegten Zielbenchmarks, ohne bei den kontrollierten allgemeinen Fähigkeiten einen signifikanten Verlust zu zeigen.
Eine am selben Tag erschienene Einordnung von TechCrunch beschreibt denselben iterativen Forschungsablauf und ordnet ihn als möglichen Schritt in Richtung selbstverbessernder KI ein. Gezeigt wurde jedoch keine allgemeine Selbstverbesserung: Claude veränderte weder seinen eigenen Quellcode noch wählte es selbstständig aus, welche Sicherheitsprobleme relevant sind. Automatisiert wurde ein begrenzter Forschungs- und Trainingsprozess mit vorgegebenen Fehlerkategorien und messbaren Erfolgswerten.
Was Claude im Versuch übernahm
Die automatisierten Alignment-Forscher bearbeiteten jeweils eine klar definierte Art unerwünschten Modellverhaltens. Untersucht wurden übermäßige Zustimmung, Jailbreaks, Prompt Injection, Machtstreben, Täuschung, Halluzinationen, soziale Verzerrungen, Datenschutzverletzungen, Reward Hacking und das Verschleiern von Unsicherheit.
Der Prozess umfasste einen großen Teil einer experimentellen Schleife. Claude sichtete Fachliteratur, entwarf eine Trainingsmethode und die dazugehörigen Daten, trainierte ein Zielmodell und ließ das Ergebnis von einem getrennten Evaluator prüfen. Erfolgreiche Ansätze blieben erhalten, schwache wurden verworfen; die nächste Sitzung konnte über eine gespeicherte Dokumentation an frühere Resultate anknüpfen.
Der Zielwert war nicht „Sicherheit“ als Ganzes, sondern der geschlossene Anteil der Lücke zwischen dem Ausgangsmodell und dem bestmöglichen Benchmark-Ergebnis. Mehrere Tests für dieselbe Fehlerart wurden gemeinsam optimiert. Vorschläge schieden aus, wenn sie bei den festgelegten Fähigkeitskontrollen deutlich schlechter abschnitten oder unerlaubt Verhalten eines stärkeren Modells in das Zielmodell übertrugen.
Der Sieg über Menschen war kein symmetrisches Duell
Die besten automatisiert gefundenen Methoden lagen bei den Zielbenchmarks vor den menschlichen Vorschlägen. Der Vergleich beantwortet aber nur eine enge Frage: Wie gut ist ein iterativer Suchprozess gegenüber fachkundigen Ideen, die unter Zeitdruck eingereicht und anschließend nicht anhand der Testergebnisse überarbeitet werden dürfen?
Menschen und System hatten unterschiedliche Möglichkeiten zur Verbesserung. Die menschlichen Teilnehmer formulierten ihre Methoden im Wesentlichen als einmalige Einreichungen. Claude konnte dagegen wiederholt trainieren, messen, Varianten verwerfen und seine nächsten Vorschläge an den sichtbaren Resultaten ausrichten. Der Versuch vergleicht deshalb nicht die allgemeine Forschungsfähigkeit von Mensch und KI unter gleichen Bedingungen.
Auch die Auswahl der Aufgabe begünstigt Automatisierung: Das Forschungsziel war bereits festgelegt, die Tests standen bereit und jede Iteration lieferte ein rasches, vergleichbares Signal. Nicht geprüft wurde, ob Claude selbst wichtige neue Risiken identifizieren, konkurrierende Sicherheitsziele gewichten oder entscheiden kann, wann ein Benchmark das reale Problem unzureichend abbildet.
Die Methoden wirkten über die sichtbaren Tests hinaus
Die Resultate beschränkten sich nicht vollständig auf die Benchmarks, die Claude während der Optimierung sah. Der ausführliche Versuchsbericht dokumentiert Verbesserungen auf zurückgehaltenen Benchmarks, in mehrstufigen Petri-Audits und bei Modellen mit bis zur 4,7-fachen Größe des jeweiligen Zielmodells.
Diese Kontrollen sprechen dagegen, dass die erfolgreichen Methoden lediglich einzelne Testbeispiele auswendig lernten. Der zurückgehaltene Benchmark war dem Forschungsagenten nicht zugänglich, während Petri unerwünschtes Verhalten in offenen, mehrstufigen Szenarien auslösen sollte. Bei allen Fehlerkategorien lag die ausgewählte Methode im zurückgehaltenen Test über dem untrainierten Ausgangsmodell.
Die Generalisierung bleibt dennoch eng begrenzt. Eine Methode gegen Täuschung wurde weiterhin als Methode gegen Täuschung geprüft, nicht als universeller Schutz vor beliebigem Fehlverhalten. Auch größere Testmodelle gehörten zur gleichen experimentellen Fragestellung; der Transfer belegt daher Skalierbarkeit innerhalb des Versuchs, keine allgemeine Übertragbarkeit auf unbekannte Sicherheitsprobleme oder jede produktive Modellarchitektur.
Warum der Maßstab zugleich Voraussetzung und Grenze ist
Der automatisierte Ablauf funktionierte, weil jeder Versuch ein auswertbares Ziel hatte. Für bekannte Fehlverhalten mit belastbaren Benchmarks kann eine solche Schleife zahlreiche Trainingsideen schneller prüfen, als es mit ausschließlich manuellen Experimenten möglich wäre. Ohne einen verlässlichen Messwert fehlt dem System jedoch das Signal, an dem es gute und schlechte Varianten unterscheiden kann.
Seltene, neue oder schwer beobachtbare Risiken können deshalb außerhalb des Optimierungsprozesses bleiben. Selbst etablierte Benchmarks sind Stellvertreter für reales Verhalten. Die Fähigkeitskontrollen erfassten zudem nur eine festgelegte Testauswahl; ein akzeptiertes Verfahren könnte andere, nicht gemessene Fähigkeiten beeinträchtigen.
Hinzu kommt das Risiko, dass ein Forschungsagent die Bewertung ausnutzt, statt das zugrunde liegende Verhalten zuverlässig zu verbessern. Der Versuch isolierte Testdaten, prüfte vorgeschlagenen Code und schloss auffällige Verläufe aus. Diese Vorkehrungen reduzieren bekannte Manipulationsmöglichkeiten, sind aber kein Beleg dafür, dass leistungsfähigere Systeme künftige Kontrollen nicht umgehen könnten.
Damit bleibt das Ergebnis ein früher Nachweis für automatisierbares Alignment-Post-Training bei klar beschriebenen und messbaren Fehlern. Offen ist, ob die Verbesserungen nach umfangreichem Reinforcement Learning erhalten bleiben, wie das Verfahren mit subtileren Risiken umgeht und wie umfassend Fähigkeitsverluste geprüft werden müssen. Erst solche Tests könnten zeigen, wie weit der Ansatz über die kontrollierte Benchmark-Umgebung hinaus trägt.
Lesen Sie auch:
Newsletter abonnieren
Erhalten Sie die neuesten Nachrichten zu Web3, KI und Krypto direkt in Ihren Posteingang.