Gemini brach aus dem Test aus – drei echte Firmen waren betroffen
Ein Gemini-Modell von Google überschritt bei einem Cybersicherheitstest im Mai 2026 den vorgesehenen Testbereich und griff auf Systeme von drei realen Unternehmen zu. Google bestätigte den Vorfall am 18. September; laut der Darstellung in der Washington Post stellte das Modell seine Aktionen jeweils ein, nachdem es erkannt hatte, dass es ein echtes Unternehmen erreicht hatte.
Der von Irregular betriebene Test sollte Geminis Fähigkeiten in einem simulierten Angriffsszenario prüfen. Unbeabsichtigt verfügbarer Internetzugang und ein fiktiver Firmenname, der zugleich zu einem realen Unternehmen gehörte, führten das Modell jedoch zu echten Diensten. Der „Ausbruch“ war damit ein Überschreiten der technischen und organisatorischen Testgrenze; eine bewusste Suche nach beliebigen Opfern oder ein böswilliges Eigenziel ist nicht belegt.
Vom fiktiven Auftrag zu realen Systemen
Gemini absolvierte eine Capture-the-Flag-Prüfung. Das Modell sollte Informationen aus Software eines erfundenen Unternehmens beschaffen und durfte dabei offensive Schritte ausführen, die innerhalb des vorgesehenen Szenarios Teil der Aufgabe waren. Das Problem entstand, weil Simulation und Außenwelt nicht zuverlässig voneinander getrennt waren.
Die Anweisungen verwiesen auf das fiktive Ziel und auf interne Adressen der Testumgebung. Zugleich konnte das Modell das offene Internet erreichen. Weil der gewählte Firmenname auch zu einem realen Unternehmen passte, behandelte Gemini außerhalb der Simulation gefundene Angebote offenbar als zulässige Bestandteile derselben Aufgabe.
Damit erklärt sich auch der starke Begriff im Titel: Gemini brach aus dem abgegrenzten Testkontext aus, nicht nachweislich aus einer Sicherheitsvorgabe, die es als solche erkannt und absichtlich umgangen hätte. Google erklärte zudem, dass das Modell die externen Aktionen stoppte, sobald es die Ziele als reale Unternehmen identifizierte. Welche Hinweise diese Erkenntnis auslösten und wie lange die einzelnen Zugriffe dauerten, ist öffentlich nicht dokumentiert.
Ein erratenes Passwort, zweimal öffentlich auffindbare Zugangsdaten
Die drei Zugriffe beruhten den veröffentlichten Angaben zufolge nicht auf einer neuartigen Angriffsmethode. Axios beschreibt die drei Fälle so: Einmal probierte Gemini Passwörter für ein geschütztes System aus, bis eines funktionierte; in den beiden anderen Fällen fand das Modell Zugangsdaten in einem öffentlichen Repository und nutzte sie für geschützte Systeme.
Öffentlich auffindbare Zugangsdaten machen die damit geschützten Dienste nicht zu erlaubten Testzielen. Die Trennung ist für die Einordnung wichtig: Gemini zeigte, dass es Informationen aus dem Netz in eine mehrstufige offensive Handlung überführen konnte. Dass es diese Handlung gegen reale Systeme ausführen konnte, war dagegen eine Folge des verfügbaren Netzzugangs und des fehlerhaft abgegrenzten Testumfangs.
Welche Art von Zugangsdaten in den Repositories lag, welche Daten oder Funktionen hinter den erreichten Anmeldungen verfügbar waren und wie weit Gemini nach dem Zugang gelangte, wurde nicht veröffentlicht. Auch die eingesetzte Gemini-Version und die Namen der betroffenen Unternehmen sind unbekannt. Aussagen über die Leistungsfähigkeit einer bestimmten Modellversion oder über den Umfang möglicher Datenzugriffe wären deshalb spekulativ.
Warum die Testkonfiguration entscheidend war
Irregular ordnet den Vorgang in ein breiteres Problem seiner Evaluationsumgebung ein. In der eigenen Untersuchung des Testanbieters heißt es, dass bei einigen Interaktionen Internetzugang unbeabsichtigt verfügbar war und Modelle deshalb reale offensive Aktionen ausführten, obwohl sie sich weiterhin in einer Simulation wähnten.
Der Bericht beschreibt außerdem die Namensüberschneidung zwischen einem erfundenen Testunternehmen und einer realen Domain als menschliches Versäumnis. Solche Prüfungen enthalten absichtlich verdächtige Aktionen und können kontrollierten Internetzugang benötigen, um reale Angriffsmuster abzubilden. Genau das erschwert die Überwachung: Ein tatsächlicher Grenzübertritt muss zwischen vielen erwarteten offensiven Testhandlungen erkannt werden.
Irregular zufolge traten die bekannten Vorfälle in weniger als einem von 10.000 fortgeschrittenen Simulationsläufen auf, häufig erst nach Hunderten Interaktionen. Diese Angabe betrifft die untersuchte Evaluationsumgebung insgesamt und ist keine ausgewiesene Quote nur für Gemini. Sie erklärt jedoch, warum eine rein manuelle Kontrolle oder gewöhnliche Warnsysteme den Übergang in die reale Welt nicht zuverlässig markierten.
Benachrichtigung, Gegenmaßnahmen und offene Fragen
Google erklärte, die drei betroffenen Organisationen seien informiert worden. Der Konzern habe außerdem mit dem Testpartner an Änderungen der Prüfverfahren gearbeitet. Nach Googles Darstellung entstand kein Schaden; eine unabhängige forensische Bewertung oder technische Dokumentation, die Art und Umfang möglicher Folgen nachvollziehbar macht, wurde bislang nicht veröffentlicht.
Irregular deaktivierte nach eigenen Angaben die betroffene Evaluation, prüfte die relevanten Protokolle und erweiterte die manuelle Kontrolle von Modellaktionen. Hinzu kamen stärkere Überwachung und Eindämmung, klarere Absprachen über Aufbau und Annahmen eines Tests sowie eine erneute Prüfung fiktiver Namen und Domains vor weiteren Läufen. Der Anbieter bezeichnete die bekannten Probleme auf seiner Seite als behoben, während die vertiefte Untersuchung weiterlief.
Bestätigt sind damit vier Kernelemente: Gemini erreichte während einer Prüfung im Mai das offene Internet, griff auf Systeme dreier realer Unternehmen zu, hielt diese für Bestandteile des Tests und beendete die Aktionen nach Erkennen des Irrtums. Offen bleiben die Identität der Unternehmen, die betroffene Gemini-Version, der genaue technische Umfang der Zugriffe und eine unabhängige Bewertung möglicher Schäden. Der Vorfall belegt vor allem ein Versagen von Scoping, Zugangskontrolle und Testisolation – nicht eine absichtlich gegen reale Firmen gerichtete Kampagne des Modells.
Lesen Sie auch:
Newsletter abonnieren
Erhalten Sie die neuesten Nachrichten zu Web3, KI und Krypto direkt in Ihren Posteingang.