Wenn KI entscheidet: Eine menschliche Freigabe allein genügt nicht

Bei KI-gestützten Personalentscheidungen genügt es nicht, am Ende eine menschliche Freigabe einzuholen. Legen Sie für jeden Schritt fest, wer den KI-Vorschlag fachlich prüft, wer entscheidet, wer ihn überstimmen darf und wer bei einem Fehler Fälle oder den gesamten KI-Einsatz anhält. Diese Personen brauchen dafür Befugnisse, Informationen und Zeit.

Die BMAS-Arbeitshilfe für die Arbeits- und Sozialverwaltung empfiehlt, Verantwortlichkeiten im geplanten Ablauf etwa mit einem RACI-Schema zu kennzeichnen. Sie nennt Schulung und ausreichend Zeit als Voraussetzungen menschlicher Aufsicht und weist auf übermäßiges Vertrauen in KI-Ergebnisse hin. Die folgende Vorlage überträgt diesen Organisationsgedanken auf ein beispielhaftes Bewerbungsverfahren; ob ein konkretes System und seine Daten dort eingesetzt werden dürfen, ist gesondert zu prüfen.

Entscheidung und Betreiberrolle auseinanderhalten

Beschreiben Sie zuerst die Handlung, um die es geht: Soll ein KI-Vorschlag beeinflussen, welche Bewerbungen für ein Gespräch näher geprüft werden? Halten Sie fest, welche Angaben das System erhält, was es ausgibt und an welcher Stelle aus dem Vorschlag eine Entscheidung über eine Person werden könnte. Eine pauschale Zuständigkeit für „KI im Personalwesen“ lässt diese Grenze offen.

Die Bundesnetzagentur erläutert, dass Beschäftigte nicht selbst zu Betreibern werden, wenn sie das System nach den Verfahren und unter der Kontrolle einer juristischen Person nutzen; für Hochrisiko-Systeme sieht die KI-Verordnung zudem Aufsicht durch geeignete Personen mit Kompetenz, Ausbildung und Befugnis vor. Eine interne Matrix verteilt also Aufgaben und Entscheidungsrechte innerhalb der Organisation. Sie verlagert die Betreiberrolle nicht allein auf die Person, die eine Freigabe erteilt.

Für die Matrix steht R für die ausführende Rolle, A für die innerhalb des Prozesses rechenschaftspflichtige Rolle, C für fachlich Beteiligte und I für zu Informierende. Benennen Sie pro Schritt eine erreichbare A-Rolle und ihre Vertretung. Entscheidend ist, ob die eingetragene Person eine Empfehlung tatsächlich ändern, einen Fall anhalten oder Unterstützung einfordern kann.

Vorlage für ein KI-gestütztes Bewerbungsverfahren

Im folgenden bedingten Organisationsbeispiel schlägt ein System Bewerbungen zur näheren Prüfung vor. Die Ausgabe sortiert niemanden selbstständig aus. Rollenbezeichnungen und Freigabegrenzen müssen zur jeweiligen Organisation passen; die Zuordnung ist keine Aussage über die Zulässigkeit eines bestimmten Produkts.

• KI-Vorschlag: Die Systemverantwortung ist R für den vorgesehenen Betrieb und dafür, dass die Ausgabe als Vorschlag erkennbar bleibt. Die Personalleitung ist A für den Einsatz des Systems im Auswahlablauf. Das KI-System selbst erhält keine verantwortliche Rolle in der Matrix.
• Fachliche Prüfung: Eine geschulte Personalfachkraft ist R und vergleicht den Vorschlag mit den zuvor festgelegten Anforderungen der Stelle und den relevanten Bewerbungsangaben. Die Personalleitung ist A für die Einladung zum Gespräch. Eine fachliche Führungskraft kann als C Anforderungen erläutern, ohne die Prüfung stillschweigend zu übernehmen.
• Überstimmung: Die prüfende Person darf eine Empfehlung verwerfen und eine abweichende Auswahl vorschlagen. Definieren Sie, welche Abweichung sie selbst entscheiden kann und wann die Personalleitung als A entscheidet. Maßstab bleiben die fachlichen Anforderungen, nicht die Zustimmung zur Systemausgabe.
• Information Betroffener: Die Personalstelle ist R für die vorgesehene Information über den KI-Einsatz und einen erreichbaren Kontakt für Fragen. Die Personalleitung ist A für den Ablauf; die Datenschutzfunktion wird als C zu Inhalt und Zeitpunkt einbezogen. Die konkreten Informationspflichten sind für das Verfahren gesondert zu bestimmen.
• Vorfall: Wer einen auffälligen Vorschlag oder fehlerhafte Eingabedaten bemerkt, meldet den Fall an die benannte Ansprechstelle. Die Systemverantwortung ist R für die technische Untersuchung. Die zuständige Leitung ist A für die Entscheidung, welche laufenden Fälle angehalten oder erneut geprüft werden.
• Aussetzen und Wiederaufnahme: Die prüfende Person kann den einzelnen Fall bis zur Klärung stoppen. Die Systemverantwortung setzt den KI-Einsatz auf Anweisung aus; die zuständige Leitung ist A für Umfang und spätere Wiederaufnahme. Währenddessen muss feststehen, wie Bewerbungen ohne den KI-Vorschlag bearbeitet werden.

Ergänzen Sie zu jeder Rolle eine Vertretung und einen erreichbaren Eskalationsweg. Wenn die entscheidungsbefugte Person fehlt, darf die Zuständigkeit nicht unbemerkt an die Person mit dem nächsten Freigabefeld fallen. Auch für einen angehaltenen Fall braucht es eine festgelegte Bearbeitung, damit eine offene KI-Frage nicht automatisch zur Ablehnung oder zu einem unbegründeten Stillstand führt.

Prüfzeit und Widerspruch einplanen

Eine fachliche Prüfung setzt voraus, dass die Person mehr sieht als einen Rang oder eine Empfehlung. Im Beispiel benötigt sie die Anforderungen der Stelle und die dafür relevanten Bewerbungsangaben, um den Vorschlag eigenständig beurteilen zu können. Fehlen Angaben oder ist die Ausgabe nicht nachvollziehbar, muss sie nachfragen oder den Fall ohne diese Ausgabe prüfen können.

Reservieren Sie dafür Zeit im tatsächlichen Arbeitsablauf und schulen Sie Prüfende auf Zweck und Grenzen des eingesetzten Systems. Wer unter Zeitdruck nur viele Vorschläge bestätigt, kann eine formale Freigabe erteilen, ohne eine eigenständige Entscheidung zu treffen. Das Eingriffsrecht muss deshalb im Verfahren funktionieren: Die prüfende Person braucht einen Weg, eine Ausgabe abzulehnen, und eine klare Grenze, ab der die Personalleitung übernimmt.

Vorschlag, Entscheidung und Eingriff getrennt festhalten

Ein Fallvermerk sollte erkennen lassen, welcher KI-Vorschlag vorlag, welche fachlichen Kriterien die prüfende Person herangezogen hat und wie die menschliche Entscheidung ausfiel. Eine Abweichung braucht eine kurze sachliche Begründung; ebenso sollte erkennbar sein, wer einen Fall angehalten oder weitergegeben hat. So bleibt nachvollziehbar, ob ein Mensch geprüft hat, ohne die KI-Ausgabe nachträglich als seine eigene Begründung auszugeben.

Legen Sie für solche Vermerke Zweck, Zugriff und Aufbewahrung im Datenschutzkonzept des konkreten Verfahrens fest. Die Personalstelle muss außerdem beantworten können, welche Rolle das System im Auswahlprozess spielte und an wen sich Betroffene mit Fragen wenden können. Die Rollenmatrix benennt dafür Verantwortliche, ersetzt aber weder die Prüfung von Bewerberdaten noch die Festlegung der erforderlichen Information.

Eskalation und Rechtsrahmen abgrenzen

Ein Eskalationsweg braucht erkennbare Auslöser: etwa einen fachlich nicht erklärbaren Vorschlag, wiederkehrende Auffälligkeiten oder den Verdacht auf fehlerhafte Eingabedaten. Die prüfende Person hält betroffene Fälle an, die Systemverantwortung untersucht die Ursache und die Leitung entscheidet über Umfang, Fortsetzung und gegebenenfalls Aussetzen des KI-Einsatzes. Diese Entscheidungen betreffen verschiedene Ebenen und sollten deshalb nicht in einer allgemeinen Zuständigkeit für „Freigabe“ verschwinden.

Für die in Anhang III erfassten Hochrisikobereiche einschließlich Beschäftigung nennt die EU-Kommission den 2. Dezember 2027 als Beginn der einschlägigen Hochrisikoregeln. Ob ein konkretes System darunter fällt, hängt von seiner vorgesehenen Verwendung ab; geltende Datenschutzvorgaben sind unabhängig von diesem Termin zu prüfen. Die rechtlichen Aussagen hier beziehen sich auf Deutschland im EU-Rahmen. Für Organisationen in Österreich oder der Schweiz kann die Matrix als Organisationsmodell dienen, nicht als identische rechtliche Einordnung.

Lesen Sie auch:

• Nvidia und Palantir steuern Lieferketten mit KI – Menschen entscheiden zuletzt
• Eine EU-Cloud ist nicht automatisch souverän – 48 Kriterien machen den Unterschied
• ChatGPT und Claude fielen zugleich aus – ein zweiter Anbieter genügt nicht