Wirksame Aufsicht für KI im Fachprozess vorbereiten

Eine Person sieht einen KI-Vorschlag, klickt auf Freigabe und bleibt formal im Prozess. Ob sie den Vorschlag tatsächlich prüfen konnte, ist damit nicht beantwortet. Fehlten die Originalunterlagen, war die Frist fast abgelaufen oder ließ sich der Vorgang ohne Übernahme der Ausgabe nicht fortsetzen, bestand kaum eine echte Entscheidungsmöglichkeit. Wirksame Aufsicht beginnt daher nicht bei der Schaltfläche, sondern beim fachlichen Vorgang und den Folgen einer falschen Entscheidung.

Der NIST AI Risk Management Framework 1.0 ordnet die Arbeit in Govern, Map, Measure und Manage. Das Profil für generative KI ergänzt spezifische Risiken und mögliche Maßnahmen. Beide Dokumente sind freiwillig. Sie ersetzen weder die rechtliche Einordnung eines Systems noch die Erprobung im vorgesehenen Nutzungskontext. Governance begleitet den gesamten Lebenszyklus; Map, Measure und Manage werden erneut relevant, wenn sich Modell, Daten, Zweck oder nachgelagerter Prozess ändern. Die Beschreibung setzt deshalb beim unterstützten Arbeitsschritt an. Welche Daten darf das System nutzen? Wer erhält die Ausgabe? Welche Handlung kann sie auslösen? Und welche Fehlerfolge ist im konkreten Vorgang vertretbar? Erst danach lässt sich entscheiden, welche Prüfung, Protokollierung oder Einschränkung benötigt wird. Ein überzeugender Prototyp beantwortet diese Fragen nicht automatisch.

Rechtsstand im August 2026

Artikel 14 des AI Act verlangt für Hochrisiko-KI eine wirksame Aufsicht durch natürliche Personen. Sie sollen Fähigkeiten und Grenzen des Systems verstehen, Auffälligkeiten erkennen, Ausgaben richtig interpretieren und diese nötigenfalls ignorieren, übersteuern oder rückgängig machen können. Im August 2026 ist diese Hauptpflicht noch nicht allgemein anwendbar. Nach der Verordnung (EU) 2026/1744 greifen die einschlägigen Vorschriften je nach Kategorie des Hochrisiko-Systems ab dem 2. Dezember 2027 oder dem 2. August 2028. Ob ein konkretes System erfasst ist, hängt von vorgesehenem Zweck, Rolle und gesetzlicher Einordnung ab.

Für die technische Vorbereitung bleibt die Entscheidungssituation greifbar: Die prüfende Person benötigt den maßgeblichen Kontext, einen Weg zu den Originalquellen und die Befugnis, den Vorschlag abzulehnen. Für spätere Untersuchungen kann dokumentiert werden, welchen Modell- und Konfigurationsstand sie gesehen hat. Sensible Eingaben gehören jedoch nicht automatisch in unbegrenzt aufbewahrte Logs. Oft genügt eine geschützte Referenz auf das führende Fachsystem zusammen mit den für Audit und Wiederholung notwendigen technischen Kennungen.

Evaluation im Fachprozess

Allgemeine Benchmarks helfen bei der Vorauswahl, bilden einen Fachprozess aber selten vollständig ab. Eine Evaluation braucht typische Fälle, Randfälle und unvollständige Unterlagen aus dem zulässigen Nutzungskontext. Für eine Klassifikation sind falsch positive und falsch negative Ergebnisse getrennt zu bewerten; bei einer Rechercheassistenz können Quellenbezug und Vollständigkeit wichtiger sein. Das NIST-Profil behandelt unter anderem Konfabulation, Datenschutz, Informationsintegrität und Lieferketten als eigene Risikofelder.

Zum Betrieb gehört schließlich der Fall, dass das Modell ausfällt oder keine Ausgabe oberhalb der festgelegten Qualitätsgrenze liefert. Je nach Schadenspotenzial kann der Vorgang warten, manuell weiterlaufen oder nur eine begrenzte Ersatzfunktion nutzen. Dieser Rückfallweg ist eine Entscheidung für den konkreten Prozess. Ohne ihn hängt die angeblich menschliche Aufsicht ausgerechnet dann am KI-System, wenn dessen Ergebnis nicht verwendet werden soll.

Hinweis: Diese Einordnung ersetzt keine Prüfung des Einzelfalls.