KI in Fachprozesse integrieren, ohne Kontrolle abzugeben

In vielen Projekten beginnt die KI-Diskussion mit einer Demonstration: Ein Modell fasst Texte zusammen, beantwortet Fragen oder schlägt eine Entscheidung vor. Das kann in wenigen Stunden überzeugend aussehen. Für den produktiven Einsatz sagt es erstaunlich wenig aus. Dort zählt, ob die Funktion unter realen Eingaben verlässlich arbeitet, ob Fehler auffallen und wer eingreift, wenn das Ergebnis nicht verwendbar ist.

Ein Modell ist noch keine Fachfunktion

Die Arbeit beginnt beim Vorgang. Welcher Schritt soll unterstützt werden? Welche Informationen dürfen einfließen? Was geschieht anschließend mit der Ausgabe? Vor allem: Welche Folgen hätte ein plausibel formulierter, aber sachlich falscher Vorschlag? Erst aus diesen Fragen entsteht ein sinnvoll begrenzter Anwendungsfall.

Das NIST AI Risk Management Framework ordnet diese Klärung den Funktionen Govern, Map, Measure und Manage zu. Es versteht sich nicht als universelle Checkliste. Für einen Fachprozess ergibt sich dennoch eine brauchbare Arbeitslogik: Zuständigkeiten festlegen, Nutzungskontext und Betroffene verstehen, Risiken mit geeigneten Verfahren messen und auf die Ergebnisse reagieren. Änderungen am Modell, an Datenquellen oder am Prozess können frühere Annahmen jederzeit entwerten.

Zuständigkeit darf nicht im Interface verschwinden

Eine Freigabeschaltfläche allein schafft keine menschliche Kontrolle. Die zuständige Person benötigt genügend Kontext, Zeit und Befugnis, um einer Empfehlung zu widersprechen. Ist die Oberfläche so gebaut, dass Übernehmen leichter ist als Prüfen, wird aus der vorgesehenen Aufsicht schnell ein Ritual. Sichtbare Quellen, klar bezeichnete Unsicherheiten und ein direkter Weg zum Zurückweisen problematischer Ausgaben sind deshalb Teil des Verfahrens.

Entscheidend ist die gesamte Entscheidungskette. Dazu gehören das verwendete Modell, seine Version, Systemanweisungen, zugeladene Dokumente, Regeln und nachgelagerte Automatisierungen. Nur wenn diese Bestandteile zugeordnet werden können, lässt sich später untersuchen, warum ein bestimmtes Ergebnis entstanden ist. Die Protokollierung braucht dabei eigene Grenzen: Sensible Eingaben gehören nicht ungeprüft in dauerhafte Logs, und Zugriffsrechte müssen zum Zweck passen.

Die europäische KI-Verordnung knüpft Pflichten an Rolle und Risikoklasse. Für Hochrisiko-KI sieht sie unter anderem ein fortlaufendes Risikomanagement und wirksame menschliche Aufsicht vor. Daraus folgt nicht, dass jede Assistenzfunktion automatisch als Hochrisiko-System gilt. Die Einordnung hängt vom vorgesehenen Zweck, vom Einsatzkontext und von der Rolle des Unternehmens ab.

Qualität zeigt sich im Anwendungskontext

Allgemeine Benchmarks helfen bei der Modellauswahl, ersetzen aber keinen Test mit repräsentativen Fällen. Typische Vorgänge gehören ebenso in den Prüfkatalog wie seltene Randfälle, unvollständige Unterlagen und Eingaben, die absichtlich gegen die vorgesehenen Regeln arbeiten. Die Messgröße muss zur Aufgabe passen. Bei einer Rechercheassistenz können Quellenbezug und Vollständigkeit entscheidend sein; bei einer Klassifikation zählen falsch positive und falsch negative Zuordnungen getrennt.

Für generative Systeme nennt das NIST-Profil unter anderem Konfabulation, Datenschutz, Informationsintegrität und Risiken in der Lieferkette. Praktisch bedeutet das: Behauptungen und Quellen werden vor der Freigabe und während des Betriebs überprüft. Auch menschliche Korrekturen liefern ein Signal. Häufen sich Übersteuerungen bei einem bestimmten Vorgangstyp, kann dort ein systematisches Problem liegen, das eine allgemeine Erfolgsquote verdeckt.

Der Rückfallweg ist Teil der Planung

Ein Fachprozess benötigt eine definierte Reaktion auf Zeitüberschreitungen, nicht verfügbare Anbieter, unzulässige Eingaben und Ergebnisse unterhalb der Qualitätsgrenze. Der Vorgang kann an eine manuelle Bearbeitung gehen, in einem sicheren Zwischenzustand warten oder mit einer begrenzten Ersatzfunktion fortgesetzt werden. Welche Variante angemessen ist, entscheidet der mögliche Schaden eines Fehlers.

Vor der Freigabe sollte ein Unternehmen vier Fragen beantworten können: Wofür wird das System eingesetzt? Woran wird seine Leistung gemessen? Wer beaufsichtigt es? Wie läuft der Prozess ohne verwertbare Modellausgabe weiter? Solange eine Antwort fehlt, ist nicht das Modell das Problem. Der umgebende Prozess ist noch nicht produktionsreif.