Produktive KI-Modelle überwachen: Worauf es ankommt

Ein KI-Modell kann im fachlichen Test überzeugen und im produktiven Betrieb dennoch zum Risiko werden. Sobald es reale Kundenanfragen beantwortet, Dokumente klassifiziert, Bedarfe prognostiziert oder SAP-nahe Prozesse unterstützt, verändern sich Daten, Nutzerverhalten und Geschäftsregeln laufend. Produktive KI-Modelle zu überwachen bedeutet daher mehr als Verfügbarkeit zu messen: Unternehmen benötigen belastbare Aussagen darüber, ob Ergebnisse fachlich richtig, technisch stabil, sicher und nachvollziehbar bleiben.

Die entscheidende Frage lautet nicht, ob ein Modell einmal eine hohe Trefferquote erreicht hat. Entscheidend ist, ob es unter den Bedingungen des Betriebs innerhalb definierter Grenzen arbeitet und ob Abweichungen rechtzeitig erkannt, bewertet und behandelt werden. Dafür müssen Fachbereich, IT-Betrieb, Datenmanagement, Informationssicherheit und Compliance mit klaren Verantwortlichkeiten zusammenarbeiten.

Warum der Go-Live nur der Beginn ist

Vor dem Go-Live werden Modelle typischerweise gegen Testdaten geprüft. Diese Daten sind jedoch häufig bereinigt, strukturiert und fachlich vorqualifiziert. Im Betrieb treffen Modelle auf unvollständige Eingaben, neue Dokumenttypen, saisonale Veränderungen, geänderte Stammdaten oder Prozessvarianten, die im Test nicht abgebildet waren.

Ein Modell zur Klassifizierung eingehender Rechnungen kann beispielsweise zuverlässig arbeiten, bis ein Lieferant sein Layout ändert oder ein neues Beschaffungsverfahren eingeführt wird. Ein Prognosemodell kann an Aussagekraft verlieren, wenn sich Preislogiken, Absatzkanäle oder Verfügbarkeiten ändern. Bei generativer KI kommen zusätzlich ungeeignete, unvollständige oder nicht belegte Antworten hinzu. Technische Verfügbarkeit allein zeigt diese Probleme nicht.

Monitoring verbindet deshalb drei Perspektiven. Es beobachtet die technische Leistung der Anwendung, die Qualität von Daten und Modellergebnissen sowie die Auswirkungen auf den Geschäftsprozess. Welche Gewichtung sinnvoll ist, hängt vom Einsatzfall ab. Bei einer internen Rechercheassistenz stehen Quellenbezug und Berechtigungen häufig im Vordergrund. Bei automatisierten Dispositionsempfehlungen sind dagegen Fehlerquoten, Eingriffsquoten und wirtschaftliche Auswirkungen besonders relevant.

Produktive KI-Modelle überwachen: Was gemessen werden muss

Ein wirksames Überwachungskonzept beginnt nicht mit einem Dashboard, sondern mit überprüfbaren Betriebszielen. Für jeden Anwendungsfall sollte festgelegt werden, welche Ergebnisse akzeptabel sind, welche Abweichung toleriert wird und wann ein Eingriff erforderlich ist. Nur dann lassen sich Kennzahlen fachlich einordnen.

Technische Betriebskennzahlen

Die technische Ebene umfasst unter anderem Antwortzeiten, Fehlerraten, Durchsatz, Ressourcenauslastung und Verfügbarkeit abhängiger Systeme. Gerade bei KI-Anwendungen in Prozessketten müssen auch Schnittstellen berücksichtigt werden: Datenübergaben aus SAP, Dokumentenmanagement, Data Lake oder Identity Management können die Ergebnisqualität beeinträchtigen, ohne dass das Modell selbst fehlerhaft arbeitet.

Relevanz gewinnt diese Ebene insbesondere bei Lastspitzen und bei Änderungen an Integrationen. Werden Zeitüberschreitungen oder Fehler automatisch durch Fallback-Prozesse abgefangen, muss nachvollziehbar bleiben, wie oft dies geschieht und welche fachlichen Folgen daraus entstehen. Ein stabiler Betrieb ist nicht erreicht, wenn eine Anwendung zwar erreichbar ist, aber regelmäßig mit veralteten oder unvollständigen Daten arbeitet.

Datenqualität und Data Drift

Modelle treffen Entscheidungen auf Basis der Daten, die ihnen tatsächlich bereitgestellt werden. Daher gehört die Überwachung der Eingabedaten zwingend in das Betriebskonzept. Geprüft werden sollten Vollständigkeit, Aktualität, Wertebereiche, Verteilungen, Dubletten und die Einhaltung definierter Datenformate.

Verändert sich die Zusammensetzung der Eingaben dauerhaft, liegt möglicherweise Data Drift vor. Ein Beispiel ist eine veränderte Produktstruktur im Großhandel oder die Aufnahme neuer Anlagen- und Zählerdaten bei einem Energieversorger. Solche Veränderungen sind nicht automatisch kritisch. Sie müssen aber sichtbar werden, damit Fachbereich und Datenverantwortliche bewerten können, ob ein Modell weiterhin für den vorgesehenen Zweck geeignet ist.

Bei Sprachmodellen und Retrieval-gestützten Anwendungen ist außerdem die Wissensbasis zu überwachen. Aktualisierungsstände, Dokumentenfreigaben, Berechtigungskonzepte und die Qualität der abgerufenen Quellen beeinflussen die Antwort stärker als ein rein technischer Modellparameter. Werden veraltete Richtlinien oder unvollständige Prozessdokumente referenziert, entstehen fachliche Risiken trotz korrekt arbeitender Plattform.

Ergebnisqualität und fachliche Wirkung

Die fachliche Qualitätsmessung muss zum Prozess passen. Bei Klassifikationen können dies Präzision, Vollständigkeit und Fehlzuordnungen sein. Bei Prognosen sind Abweichungen zu tatsächlichen Werten, systematische Über- oder Unterschätzungen sowie Auswirkungen auf Bestände oder Lieferfähigkeit relevant. Für generative KI sind etwa die Belegbarkeit von Aussagen, die Quote fachlicher Korrekturen und unzulässige Antwortmuster aussagekräftig.

Nicht jede Ausgabe lässt sich vollständig automatisiert bewerten. Deshalb sind kontrollierte Stichproben, fachliche Review-Prozesse und Rückmeldungen der Anwender zentrale Bausteine. Wichtig ist, diese Rückmeldungen strukturiert zu erfassen. Ein Freitextfeld wie „Antwort nicht hilfreich“ reicht für eine Ursachenanalyse selten aus. Besser sind Kategorien wie fehlende Quelle, unzutreffender Prozessbezug, unvollständige Antwort, falsche Berechtigung oder unklare Eingabe.

Eine hohe Nutzerakzeptanz kann ein positives Signal sein, ersetzt aber keine Qualitätsprüfung. Anwender übernehmen plausible Ergebnisse gelegentlich zu schnell, insbesondere unter Zeitdruck. Umgekehrt kann eine hohe Korrekturquote auch erwünscht sein, wenn ein Modell bewusst nur Vorschläge für einen menschlichen Freigabeschritt liefert. Kennzahlen müssen deshalb stets im Kontext des vorgesehenen Automatisierungsgrads gelesen werden.

Schwellenwerte, Eskalation und Eingriffsrechte

Messwerte entfalten erst mit klaren Schwellenwerten eine Steuerungswirkung. Dabei sind mehrere Stufen sinnvoll: ein Hinweis zur Beobachtung, ein Warnwert mit Analyseauftrag und ein kritischer Wert, der eine Einschränkung oder Unterbrechung des Einsatzes auslöst. Die Schwellenwerte sollten nicht nur auf Durchschnittswerten beruhen. Gerade einzelne kritische Fehlentscheidungen können schwerer wiegen als eine gute Gesamtquote.

Für jedes Ereignis braucht es eine definierte Reaktion. Wer bewertet einen Datenqualitätsalarm? Wer entscheidet über die Deaktivierung einer automatisierten Weiterverarbeitung? Wer informiert Prozessverantwortliche, Datenschutz, Informationssicherheit oder Compliance, wenn ein Vorfall die jeweiligen Zuständigkeiten berührt? Diese Rollen müssen vor dem Go-Live festgelegt und im Betriebsmodell dokumentiert sein.

Bei hochkritischen Prozessen empfiehlt sich ein kontrollierter Fallback. Das kann eine Rückgabe an die manuelle Bearbeitung, eine Begrenzung auf Vorschläge oder ein Wechsel auf einen regelbasierten Prozess sein. Ein Fallback ist jedoch nur belastbar, wenn Kapazitäten, Bearbeitungsfristen und Kommunikationswege vorbereitet sind. Andernfalls verlagert sich das Risiko vom Modell in den operativen Stau.

Nachvollziehbarkeit für Betrieb, Audit und Governance

Für die Ursachenanalyse reicht es nicht, das Endergebnis zu speichern. Unternehmen sollten nachvollziehen können, welche Modellversion, welche Eingabedaten, welche Konfiguration, welche Prompt-Vorlage und bei Retrieval-Anwendungen welche Quellen zu einer Ausgabe geführt haben. Hinzu kommen Zeitstempel, Freigabestände und die Information, ob ein Mensch die Entscheidung geprüft oder geändert hat.

Der Umfang der Protokollierung ist mit Datenschutz, Geschäftsgeheimnissen und Aufbewahrungsanforderungen abzustimmen. Es gilt nicht das Prinzip, möglichst viele Daten zu speichern. Erforderlich sind zweckgebundene, geschützte und auswertbare Protokolle. Zugriffsrechte auf Logs müssen ebenso sauber geregelt sein wie Berechtigungen für Modelländerungen und Wissensbasen.

Änderungsmanagement ist dabei ein oft unterschätzter Punkt. Ein neues Modell, ein angepasster Prompt, eine aktualisierte Schnittstelle oder eine andere Datenquelle kann das Verhalten deutlich verändern. Solche Änderungen benötigen nachvollziehbare Tests, Freigaben und eine Entscheidung, ob Schwellenwerte oder Kontrollstichproben angepasst werden müssen. In SAP- und Transformationsprojekten sollte dies in bestehende Test-, Release- und Cutover-Strukturen integriert werden, statt parallel ein separates Verfahren aufzubauen.

Ein praktikabler Einstieg in die Überwachung

Der sinnvollste Einstieg ist meist kein unternehmensweites Zielbild auf hoher Flughöhe, sondern ein priorisierter produktiver Anwendungsfall. Zunächst werden Prozesszweck, Risikopotenziale, Datenflüsse, vorhandene Kontrollen und beteiligte Rollen aufgenommen. Anschließend lassen sich wenige, belastbare Kennzahlen sowie ein konkreter Eskalationsweg definieren.

Im nächsten Schritt wird die technische Erfassung mit dem Fachprozess verbunden. Ein Dashboard ist hilfreich, wenn es Entscheidungen unterstützt: etwa durch die Sichtbarkeit offener Qualitätsprüfungen, auffälliger Datenänderungen, Modellversionen und eingeleiteter Maßnahmen. Ein Dashboard ohne klare Empfänger, Grenzwerte und Handlungsauftrag produziert dagegen vor allem zusätzliche Signale.

Regelmäßige Betriebsreviews schließen den Kreislauf. Dort werden nicht nur Kennzahlen betrachtet, sondern Ursachen, Korrekturmaßnahmen und offene Risiken dokumentiert. So entsteht schrittweise ein revisionssicheres Reporting, das den Betrieb unterstützt und nicht zu einer losgelösten Governance-Pflicht wird.

Monitoring für den produktiven Betrieb aufsetzen

Quteco kann in einem Quick Check oder Workshop Datenflüsse, Betriebsrollen, Kontrolllücken und messbare Kennzahlen für konkrete KI-Anwendungsfälle strukturieren. In laufenden SAP-, Daten- und KI-Projekten lässt sich daraus ein umsetzbares Monitoring- und Eskalationsmodell ableiten, das Testmanagement, Betriebsübergabe und Governance verbindet. Bei rechtlichen Einordnungen zu Datenschutz oder EU AI Act kann ergänzend die rechtlich eigenständige Quteco Rechtsanwaltsgesellschaft mbH eingebunden werden.

Die Qualität produktiver KI entscheidet sich nicht im Modellvergleich, sondern in der Fähigkeit, Abweichungen im laufenden Prozess rechtzeitig zu erkennen und nachvollziehbar zu behandeln.