KI Audit für belastbare Entscheidungen im Betrieb

Ein KI Audit wird meist dann dringend, wenn ein Fachbereich ein Modell bereits produktiv nutzt, die Datengrundlage aber nicht vollständig dokumentiert ist. Oder wenn Beschaffung, IT-Sicherheit, Datenschutz und Compliance unterschiedliche Antworten auf dieselbe Frage geben: Wer trägt für dieses KI-System im Betrieb welche Verantwortung? Ohne eine belastbare Bestandsaufnahme bleiben Risiken, technische Abhängigkeiten und Entscheidungswege häufig unsichtbar - bis ein Audit, ein Sicherheitsvorfall oder eine kritische Geschäftsentscheidung sie sichtbar macht.

Ein wirksames KI Audit bewertet deshalb nicht allein die Qualität eines Modells. Es verbindet den fachlichen Zweck, Datenflüsse, technische Architektur, Betriebsprozesse und Governance zu einem nachvollziehbaren Gesamtbild. Das Ergebnis ist keine abstrakte Reifegradfolie, sondern eine priorisierte Arbeitsgrundlage für verantwortliche Teams.

Was ein KI Audit im Unternehmen prüft

Der Gegenstand eines Audits richtet sich nach dem konkreten Einsatz. Ein Prognosemodell für Absatzmengen, ein Assistenzsystem im Kundenservice und ein generatives Modell zur Dokumentenanalyse stellen unterschiedliche Anforderungen. Dennoch lassen sich fünf Prüfbereiche in nahezu jedem Vorhaben wiederfinden: fachlicher Einsatzzweck, Datenbasis, Modell und technische Integration, Betriebssteuerung sowie Governance und Nachweisführung.

Am Anfang steht die Frage, welche Entscheidung das System unterstützt oder beeinflusst. Dabei genügt es nicht, den Anwendungsfall als „KI im Vertrieb“ oder „Chatbot“ zu bezeichnen. Relevant sind der konkrete Prozessschritt, die Nutzergruppen, die betroffenen Daten, die Reichweite der Ergebnisse und die Folgen fehlerhafter Empfehlungen. Erst damit lässt sich bewerten, welche Kontrollen angemessen sind.

Die Datenbasis ist häufig der entscheidende Prüfpunkt. Ein Modell kann technisch sauber implementiert sein und dennoch unzuverlässige Ergebnisse erzeugen, wenn Stammdaten uneinheitlich sind, Trainingsdaten nicht repräsentativ bleiben oder Schnittstellen Daten ohne nachvollziehbare Transformationen übergeben. Besonders in SAP-nahen Prozessen entstehen Risiken an Übergabepunkten zwischen ERP, Data Platform, Fachanwendung und KI-Service. Ein Audit sollte diese Datenflüsse nicht nur beschreiben, sondern Quellen, Verantwortliche, Qualitätsregeln und Änderungsprozesse nachvollziehbar zuordnen.

Auch die technische Einbindung gehört in den Blick. Dazu zählen Zugriffsrechte, Schnittstellen, Protokollierung, Versionierung von Modellen und Konfigurationen sowie Verfahren für Tests und produktive Freigaben. Bei produktionsnahen KI-Anwendungen ist entscheidend, ob Änderungen kontrolliert in den Betrieb gelangen und ob sich Ergebnisse im Nachgang einem Modellstand, einer Datenbasis und einem Prozesskontext zuordnen lassen.

KI Audit als Grundlage für steuerbare Governance

Governance wird oft mit Richtlinien gleichgesetzt. Richtlinien sind notwendig, reichen aber nicht aus. Steuerbar wird ein KI-Einsatz erst, wenn Rollen, Freigaben und Eskalationswege im laufenden Betrieb funktionieren. Ein Audit prüft deshalb, ob die dokumentierte Verantwortung der Realität entspricht.

In der Praxis zeigen sich regelmäßig Lücken zwischen Fachbereich, IT und Compliance. Der Fachbereich verantwortet den Nutzen des Anwendungsfalls, besitzt aber keine Transparenz über technische Änderungen. Die IT betreibt Schnittstellen und Plattformen, kann jedoch nicht beurteilen, ob eine Modellantwort fachlich vertretbar ist. Datenschutz, Informationssicherheit und Compliance werden womöglich erst vor dem Go-Live eingebunden, obwohl Entscheidungen zur Datennutzung oder Beschaffung längst getroffen wurden.

Eine belastbare Rollenstruktur trennt diese Verantwortlichkeiten, ohne sie künstlich zu isolieren. Für jeden Anwendungsfall sollte klar sein, wer den fachlichen Zweck verantwortet, wer Datenqualität und Berechtigungen steuert, wer technische Betriebskontrollen umsetzt und wer Freigaben dokumentiert. Ebenso wichtig ist ein definierter Umgang mit Abweichungen: Was passiert bei auffälligen Ergebnissen, Änderungen an Datenquellen, Sicherheitsereignissen oder Beschwerden von Nutzern?

Revisionssicheres Reporting entsteht nicht erst zum Prüfungstermin. Es braucht eine angemessene Dokumentation von Entscheidungen, Tests, Freigaben und wesentlichen Änderungen. Der notwendige Detailgrad hängt vom Risiko und vom Einsatzbereich ab. Für ein internes Assistenzsystem mit klarer menschlicher Prüfung gelten andere Anforderungen als für eine KI, die Entscheidungen mit wirtschaftlich oder personenbezogen erheblichen Folgen vorbereitet. Ein Audit macht diese Unterschiede transparent und verhindert, dass Teams alle Anwendungsfälle mit derselben, oft unpraktischen Kontrolltiefe behandeln.

Regulatorische Anforderungen richtig einordnen

Der EU AI Act erhöht die Anforderungen an Transparenz, Risikobewertung und Governance für bestimmte KI-Systeme. Ein KI Audit kann die technische und organisatorische Grundlage schaffen, um betroffene Systeme zu erfassen, zu klassifizieren und erforderliche Nachweise strukturiert vorzubereiten. Dazu gehören beispielsweise die Beschreibung des Verwendungszwecks, die Bewertung von Daten- und Modellrisiken, menschliche Aufsicht, Protokollierung und die Zuordnung von Pflichten entlang der Lieferkette.

Die rechtliche Bewertung, ob und in welchem Umfang konkrete gesetzliche Anforderungen greifen, muss jedoch von der technischen Analyse getrennt werden. Bei Bedarf kann hierfür die rechtlich eigenständige Quteco Rechtsanwaltsgesellschaft mbH eingebunden werden. Diese Trennung ist gerade bei komplexen Projekten sinnvoll: Technische Fakten, Datenflüsse und Betriebsprozesse werden belastbar erhoben, während die rechtliche Einordnung auf einer nachvollziehbaren Grundlage erfolgt.

Neben KI-spezifischen Vorgaben können Datenschutz, Informationssicherheit, vertragliche Anforderungen von Kunden und Lieferanten sowie branchenspezifische Kontrollen relevant sein. Ein Audit ersetzt keine Einzelprüfung dieser Themen. Es verhindert aber, dass sie isoliert behandelt werden, obwohl sie im tatsächlichen Betrieb zusammenwirken.

So läuft ein praxisnahes KI Audit ab

Ein sinnvoller Ablauf beginnt mit einer fokussierten Bestandsaufnahme. Ziel ist nicht, jedes Experiment im Unternehmen gleich tief zu prüfen. Zunächst werden produktive, kurzfristig produktiv werdende und geschäftskritische KI-Anwendungen identifiziert. Diese Priorisierung berücksichtigt unter anderem Datenarten, Prozesskritikalität, Nutzerkreis, Automatisierungsgrad und externe Abhängigkeiten.

Darauf folgt die strukturierte Erhebung von Unterlagen und tatsächlichen Abläufen. Architekturdiagramme, Datenflussbeschreibungen, Berechtigungskonzepte, Testnachweise, Betriebsdokumentation und Lieferanteninformationen sind wichtige Ausgangspunkte. Häufig zeigt sich erst in Gesprächen mit den verantwortlichen Teams, welche manuellen Schritte, Ausnahmen oder nicht dokumentierten Schnittstellen tatsächlich bestehen. Das Audit sollte deshalb Dokumentenprüfung und Interviews verbinden.

In der Bewertungsphase werden Feststellungen nicht nur als Mängelliste formuliert. Jede Abweichung braucht eine Einordnung nach Auswirkung, Eintrittswahrscheinlichkeit, regulatorischer Relevanz und Umsetzungsaufwand. Eine fehlende Modellversionierung kann in einem Pilotbetrieb anders zu priorisieren sein als in einer Anwendung, deren Ergebnisse in einen kritischen SAP-Prozess einfließen. Diese Differenzierung schafft Akzeptanz und verhindert Maßnahmenpakete, die fachlich richtig, operativ aber nicht umsetzbar sind.

Am Ende stehen ein nachvollziehbarer Befund, ein Risikobild und eine priorisierte Roadmap. Kurzfristige Maßnahmen können etwa die Klärung von Rollen, die Schließung von Berechtigungslücken oder die Ergänzung von Test- und Freigabenachweisen betreffen. Mittelfristig folgen häufig Datenqualitätsregeln, einheitliche Dokumentationsstandards, Monitoring oder ein Governance-Modell für weitere Anwendungsfälle. Entscheidend ist, dass jede Maßnahme einem Verantwortlichen, einem Termin und einem überprüfbaren Ergebnis zugeordnet wird.

Typische Schwachstellen mit hoher Wirkung

Viele Probleme sind nicht spektakulär, aber betriebsrelevant. Dazu gehören unklare Eigentümerschaft für Trainings- und Referenzdaten, fehlende Abnahmeverfahren nach Modelländerungen oder Berechtigungen, die weit über den tatsächlichen Bedarf hinausgehen. Ebenfalls kritisch sind externe KI-Dienste, deren Vertrags-, Betriebs- und Datenverarbeitungsbedingungen nicht mit dem geplanten Einsatz abgeglichen wurden.

Ein weiterer häufiger Befund betrifft die menschliche Aufsicht. Es genügt nicht, formal festzuhalten, dass Menschen Ergebnisse prüfen. Verantwortliche benötigen klare Kriterien, wann sie einer Empfehlung folgen dürfen, wann eine fachliche Eskalation notwendig ist und wie Entscheidungen dokumentiert werden. Gerade unter Zeitdruck wird aus einer unverbindlichen Kontrollvorgabe sonst eine reine Formalität.

Der größte Nutzen eines Audits liegt daher nicht im Prüfbericht selbst. Er entsteht, wenn Unternehmen aus einzelnen Feststellungen stabile Betriebsmechanismen entwickeln: belastbare Daten, klare Entscheidungsrechte, kontrollierte Änderungen und aussagekräftiges Reporting. So bleibt KI auch dann steuerbar, wenn neue Anwendungsfälle, Datenquellen oder regulatorische Anforderungen hinzukommen.

KI Audit mit konkretem Projektbezug

Quteco unterstützt mit Quick Checks und Workshops dabei, KI-Anwendungen, Datenflüsse, Rollenmodelle und Betriebsrisiken strukturiert zu bewerten. Auf dieser Grundlage lassen sich Governance-Maßnahmen, technische Arbeitspakete und eine realistische Umsetzungsreihenfolge für laufende KI- oder SAP-nahe Projekte festlegen. Ein guter erster Schritt ist ein klar abgegrenzter Anwendungsfall - dort lassen sich Verantwortlichkeiten und Nachweise am wirksamsten in den Arbeitsalltag überführen.