Datenschutz-Folgenabschätzung für KI-Systeme

Ein KI-Chatbot greift auf interne Richtlinien zu, fasst Kundenanfragen zusammen und unterstützt den Service. Ein Prognosemodell verarbeitet Vertriebs-, Produktions- oder Personaldaten. In beiden Fällen stellt sich nicht erst beim Go-Live die Frage, ob eine Datenschutz-Folgenabschätzung für KI-Systeme erforderlich ist. Sie entscheidet sich bereits bei Datenflüssen, Zweckbindung, Risikoprofil und der Frage, welche Auswirkungen das System auf betroffene Personen haben kann.

Für Unternehmen ist die Datenschutz-Folgenabschätzung, kurz DSFA, kein isoliertes Compliance-Dokument. Richtig aufgesetzt, schafft sie Transparenz über technische Architektur, Verantwortlichkeiten, Datenverarbeitung und notwendige Schutzmaßnahmen. Gerade in laufenden SAP-, Daten- oder KI-Projekten verhindert sie, dass Datenschutzfragen erst kurz vor der produktiven Nutzung zu Umplanungen, Freigabestopps oder unklaren Betriebsrisiken führen.

Wann eine Datenschutz-Folgenabschätzung für KI-Systeme nötig wird

Eine DSFA ist nach Art. 35 DSGVO durchzuführen, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen verursacht. KI ist dabei kein automatischer Auslöser. Entscheidend ist die konkrete Verarbeitung im vorgesehenen Einsatzkontext.

Ein erhöhtes Risiko liegt beispielsweise nahe, wenn ein System Personen bewertet, priorisiert oder profiliert und daraus Entscheidungen mit spürbaren Folgen abgeleitet werden. Das kann bei Scoring-Modellen, Betrugserkennung, Bewerbervorauswahl, individualisierten Preis- oder Angebotslogiken sowie bei KI-gestützter Leistungsbewertung relevant sein. Auch die Verarbeitung besonderer Kategorien personenbezogener Daten, die großflächige Überwachung oder die Kombination bislang getrennter Datenquellen erhöhen das Risiko.

Bei generativen KI-Systemen reicht der Blick auf den Prompt nicht aus. Relevant sind ebenso die Trainings- und Referenzdaten, die Verarbeitung von Eingaben und Ausgaben, Protokolldaten, Berechtigungen, Schnittstellen sowie mögliche Übermittlungen an externe Plattformen. Ein interner Wissensassistent kann datenschutzrechtlich überschaubar sein, wenn er nur freigegebene Dokumente verarbeitet, ein klar abgegrenztes Nutzerkreis besteht und keine personenbezogenen Inhalte einfließen. Er kann jedoch eine DSFA erfordern, wenn er auf umfangreiche Kunden-, Personal- oder Vorgangsdaten zugreift und Ergebnisse für Entscheidungen über Personen genutzt werden.

Verzeichnisse der Datenschutzaufsichtsbehörden mit Verarbeitungsvorgängen, für die eine DSFA erforderlich sein kann, liefern zusätzliche Orientierung. Sie ersetzen aber keine projektspezifische Bewertung. Besonders bei komplexen Systemlandschaften ist der Datenfluss oft entscheidender als die Bezeichnung der eingesetzten KI.

Die richtige Einheit bewerten: den tatsächlichen Verarbeitungsvorgang

Ein häufiger Fehler besteht darin, die DSFA auf ein einzelnes Modell oder einen Softwareanbieter zu reduzieren. Bewertet werden muss der Verarbeitungsvorgang in seiner Gesamtheit. Dazu gehören die fachliche Zielsetzung, die Quellsysteme, die Datenübernahme, die Verarbeitung im KI-System, die Ergebnisverwendung und die Lösch- oder Archivierungslogik.

Nehmen wir ein Szenario aus einem S/4HANA-nahen Umfeld: Ein KI-System soll offene Posten priorisieren und Handlungsempfehlungen für das Forderungsmanagement erstellen. Die Daten stammen aus ERP-Belegen, CRM-Informationen und Kommunikationshistorien. Werden Empfehlungen lediglich als Unterstützung angezeigt und durch geschulte Fachkräfte geprüft, ist das Risikobild anders als bei einer automatischen Sperre von Kundenkonten. Beide Varianten können technisch auf derselben Plattform laufen, sind datenschutzrechtlich aber nicht gleich zu bewerten.

Die DSFA sollte deshalb eine klare Systemgrenze festlegen. Welche Datenarten werden verarbeitet? Welche Personengruppen sind betroffen? Welche Systeme und Dienstleister sind beteiligt? Wo finden Speicherung, Inferenz und Logging statt? Welche Rollen dürfen Daten einstellen, Ergebnisse einsehen oder Konfigurationen ändern? Ohne diese Abgrenzung bleibt die Risikobewertung abstrakt und später kaum revisionssicher nachweisbar.

Von der Architektur zur belastbaren Risikobewertung

Eine wirksame DSFA beginnt mit einer belastbaren Bestandsaufnahme. Fachbereich, IT, Datenschutz, Informationssicherheit, Einkauf und gegebenenfalls Betriebsorganisation sollten dabei mit einem einheitlichen Verständnis des Anwendungsfalls arbeiten. Widersprüche zwischen Fachkonzept, Berechtigungsmodell und technischer Umsetzung sind keine redaktionellen Details, sondern typische Ursachen für unvollständige Bewertungen.

In der Praxis hat sich eine strukturierte Betrachtung entlang des Datenlebenszyklus bewährt. Zunächst wird erhoben, aus welchen Quellen personenbezogene Daten kommen und auf welcher Rechtsgrundlage sie verarbeitet werden. Danach folgt die Prüfung, welche Daten für den KI-Zweck tatsächlich erforderlich sind. Gerade bei Retrieval-Augmented-Generation-Ansätzen, also KI-Systemen mit angebundenen Wissensquellen, müssen Dokumentenbestände, Metadaten und Zugriffsrechte gemeinsam bewertet werden.

Anschließend wird untersucht, wie Daten verarbeitet und abgesichert werden. Dazu gehören Mandantentrennung, Verschlüsselung, Protokollierung, Schnittstellenkontrollen, Aufbewahrungsfristen und die Trennung von Entwicklungs-, Test- und Produktionsumgebungen. Testdaten verdienen besondere Aufmerksamkeit: Produktive Daten werden häufig aus Zeitdruck übernommen, obwohl eine Pseudonymisierung, Maskierung oder gezielte Datensynthese möglich und angemessen wäre.

Die Risikobewertung selbst sollte die möglichen Schäden für betroffene Personen konkret beschreiben. Denkbar sind unberechtigte Offenlegung, fehlerhafte Zuordnung, Diskriminierung, wirtschaftliche Nachteile, Kontrollverlust über persönliche Daten oder nicht nachvollziehbare Entscheidungen. Bei KI kommt hinzu, dass plausibel klingende, aber falsche Ausgaben operative Prozesse beeinflussen können. Das ist nicht nur ein Qualitätsproblem. Werden falsche Ergebnisse einer Person zugerechnet oder zur Grundlage einer Entscheidung gemacht, kann daraus ein Datenschutzrisiko entstehen.

Maßnahmen müssen im Betrieb funktionieren

Eine DSFA ist erst dann belastbar, wenn die vorgesehenen Maßnahmen technisch und organisatorisch umsetzbar sind. Allgemeine Aussagen wie „Zugriffe werden beschränkt“ reichen nicht. Erforderlich ist die Antwort auf konkrete Betriebsfragen: Wer genehmigt neue Datenquellen? Wie werden Rollen vergeben und regelmäßig überprüft? Welche Inhalte dürfen in Prompts eingegeben werden? Wie wird mit fehlerhaften oder sensiblen KI-Ausgaben umgegangen? Wer entscheidet über Modell-, Prompt- oder Konfigurationsänderungen?

Geeignete Maßnahmen ergeben sich aus dem jeweiligen Risiko. Datenminimierung kann bedeuten, dass ein Modell nur strukturierte Merkmale statt vollständiger Vorgangshistorien erhält. Zweckbindung kann durch getrennte Indizes, Datenräume und Rollenmodelle technisch unterstützt werden. Menschliche Prüfung kann bei folgenreichen Empfehlungen erforderlich sein, muss aber fachlich wirksam ausgestaltet sein. Eine formale Freigabe ohne Zeit, Kompetenz oder Einsicht in die Entscheidungsgrundlage reduziert Risiken nur begrenzt.

Auch die Lieferantensteuerung gehört in die DSFA. Bei extern betriebenen KI-Diensten sind Auftragsverarbeitung, Unterauftragnehmer, Speicherorte, Übermittlungen in Drittländer, Nutzung von Eingaben zur Modellverbesserung und Löschkonzepte zu prüfen. Die technische Dokumentation des Anbieters kann eine wichtige Grundlage sein, ersetzt jedoch nicht die Verantwortung des Unternehmens für den eigenen Verarbeitungsvorgang.

DSFA, KI-Governance und EU AI Act sauber verbinden

Datenschutz-Folgenabschätzung und KI-Governance überschneiden sich, verfolgen aber unterschiedliche Ziele. Die DSFA konzentriert sich auf Risiken für personenbezogene Daten und die Rechte betroffener Personen. KI-Governance regelt zusätzlich den sicheren, nachvollziehbaren und kontrollierten Einsatz von KI - etwa durch Freigabeprozesse, Modellinventare, Qualitätsprüfungen, Monitoring und Verantwortlichkeiten.

Der EU AI Act kann für bestimmte KI-Systeme weitere Anforderungen auslösen, insbesondere abhängig von Rolle und Risikokategorie. Eine DSFA erfüllt diese Anforderungen nicht automatisch. Umgekehrt liefert sie wesentliche Artefakte für die Governance: eine dokumentierte Zweckbestimmung, Datenflussanalyse, Verantwortungszuordnung, Maßnahmenplanung und eine nachvollziehbare Restrisikoentscheidung. Ein gemeinsames Projektvorgehen vermeidet doppelte Dokumentation, ohne Datenschutzrecht und KI-Regulierung unzulässig gleichzusetzen.

Für produktionsnahe KI-Systeme empfiehlt sich ein verbindlicher Übergang von Projekt zu Betrieb. Die DSFA sollte an wesentliche Änderungen gekoppelt werden, etwa an neue Datenquellen, zusätzliche Nutzergruppen, geänderte Entscheidungslogiken, neue Dienstleister oder eine Ausweitung des Einsatzzwecks. Ein einmal erstelltes Dokument verliert schnell an Aussagekraft, wenn Architektur und Prozesse weiterentwickelt werden.

Typische Engpässe in laufenden Projekten

Unter Zeitdruck wird die DSFA häufig zu spät gestartet oder nur durch den Datenschutzbereich getragen. Dann fehlen technische Details, der Fachbereich beschreibt den tatsächlichen Einsatz nicht präzise genug, und offene Punkte werden in spätere Betriebsphasen verschoben. Das verschiebt Risiken, statt sie zu steuern.

Ein zweiter Engpass sind nicht dokumentierte Schattenprozesse. Mitarbeitende exportieren Daten, testen KI-Funktionen in separaten Umgebungen oder binden neue Wissensquellen an, ohne dass Architektur, Berechtigungen und Zweckprüfung nachgezogen werden. Ein klarer Intake- und Freigabeprozess für KI-Anwendungsfälle schafft hier mehr Wirkung als nachträgliche Einzelkorrekturen.

Schließlich muss eine DSFA zu einer nachvollziehbaren Entscheidung führen. Bleibt nach den vorgesehenen Maßnahmen ein hohes Risiko bestehen, kann eine vorherige Konsultation der zuständigen Aufsichtsbehörde erforderlich werden. Diese rechtliche Bewertung sollte frühzeitig erfolgen, nicht erst nach Abschluss der technischen Implementierung.

DSFA als prüfbarer Projektbaustein

Quteco kann KI-Anwendungsfälle mit Datenflussanalyse, Rollenmodellen, technischer Maßnahmenplanung und revisionssicherer Projektdokumentation strukturieren. Für die rechtliche Einordnung von DSGVO, EU AI Act und gegebenenfalls erforderlichen weiteren Schritten kann die rechtlich eigenständige Quteco Rechtsanwaltsgesellschaft mbH eingebunden werden. So wird aus der DSFA kein Freigabehindernis am Projektende, sondern ein prüfbarer Baustein für einen kontrollierten und stabilen Betrieb.