Welche KI-Systeme sind reguliert? Der Praxischeck

Ein KI-gestütztes Prognosemodell im Vertrieb, ein Copilot für SAP-Prozesse oder ein System zur Bewerbervorauswahl können technisch ähnlich wirken, regulatorisch aber völlig unterschiedlich eingeordnet werden. Auf die Frage „Welche KI Systeme sind reguliert“ gibt der EU AI Act daher keine einfache Produktliste als Antwort. Maßgeblich sind Zweck, Einsatzkontext, betroffene Personen, Rolle des Unternehmens und die konkrete Funktionsweise des Systems.

Für Unternehmen ist diese Unterscheidung operativ relevant. Sie entscheidet darüber, ob ein Anwendungsfall verboten ist, ob er vor dem produktiven Einsatz eine Konformitätsbewertung benötigt oder ob vor allem Transparenz-, Dokumentations- und Governance-Pflichten greifen. Eine belastbare Einordnung beginnt nicht beim Toolnamen, sondern beim tatsächlichen Datenfluss und bei der Entscheidung, die ein System vorbereitet oder beeinflusst.

Welche KI-Systeme sind reguliert nach dem EU AI Act?

Der EU AI Act erfasst grundsätzlich KI-Systeme, die in der Europäischen Union in Verkehr gebracht, in Betrieb genommen oder genutzt werden. Er betrifft nicht nur Hersteller großer KI-Modelle. Auch Unternehmen, die ein System im eigenen Betrieb einsetzen, können als Betreiber Pflichten haben. Wer ein System unter eigenem Namen anbietet, wesentlich verändert oder seinen vorgesehenen Zweck so ändert, dass ein Hochrisiko-Einsatz entsteht, kann zusätzlich in die Rolle des Anbieters geraten.

Der Begriff KI-System ist bewusst weit gefasst. Er umfasst maschinenbasierte Systeme, die mit unterschiedlichem Grad an Autonomie arbeiten und aus Eingaben Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableiten. Klassische regelbasierte Fachanwendungen fallen nicht automatisch darunter. Bei komplexen Scoring-Modellen, generativer KI, Bild- und Spracherkennung oder Optimierungslogik ist eine Prüfung dagegen regelmäßig angezeigt.

Nicht jede Software mit einem KI-Label ist im selben Umfang reguliert. Ausgenommen oder eingeschränkt erfasst sind unter anderem bestimmte Anwendungen für Forschung und Entwicklung, rein private Nutzung sowie KI-Systeme, die ausschließlich militärischen, verteidigungs- oder nationalen Sicherheitszwecken dienen. Diese Ausnahmen müssen eng am konkreten Anwendungsfall geprüft werden. Ein Prototyp, der später in einen Fachprozess überführt wird, kann seinen regulatorischen Status mit dem Produktivgang verändern.

Die vier Risikostufen in der Praxis

Der AI Act strukturiert Pflichten nach Risiken. Für Projektteams ist diese Logik hilfreicher als die abstrakte Frage, ob „KI“ eingesetzt wird.

Verbotene KI-Praktiken

Einige Anwendungen sind in der EU nicht zulässig. Dazu gehören insbesondere Systeme zur manipulativen oder ausbeuterischen Beeinflussung, bestimmte Formen von Social Scoring, ungezieltes Auslesen von Gesichtsbildern für Datenbanken sowie bestimmte Systeme zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen. Auch biometrische Kategorisierung anhand sensibler Merkmale ist weitgehend untersagt.

Die Verbote gelten seit dem 2. Februar 2025. Unternehmen sollten dabei nicht nur offensichtliche Überwachungsanwendungen betrachten. Kritisch können auch HR- oder Sicherheitslösungen sein, wenn sie Gesichts-, Stimm- oder Verhaltensdaten auswerten und daraus emotionale Zustände oder sensible Eigenschaften ableiten sollen. Eine Funktionsbeschreibung des Herstellers genügt nicht als Prüfung: Entscheidend ist, was im eigenen Prozess tatsächlich konfiguriert und verwendet wird.

Hochrisiko-KI

Die umfangreichsten Anforderungen gelten für Hochrisiko-Systeme. Der AI Act unterscheidet zwei Gruppen. Erstens können KI-Systeme Hochrisiko sein, wenn sie Sicherheitskomponenten bestimmter regulierter Produkte sind oder selbst unter produktbezogene Konformitätsvorschriften fallen. Zweitens nennt Anhang III konkrete Einsatzbereiche, in denen KI Entscheidungen mit erheblichen Auswirkungen auf Menschen beeinflussen kann.

Zu diesen Bereichen zählen unter anderem Beschäftigung und Personalmanagement, Bildung, Zugang zu wesentlichen privaten oder öffentlichen Leistungen, Kreditwürdigkeitsbewertung, bestimmte Anwendungen in Strafverfolgung, Migration und Justiz. Für Unternehmensprozesse besonders relevant sind Systeme, die Bewerbungen vorsortieren, Leistung oder Verhalten von Beschäftigten bewerten, Zugänge priorisieren oder Entscheidungen über wesentliche Leistungen vorbereiten.

Nicht jede KI im Personal- oder Finanzbereich ist automatisch Hochrisiko. Ein System kann außerhalb der Hochrisiko-Einstufung liegen, wenn es nur eine eng begrenzte vorbereitende Aufgabe wahrnimmt und weder Entscheidungen noch deren Ergebnis wesentlich beeinflusst. Diese Ausnahme ist jedoch kein Freifahrtschein. Sie verlangt eine dokumentierte, sachliche Begründung. Sobald ein Tool Rankings erzeugt, Fälle priorisiert oder menschliche Entscheider faktisch in eine Richtung lenkt, ist die Einflussnahme genau zu bewerten.

Für Hochrisiko-Systeme sind unter anderem Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, Transparenz, menschliche Aufsicht, Anforderungen an Genauigkeit, Cybersicherheit und ein Qualitätsmanagementsystem erforderlich. Betreiber müssen zudem sicherstellen, dass das System gemäß Anleitung eingesetzt wird, die menschliche Aufsicht wirksam organisiert ist und Ereignisse oder Fehlfunktionen dokumentiert sowie gegebenenfalls gemeldet werden.

Die Regelungen für die meisten Hochrisiko-Anwendungen nach Anhang III werden ab dem 2. August 2026 anwendbar. Für bestimmte KI-Systeme, die als Sicherheitskomponenten regulierter Produkte gelten, ist eine spätere Anwendung vorgesehen. Der Zeitplan sollte nicht dazu verleiten, die Bestandsaufnahme aufzuschieben: Datenbasis, Rollenmodell, Prozessdokumentation und Testkonzept entstehen nicht erst kurz vor dem Go-live.

Transparenzpflichtige KI-Systeme

Für eine weitere Gruppe gelten gezielte Transparenzpflichten. Das betrifft beispielsweise KI-Systeme, die direkt mit Menschen interagieren, bestimmte synthetische Inhalte erzeugen oder verändern oder zur Erkennung von Emotionen beziehungsweise zur biometrischen Kategorisierung eingesetzt werden, soweit diese Anwendungen zulässig sind. Nutzer sollen erkennen können, dass sie mit KI interagieren. KI-generierte oder manipulierte Inhalte müssen in den vorgesehenen Fällen als solche kenntlich gemacht werden.

Im Unternehmen betrifft das etwa Chatbots im Kundenservice, Sprachassistenten im Service Desk oder generierte Inhalte in externen Kommunikationsprozessen. Die Pflicht ist nicht mit einem allgemeinen Hinweis im Impressum erledigt. Sie muss dort greifen, wo Personen mit dem System oder dessen Ergebnissen konfrontiert werden. Bei einer in SAP integrierten Assistenzfunktion gehört die Transparenzfrage daher in Fachkonzept, Berechtigungskonzept und Prozessdesign.

KI mit begrenztem oder minimalem Risiko

Viele Assistenz-, Analyse- und Automatisierungslösungen fallen weder unter Verbote noch unter die Hochrisiko-Kategorie. Ein interner Textassistent, eine KI-gestützte Wissenssuche oder eine Prognose für Wartungsbedarfe kann in diese Gruppe fallen. Damit ist der Einsatz aber nicht pflichtenfrei. Datenschutz, Informationssicherheit, Vertragsrecht, Geheimnisschutz und branchenspezifische Vorgaben bleiben unabhängig vom AI Act relevant.

Zudem verlangt der AI Act Maßnahmen zur KI-Kompetenz. Anbieter und Betreiber sollen sicherstellen, dass Mitarbeitende und andere Personen, die mit KI-Systemen umgehen, über ausreichende Kenntnisse verfügen. Praktisch bedeutet das: Rollen müssen wissen, welche Daten verarbeitet werden dürfen, wann Ergebnisse überprüft werden müssen, welche Eskalationswege gelten und wo die Grenzen des Systems liegen. Eine einmalige allgemeine Sensibilisierung ersetzt keine arbeitsplatznahe Einweisung.

Allgemeine KI-Modelle und eingebettete Unternehmenslösungen

Eine Sonderrolle spielen General-Purpose-AI-Modelle, also Modelle mit breitem Einsatzspektrum. Für deren Anbieter gelten eigene Anforderungen, etwa zu technischer Dokumentation, Informationen für nachgelagerte Anbieter und zum Umgang mit urheberrechtlichen Vorgaben. Bei Modellen mit systemischem Risiko kommen weitergehende Pflichten hinzu. Die entsprechenden Regeln gelten seit dem 2. August 2025.

Für ein Unternehmen, das ein solches Modell über eine Plattform oder als Bestandteil einer Fachanwendung nutzt, folgt daraus nicht automatisch die Anbieterrolle. Dennoch muss geklärt werden, welche Modellversion verwendet wird, welche Daten an den Dienst übermittelt werden, ob eine kundenspezifische Anpassung erfolgt und wer Änderungen freigibt. Gerade bei Retrieval-Augmented Generation, Fine-Tuning oder der Einbettung in SAP-nahe Prozesse kann aus einer Standardnutzung ein eigenständiger, governance-relevanter Lösungsverbund werden.

Vom KI-Register zur belastbaren Einordnung

Die praktikable Antwort auf die Regulierungsfrage ist kein einmaliges Rechtsgutachten und keine pauschale Toolfreigabe. Sie ist ein kontrollierter Prozess, der Technik, Fachbereich, Informationssicherheit, Datenschutz, Compliance und Einkauf zusammenführt. Besonders bei laufenden Transformationsprojekten sollte er in bestehende Architektur-, Test- und Freigabeprozesse integriert werden.

Ein belastbares Vorgehen umfasst mindestens vier Arbeitsschritte:

• Zuerst werden alle produktiv eingesetzten, beschafften und konkret geplanten KI-Anwendungen in einem KI-Register erfasst - einschließlich Modell, Anbieter, Zweck, Datenarten, Schnittstellen und Prozessverantwortung.

• Danach wird je Anwendung die Rolle des Unternehmens bestimmt: Betreiber, Anbieter, Importeur, Händler oder gegebenenfalls Bevollmächtigter. Diese Rolle steuert die Pflichten.

• Anschließend erfolgt die Risikoeinordnung anhand des vorgesehenen Zwecks, nicht nur anhand einer Marketingbeschreibung. Dabei werden auch Auswirkungen auf Beschäftigte, Kunden, Lieferanten und kritische Geschäftsentscheidungen bewertet.

• Schließlich werden Maßnahmen in die Projektsteuerung überführt: Dokumentation, Testfälle, Freigabekriterien, Logging, Berechtigungen, menschliche Kontrolle, Incident-Prozess und revisionssicheres Reporting.

Der kritische Punkt liegt meist zwischen Konzeption und Betrieb. Ein Modell kann im Test unauffällig sein und im produktiven Datenfluss dennoch falsche Prioritäten setzen, vertrauliche Daten verarbeiten oder Entscheidungen zu stark prägen. Deshalb sollten fachliche Abnahme, Datenschutzprüfung, Security-Review und Betriebsverantwortung nicht getrennt nebeneinander laufen. Sie brauchen gemeinsame Nachweise und eindeutig benannte Verantwortliche.

KI-Governance vor dem Produktivstart prüfen

Quteco strukturiert KI-Quick-Checks und Governance-Workshops entlang der realen Systemlandschaft: Anwendungsfälle, Datenflüsse, SAP-Integration, Rollen, Testnachweise und Betriebsprozesse werden gemeinsam betrachtet. Für die rechtliche Einordnung zu EU AI Act, Datenschutz oder IT-Recht kann die rechtlich eigenständige Quteco Rechtsanwaltsgesellschaft mbH eingebunden werden. So lässt sich vor dem Produktivstart klären, welche Anforderungen tatsächlich gelten und welche Nachweise im Betrieb tragfähig sein müssen.

Regulierung wird beherrschbar, wenn sie als Qualitätsanforderung im Projekt verankert ist - nicht als Prüfung, die erst nach einer technischen Entscheidung beginnt.