Wann ist KI hochriskant? Kriterien für Unternehmen

Ein KI-gestütztes System priorisiert Bewerbungen, empfiehlt Kredithöhen oder beeinflusst die Steuerung einer kritischen Infrastruktur. In diesen Fällen ist die Frage „Wann ist KI hochriskant?“ keine abstrakte Compliance-Frage. Sie entscheidet darüber, ob ein Unternehmen zusätzliche Anforderungen an Daten, Dokumentation, menschliche Kontrolle und den produktiven Betrieb erfüllen muss.

Der EU AI Act ordnet nicht jede leistungsfähige oder komplexe KI automatisch als hochriskant ein. Maßgeblich sind der vorgesehene Verwendungszweck, der betroffene Prozess und die möglichen Auswirkungen auf Sicherheit, Grundrechte oder wesentliche Entscheidungen über Menschen. Für Unternehmen entsteht die eigentliche Herausforderung dort, wo KI in bestehende SAP-, Daten- und Fachprozesse eingebettet wird und aus einer Empfehlung eine wirksame Entscheidung wird.

Wann ist KI hochriskant nach dem EU AI Act?

Ein KI-System gilt nach dem EU AI Act im Wesentlichen in zwei Konstellationen als hochriskant. Die erste betrifft KI als Sicherheitskomponente eines Produkts oder eine KI, die selbst unter harmonisierte europäische Produktsicherheitsvorschriften fällt. Das kann etwa bei bestimmten Medizinprodukten, Maschinen oder Komponenten in sicherheitsrelevanten Industrieumgebungen relevant werden. Voraussetzung ist regelmäßig, dass für das betreffende Produkt eine Konformitätsbewertung durch eine unabhängige Stelle vorgesehen ist.

Die zweite Konstellation betrifft KI-Systeme in ausdrücklich benannten Einsatzbereichen. Dazu zählen unter anderem biometrische Anwendungen, kritische Infrastrukturen, Bildung und Berufsausbildung, Beschäftigung, Zugang zu wesentlichen privaten oder öffentlichen Leistungen, Strafverfolgung, Migration sowie Justiz und demokratische Prozesse. Besonders häufig werden Unternehmen mit dem Thema im Personalwesen, bei Bonitäts- oder Zugangsentscheidungen und in sicherheitskritischen Betriebsprozessen konfrontiert.

Die Einordnung folgt nicht allein dem Namen eines Tools oder dem verwendeten Modell. Ein allgemeiner KI-Assistent wird nicht dadurch hochriskant, dass er Texte erstellt oder Daten zusammenfasst. Wird derselbe Assistent jedoch so integriert, dass er Bewerber vorsortiert, Beschäftigte bewertet oder die Vergabe einer wesentlichen Leistung beeinflusst, verändert sich die Risikobewertung erheblich.

Der Verwendungszweck zählt mehr als die Technologie

Für die Klassifizierung ist entscheidend, wofür ein System bestimmt ist und wie es tatsächlich eingesetzt wird. Ein Modell zur Analyse von Lieferantenstammdaten kann eine unkritische Unterstützung für Datenbereinigung sein. Nutzt ein Unternehmen die Ergebnisse dagegen als automatisches Ausschlusskriterium für Lieferanten in einem sicherheitsrelevanten Beschaffungsprozess, muss der Einsatz genauer geprüft werden.

Auch die Einbettung in den Prozess ist relevant. Eine KI, die lediglich Informationen vorbereitet, ist anders zu bewerten als ein System, dessen Ergebnis ohne wirksame Prüfung in einen SAP-Workflow, ein Ticket, eine Freigabe oder eine Entscheidung übernommen wird. Menschliche Beteiligung reduziert das Risiko nicht automatisch. Sie muss fachlich wirksam ausgestaltet sein: mit ausreichender Information, echter Eingriffsmöglichkeit, klaren Eskalationswegen und dokumentierten Verantwortlichkeiten.

Typische Hochrisiko-Fälle im Unternehmensalltag

Im HR-Umfeld ist die Lage vergleichsweise klar. KI zur Vorauswahl von Bewerbungen, zur Bewertung von Kandidaten oder zur Analyse von Beschäftigten kann hochriskant sein. Das betrifft auch Systeme, die Rankings, Eignungsscores oder Empfehlungen erzeugen, wenn diese Entscheidungen über Einstellung, Einsatz, Beförderung oder Zugang zu Weiterbildung wesentlich beeinflussen.

Im Finanz- und Vertriebsumfeld kann KI hochriskant sein, wenn sie zur Bewertung der Kreditwürdigkeit oder zur Preisbildung in bestimmten personenbezogenen Konstellationen eingesetzt wird. Nicht jede Prognose im Forderungsmanagement fällt darunter. Sobald die Anwendung aber den Zugang einer natürlichen Person zu einer wesentlichen Leistung prägt, ist eine belastbare rechtliche und technische Einordnung erforderlich.

In Energieversorgung, Logistik oder Produktion sind die Grenzen differenzierter. Eine KI zur Prognose von Lastspitzen oder zur Erkennung von Anomalien ist nicht automatisch hochriskant. Steuert sie jedoch Komponenten einer kritischen Infrastruktur oder wird sie Teil einer sicherheitsrelevanten Produktfunktion, können die Anforderungen deutlich steigen. In Chemie und Life Sciences ist zusätzlich zu prüfen, ob KI in qualitätskritische Freigaben, regulatorisch relevante Dokumentation oder produktbezogene Sicherheitsfunktionen eingreift.

Für SAP-Projekte gilt: Ein KI-gestützter Copilot in S/4HANA, der Buchungstexte vorschlägt oder Wissensartikel zusammenfasst, ist nicht per se ein Hochrisiko-System. Anders kann es aussehen, wenn die Anwendung Rollenvergaben vorschlägt und automatisch umsetzt, Entscheidungen über Beschäftigte vorbereitet oder qualitäts- und sicherheitsrelevante Freigaben ohne hinreichende Kontrolle beeinflusst. Die technische Integration, Berechtigungsstruktur und Prozesswirkung gehören daher in dieselbe Bewertung wie das Modell selbst.

Nicht jede Ausnahme ist eine Entwarnung

Der EU AI Act sieht für bestimmte Systeme in den benannten Bereichen Ausnahmen vor, etwa wenn eine KI nur eine eng begrenzte verfahrensbezogene Aufgabe erfüllt und kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte entsteht. Diese Ausnahme darf nicht pauschal angenommen werden. Unternehmen müssen die Begründung nachvollziehbar dokumentieren und insbesondere prüfen, ob das System natürliche Personen profiliert.

Ein Beispiel: Eine KI extrahiert Angaben aus eingehenden Bewerbungsunterlagen, damit Recruiter diese schneller lesen können. Wenn sie weder bewertet noch priorisiert und ihre Ausgabe keine Auswahlentscheidung beeinflusst, kann die Ausnahme naheliegen. Erstellt sie dagegen einen Eignungsscore oder sortiert Kandidaten nach Erfolgsaussicht, reicht die Bezeichnung als reine Assistenzfunktion nicht mehr aus.

Die gleiche Logik gilt für interne Governance-Tools. Ein System, das Zugriffsprotokolle zusammenfasst, ist etwas anderes als eine KI, die Beschäftigte anhand ihres Nutzungsverhaltens klassifiziert und daraus Maßnahmen ableitet. Entscheidend ist die reale Wirkung im Prozess, nicht die wohlklingende Produktbeschreibung.

Was Hochrisiko-KI organisatorisch verlangt

Wer ein Hochrisiko-System entwickelt, erheblich verändert oder unter eigenem Namen in Verkehr bringt, trägt andere Pflichten als ein Unternehmen, das es lediglich einsetzt. Dennoch benötigen auch betreibende Unternehmen klare Kontrollstrukturen. Ohne sie bleiben Vorgaben zu Datenqualität, menschlicher Aufsicht und Betriebsüberwachung theoretisch.

In der Praxis sollten Unternehmen mindestens folgende Fragen vor der Produktivsetzung beantworten:

• Welcher fachliche Zweck ist freigegeben, und welche Entscheidungen darf die KI vorbereiten oder auslösen?

• Welche Datenquellen, Datenflüsse und Berechtigungen werden genutzt, einschließlich Schnittstellen zu SAP- und Drittsystemen?

• Wer verantwortet Modellbetrieb, fachliche Qualität, Informationssicherheit, Datenschutz und die Freigabe von Änderungen?

• Wie werden Ergebnisse geprüft, übersteuert, protokolliert und bei Fehlern oder Auffälligkeiten eskaliert?

• Welche Nachweise müssen für Audit, interne Revision und gegebenenfalls Aufsichtsbehörden verfügbar sein?

Diese Fragen gehören in ein operatives Betriebsmodell, nicht nur in eine Richtlinie. Benötigt werden ein nachvollziehbares Risikomanagement über den gesamten Lebenszyklus, geeignete Daten-Governance, technische Dokumentation, Protokollierung sowie Maßnahmen für Genauigkeit, verlässliche Leistung und Cybersicherheit. Ebenso wichtig sind Schulungen für die Personen, die KI-Ergebnisse bewerten oder Entscheidungen übersteuern sollen.

Von der Einordnung zur belastbaren Umsetzung

Ein sinnvoller Einstieg ist eine strukturierte Inventarisierung: Welche KI-Systeme existieren bereits, welche sind geplant, welche Modelle oder Dienste sind eingebunden und in welchen Fachprozessen wirken sie? Dabei sollten Fachbereich, IT, Informationssicherheit, Datenschutz, Compliance und Einkauf gemeinsam auf dieselben Prozessdaten schauen. Gerade bei extern bezogenen KI-Diensten müssen Vertragsrolle, Informationspflichten, Datenflüsse und Änderungsprozesse eindeutig sein.

Darauf folgt die konkrete Risikobewertung je Anwendungsfall. Sie verbindet die regulatorische Einordnung mit der technischen Realität: Datenherkunft, Modellgrenzen, Schnittstellen, Rollenmodell, Freigabepunkte, Logging und Notfallverfahren. Ein Governance-Konzept ist dann belastbar, wenn es sich in Testfällen, Betriebsdokumentation und produktionsnahen Kontrollen wiederfindet.

Bei rechtlichen Zweifelsfällen sollte die technische Analyse frühzeitig durch eine rechtliche Einordnung ergänzt werden. Die rechtlich eigenständige Quteco Rechtsanwaltsgesellschaft mbH kann hierzu Fragen zum EU AI Act, Datenschutz und IT-Recht einordnen. Die Verantwortung für Architektur, Datenflüsse und den kontrollierten Betrieb bleibt jedoch eine operative Aufgabe des Unternehmens und seines Projektteams.

KI-Risiken vor dem Go-Live prüfen

Quteco unterstützt Unternehmen mit Quick Checks und Workshops dabei, KI-Anwendungsfälle fachlich, technisch und organisatorisch zu bewerten. Im Fokus stehen Datenflüsse, Rollenmodelle, Kontrollpunkte, Testkonzepte und eine Governance, die auch in SAP-nahen Produktionsprozessen umsetzbar bleibt.

Die belastbarste Antwort auf die Frage nach Hochrisiko-KI entsteht nicht erst bei einer Prüfung von außen. Sie entsteht, wenn Zweck, Daten, Entscheidungsspielraum und Verantwortung vor dem Go-Live so klar beschrieben sind, dass das Projektteam Abweichungen im Betrieb erkennen und beherrschen kann.