EU AI Act: Pflichten für Betreiber von KI-Systemen

Nach dem EU AI Act (der europäischen KI-Verordnung) sind die meisten Unternehmen Betreiber: Sie nutzen KI-Systeme, die jemand anderes gebaut hat. Welche Pflichten ein Betreiber hat, hängt davon ab, wie das System genutzt wird. Jeder Betreiber muss Maßnahmen ergreifen, um ausreichende KI-Kompetenz seines Personals sicherzustellen. Besondere Transparenzpflichten gelten, wenn Sie Deepfakes oder KI-geschriebene Texte zu Themen von öffentlichem Interesse veröffentlichen oder Emotionserkennung bzw. biometrische Kategorisierung einsetzen. Die schweren Pflichten – etwa menschliche Aufsicht, Überwachung, Aufbewahrung von Protokollen und Information der Beschäftigten – gelten nur beim Einsatz eines Hochrisiko-KI-Systems. Und in bestimmten Fällen kann ein Betreiber zum Anbieter werden und dessen deutlich umfangreichere Pflichten übernehmen.

Dieser Artikel erklärt jede Ebene in verständlicher Sprache. Er ist eine allgemeine Information, keine Rechtsberatung. Der AI Act (Verordnung (EU) 2024/1689) ist detailliert, Leitlinien der EU und nationaler Behörden entwickeln sich weiter, und für einige Anwendungstermine wurden Änderungen vorgeschlagen. Für Entscheidungen mit rechtlichen Folgen lesen Sie den offiziellen Text und ziehen Sie qualifizierte Rechtsberatung hinzu.

Anbieter oder Betreiber: Welche Rolle haben Sie?

Der AI Act ordnet Pflichten nach Rollen zu. Für die meisten Unternehmen zählen zwei Rollen:

Rolle	Wer das ist	Typisches Beispiel
Anbieter	Entwickelt ein KI-System oder -Modell oder lässt es entwickeln und bringt es unter eigenem Namen in Verkehr oder nimmt es in Betrieb	Ein Softwareunternehmen, das ein KI-Recruiting-Tool verkauft
Betreiber	Verwendet ein KI-System in eigener Verantwortung, außer bei rein persönlicher, nicht beruflicher Nutzung	Ein Händler, der dieses Recruiting-Tool zur Vorauswahl von Bewerbern nutzt

Einführer, Händler und Bevollmächtigte haben eigene Pflichten, aber die meisten Unternehmen, die KI nutzen, sind Betreiber. Ein Unternehmen kann beides sein: Anbieter eines Tools, das es baut und verkauft, und Betreiber von Tools, die es einkauft.

Die Rolle wird pro KI-System bestimmt. Wer einen allgemeinen Chat-Assistenten zum Entwerfen von E-Mails nutzt, ist Betreiber dieses Systems. Wer auf Basis der API eines Modells einen eigenen Chatbot für Kunden baut, kann Anbieter dieses Chatbots werden.

Ebene 1: Pflichten für jeden Betreiber

KI-Kompetenz

Artikel 4 verpflichtet Anbieter und Betreiber, Maßnahmen zu ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag KI-Systeme betreiben oder nutzen, über ein ausreichendes Maß an KI-Kompetenz verfügen. Diese Pflicht gilt seit dem 2. Februar 2025 und hängt nicht von der Risikostufe ab.

Das Gesetz schreibt weder einen Kurs noch ein Zertifikat vor. Was ausreichend ist, hängt vom Wissen der Beschäftigten, vom Einsatzkontext und von den betroffenen Personen ab. Ein praktischer Ansatz sind rollenbezogene Schulungen dazu, was die Tools leisten, wo ihre Grenzen liegen, welche Datenregeln gelten und wann eskaliert wird. Unser Artikel zur KI-Kompetenz nach dem EU AI Act behandelt das im Detail.

Keine verbotenen Praktiken

Die Verbote in Artikel 5 gelten für alle, auch für Betreiber. Sie umfassen unter anderem schädliche Manipulation, die Ausnutzung von Schwachstellen, Social Scoring, Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen (außer aus medizinischen oder Sicherheitsgründen), bestimmte biometrische Kategorisierung und das ungezielte Auslesen von Gesichtsbildern. Sie gelten seit dem 2. Februar 2025. Die meisten normalen geschäftlichen Einsätze sind weit davon entfernt, aber vor allem HR- und Marketingteams sollten wissen, wo die Grenzen verlaufen. Der Artikel zu den Risikoklassen des EU AI Act erklärt jede Stufe mit Beispielen.

Ebene 2: Transparenzpflichten in bestimmten Situationen

Artikel 50 legt Transparenzpflichten fest. Einige treffen Anbieter (etwa Chatbots so zu gestalten, dass Menschen wissen, dass sie mit einer KI sprechen, und synthetische Inhalte maschinenlesbar zu kennzeichnen). Betreiber haben eigene Pflichten:

• Deepfakes: Wenn Sie Bild-, Audio- oder Videoinhalte erzeugen oder manipulieren, die realen Personen, Gegenständen, Orten oder Ereignissen ähneln und fälschlich als echt erscheinen könnten, legen Sie offen, dass sie künstlich erzeugt oder manipuliert wurden. Für offensichtlich künstlerische, satirische oder fiktionale Werke gelten mildere Regeln.
• KI-generierte Texte von öffentlichem Interesse: Wenn Sie KI-generierte oder manipulierte Texte veröffentlichen, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, legen Sie das offen – es sei denn, der Inhalt wurde von Menschen geprüft oder redaktionell kontrolliert und jemand trägt die redaktionelle Verantwortung.
• Emotionserkennung und biometrische Kategorisierung: Wenn Sie ein solches System nutzen (sofern es nicht verboten ist), informieren Sie die Personen, die ihm ausgesetzt sind.

Diese Pflichten sollten ab dem 2. August 2026 gelten. In der Praxis kennzeichnen viele Unternehmen KI-generierte Medien und Chatbots schon heute, weil Kunden es erwarten.

Ebene 3: Pflichten beim Einsatz eines Hochrisiko-KI-Systems

Hochriskant sind vor allem Systeme für Zwecke, die in Anhang III der Verordnung aufgeführt sind – etwa Recruiting und Personalentscheidungen, Kreditwürdigkeitsprüfung, Preisgestaltung und Risikobewertung in der Lebens- und Krankenversicherung, Zugang zu Bildung und grundlegende öffentliche Leistungen – sowie KI als Sicherheitsbauteil regulierter Produkte. Fällt Ihr Einsatz in einen dieser Bereiche, regelt Artikel 26 die Betreiberpflichten. Zusammengefasst:

Pflicht	Was das praktisch bedeutet
Nutzung gemäß Betriebsanleitung	Die Gebrauchsanweisung des Anbieters befolgen, einschließlich Grenzen bei Zweck und Kontext
Menschliche Aufsicht	Die Aufsicht Personen übertragen, die über die nötige Kompetenz, Schulung, Befugnis und Unterstützung verfügen
Eingabedaten	Soweit Sie die Eingabedaten kontrollieren, sicherstellen, dass sie für den vorgesehenen Zweck relevant und ausreichend repräsentativ sind
Überwachung	Den Betrieb des Systems überwachen und Anbieter sowie Behörden über Risiken oder schwerwiegende Vorfälle informieren
Aussetzen	Die Nutzung einstellen, wenn Grund zur Annahme besteht, dass das System ein Risiko darstellt, und die zuständigen Stellen informieren
Protokolle	Die automatisch erzeugten Protokolle, soweit sie unter Ihrer Kontrolle stehen, mindestens sechs Monate aufbewahren, sofern anderes Recht nichts anderes vorschreibt
Beschäftigte	Arbeitnehmervertretung und betroffene Beschäftigte informieren, bevor ein Hochrisiko-System am Arbeitsplatz eingesetzt wird
Betroffene Personen	Personen informieren, wenn ein Hochrisiko-System Entscheidungen über sie trifft oder dabei unterstützt
Datenschutz	Die Informationen des Anbieters nutzen, um eine Datenschutz-Folgenabschätzung durchzuführen, wo die DSGVO sie verlangt

Manche Betreiber müssen vor dem ersten Einsatz außerdem eine Grundrechte-Folgenabschätzung (Artikel 27) durchführen. Das betrifft Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung oder zur Risikobewertung und Preisgestaltung in der Lebens- und Krankenversicherung.

Die Verordnung gibt Betroffenen zudem ein Recht auf Erläuterung von Einzelentscheidungen, die auf Grundlage der Ergebnisse bestimmter Hochrisiko-Systeme getroffen werden und sie erheblich beeinträchtigen. Betreiber brauchen einen Weg, solche Anfragen zu beantworten.

Die menschliche Aufsicht ist die Pflicht, die den Arbeitsalltag am stärksten verändert. Sie bedeutet mehr als einen Menschen, der auf „Freigeben“ klickt. Die prüfende Person muss Fähigkeiten und Grenzen des Systems verstehen, seine Ergebnisse interpretieren können, sich der Gefahr übermäßigen Vertrauens bewusst sein und das System übersteuern oder stoppen können. Unser Leitfaden zu Human-in-the-Loop-KI beschreibt, wie Sie Prüfschritte gestalten, die in der Praxis funktionieren.

Wann ein Betreiber zum Anbieter wird

Artikel 25 wird leicht übersehen und kann alles ändern. Sie übernehmen Anbieterpflichten für ein Hochrisiko-KI-System, wenn Sie:

1. Ihren Namen oder Ihre Marke auf ein bereits in Verkehr gebrachtes Hochrisiko-System setzen,
2. ein Hochrisiko-System wesentlich verändern, sodass es hochriskant bleibt, oder
3. die Zweckbestimmung eines KI-Systems – auch eines mit allgemeinem Verwendungszweck – so ändern, dass es hochriskant wird.

Der dritte Punkt ist für Unternehmen wichtig, die auf Modellen mit allgemeinem Verwendungszweck aufbauen. Ein allgemeines Chat-Modell für Marketingtexte zu nutzen, ist risikoarm. Auf demselben Modell einen Workflow zu bauen, der Bewerber in eine Rangfolge bringt, kann Sie zum Anbieter eines Hochrisiko-Systems machen – mit Pflichten zu Risikomanagement, technischer Dokumentation, Konformitätsbewertung und Registrierung.

Zeitplan – und warum Sie ihn prüfen sollten

Die Verordnung ist am 1. August 2024 in Kraft getreten und gilt stufenweise:

Datum	Was gelten sollte
2. Februar 2025	Verbotene Praktiken, KI-Kompetenz
2. August 2025	Regeln für KI-Modelle mit allgemeinem Verwendungszweck, Governance, Rahmen für Sanktionen
2. August 2026	Die meisten übrigen Bestimmungen, einschließlich der Hochrisiko-Regeln nach Anhang III und der Transparenzpflichten
2. August 2027	Hochrisiko-Regeln für KI in Produkten, die unter EU-Produktsicherheitsrecht fallen (Anhang I)

Die EU hat Änderungen an einigen dieser Termine vorgeschlagen, insbesondere bei den Hochrisiko-Pflichten. Da solche Änderungen das Gesetzgebungsverfahren durchlaufen, prüfen Sie den aktuellen konsolidierten Text und die offiziellen Leitlinien, bevor Sie Ihre Compliance-Arbeit an einem bestimmten Datum ausrichten.

Sanktionen in Kürze

Die Bußgelder sind nach Art des Verstoßes gestaffelt. Die höchste Stufe, für verbotene Praktiken, reicht bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Die meisten anderen Verstöße, einschließlich Verstößen gegen Betreiberpflichten, können bis zu 15 Millionen Euro oder 3 % kosten. Für KMU und Start-ups gilt jeweils der niedrigere der beiden Beträge. Durchgesetzt werden die Regeln von nationalen Behörden; die Durchsetzungspraxis wird sich mit der Zeit entwickeln.

Eine praktische Checkliste für Betreiber

• Alle eingesetzten KI-Systeme erfassen, einschließlich KI-Funktionen in vorhandener Software.
• Für jedes System Anbieter, Zweck, Nutzende und eingegebene Daten festhalten.
• Jeden Anwendungsfall einstufen. Der kostenlose EU AI Act Risikoklassen-Check gibt eine erste Orientierung.
• Bestätigen, dass kein Einsatz eine verbotene Praxis berührt.
• Rollenbezogene Maßnahmen zur KI-Kompetenz aufsetzen und dokumentieren.
• Transparenzsituationen identifizieren: Deepfakes, Texte von öffentlichem Interesse, Emotionserkennung.
• Für Hochrisiko-Einsätze: die Gebrauchsanweisung des Anbieters einholen, geschulte menschliche Aufsicht benennen, Überwachung festlegen, Protokolle aufbewahren, Beschäftigte und Betroffene informieren und prüfen, ob eine Grundrechte-Folgenabschätzung nötig ist.
• Prüfen, ob eigene Änderungen oder Integrationen Sie zum Anbieter machen könnten.
• Ihre KI-Richtlinie erstellen oder aktualisieren, damit die Beschäftigten die Regeln kennen.
• Die Übersicht regelmäßig überprüfen, denn ständig kommen neue Tools und Einsätze hinzu.

Typische Fehler

• Annehmen, der Hersteller kümmere sich um die Compliance. Anbieter tragen die meisten Pflichten für Hochrisiko-Systeme, aber Betreiber haben eigene, die sich nicht auslagern lassen.
• Tools statt Einsätze einstufen. Dasselbe Tool kann in einer Abteilung minimal riskant und in einer anderen hochriskant sein.
• KI in vorhandener Software übersehen. HR-, CRM- und Finanztools enthalten zunehmend KI-Funktionen, die in Hochrisiko-Bereiche fallen können.
• Menschliche Aufsicht als Formalie behandeln. Aufsicht durch jemanden ohne Zeit, Schulung oder Befugnis erfüllt den Zweck nicht.
• Mit veralteten Terminen planen. Prüfen Sie den aktuellen Zeitplan.
• Andere Gesetze vergessen. DSGVO, Arbeitsrecht, Verbraucherschutz und Branchenregeln gelten neben dem AI Act weiter.

Nächste Schritte

Beginnen Sie mit einer Bestandsaufnahme und einer ersten Einstufung mit dem EU AI Act Risikoklassen-Check. Lesen Sie dann den Artikel zu den Risikoklassen des EU AI Act, um die Grenzfälle zu verstehen, und richten Sie Ihre Schulungen anhand des Artikels zur KI-Kompetenz nach dem EU AI Act aus. Bei allem, was hochriskant wirkt, ziehen Sie früh Rechtsberatung hinzu.