Warum wurde die Verwendung künstlicher Intelligenz reguliert?

Ziel ist es, die Risiken für die Gesundheit, die Sicherheit und die Grundrechte zu mindern. Die Vorschriften schützen auch die Demokratie, die Rechtsstaatlichkeit und die Umwelt.

In bestimmten Fällen können die besonderen Merkmale bestimmter KI-Systeme neue Risiken in Bezug auf die Sicherheit der Nutzer – auch ihre körperliche Unversehrtheit – und die Wahrung der Grundrechte mit sich bringen. Einige leistungsstarke und weitverbreitete KI-Modelle könnten sogar systemische Risiken bergen.

Für wen gilt die KI-Verordnung?

Der Rechtsrahmen wird sowohl für öffentliche als auch für private Akteure innerhalb und außerhalb der EU gelten, sofern das KI-System in der Union in Verkehr gebracht wird oder seine Verwendung Auswirkungen auf Menschen in der EU hat.

Die Verpflichtungen gelten sowohl für Anbieter (z. B. Entwickler eines Auswertungsprogramms für Lebensläufe) als auch Betreiber von KI-Systemen (z. B. eine Bank, die ein solches Auswertungsprogramm anschafft). 

Ausnahmen

Es gibt auch bestimmte Ausnahmen von den Vorschriften der Verordnung. So werden Forschungs- und Entwicklungstätigkeiten und Erprobungen von Prototypen, die vor dem Inverkehrbringen eines KI-Systems stattfinden, nicht von diesen Vorschriften erfasst. Ausgenommen sind auch KI-Systeme, die ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit konzipiert sind, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt. 

Welche Risikoeinstufungen gibt es?

Unannehmbares Risiko: 

Eine sehr begrenzte Zahl besonders schädlicher KI-Anwendungen, die gegen die EU-Werte verstoßen, weil sie Grundrechte verletzen, wird ganz verboten:

• Ausnutzung der Schutzbedürftigkeit von Personen, Manipulation und Einsatz von Techniken zur unterschwelligen Beeinflussung; 
• Bewertung des sozialen Verhaltens (Social Scoring) für öffentliche und private Zwecke; 
• individuelle vorausschauende polizeiliche Überwachung, die ausschließlich auf der Erstellung von Personenprofilen beruht; 
• ungezielte Auswertung von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen, um Datenbanken aufzubauen oder zu erweitern; 
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, außer zu medizinischen oder sicherheitstechnischen Zwecken (z. B. Überwachung der Müdigkeit eines Piloten); 
• biometrische Kategorisierung natürlicher Personen, um daraus die ethnische Herkunft, politische Auffassungen, die Zugehörigkeit zu einer Gewerkschaft, religiöse oder weltanschauliche Überzeugungen oder die sexuelle Orientierung abzuleiten. Eine Kennzeichnung oder Filterung von Datensätzen und die Kategorisierung von Daten im Bereich der Strafverfolgung sind aber weiterhin möglich; 
• biometrische Echtzeit-Fernidentifizierung im öffentlich zugänglichen Raum durch Strafverfolgungsbehörden, mit eng abgesteckten Ausnahmen (siehe unten).
• Die Kommission hat schon Leitlinien zu den Verboten herausgeben, bevor sie am 2. Februar 2025 in Kraft traten.

Hohes Risiko: 

Eine begrenzte Zahl von KI-Systemen, die in der Verordnung definiert werden und sich potenziell nachteilig auf die Sicherheit der Menschen oder ihre (durch die Charta der Grundrechte der Europäischen Union geschützten) Grundrechte auswirken, gilt als mit einem hohen Risiko behaftet. Der KI-Verordnung ist die Liste der Hochrisiko-KI-Systeme beigefügt, die überarbeitet werden kann, um sie an die Entwicklung der KI-Anwendungsfälle anzupassen.

• Zu solchen Systemen gehören auch Sicherheitsbauteile von Produkten, die unter sektorale Rechtsvorschriften der Union fallen. Es wird stets davon ausgegangen, dass von ihnen ein hohes Risiko ausgeht, wenn sie gemäß diesen sektoralen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen.
• Zu solchen Hochrisiko-KI-Systemen gehören beispielsweise KI-Systeme, mit denen bewertet wird, ob jemand eine bestimmte medizinische Behandlung erhalten kann, für einen bestimmten Arbeitsplatz geeignet ist oder ein Darlehen für den Kauf einer Wohnung erhalten soll.  Andere Hochrisiko-KI-Systeme werden von der Polizei zur Erstellung von Personenprofilen oder zur Bewertung des Risikos, dass eine Straftat begangen wird, eingesetzt (sofern diese nicht nach Artikel 5 verboten sind). Außerdem können auch KI-Systeme, mit denen Roboter, Drohnen oder Medizinprodukte betrieben werden, als Hochrisiko-Systeme eingestuft werden.
• Besondere Transparenzverpflichtungen: Zur Stärkung des Vertrauens ist es wichtig, für Transparenz beim Einsatz von KI zu sorgen. Deshalb werden mit der KI-Verordnung für bestimmte KI-Anwendungen besondere Transparenzverpflichtungen eingeführt, z. B. wenn eine klare Manipulationsgefahr besteht (etwa bei der Verwendung von Chatbots oder Deepfakes). Den Nutzern sollte stets bewusst sein, dass sie es mit einer Maschine zu tun haben. 

Minimales Risiko: 

Die meisten KI-Systeme können unter Einhaltung des allgemein geltenden Rechts entwickelt und verwendet werden, d. h. ohne Beachtung zusätzlicher gesetzlicher Verpflichtungen. Anbieter solcher Systeme können aber freiwillig die Anforderungen an vertrauenswürdige KI anwenden und freiwillige Verhaltenskodizes einhalten.

Systematische Risiken:

Außerdem wird in der KI-Verordnung auf systemische Risiken eingegangen, die sich aus KI-Modellen mit allgemeinem Verwendungszweck ergeben können, zu denen auch große generative KI-Modelle gehören. Solche Modelle können für vielfältige Aufgaben eingesetzt werden und bilden die Grundlage für viele KI-Systeme in der EU. Einige davon könnten systemische Risiken bergen, wenn sie sich als besonders leistungsfähig erweisen oder eine weite Verbreitung finden. Solche leistungsfähigen Modelle könnten beispielsweise schwere Unfälle verursachen oder für weitreichende Cyberangriffe missbraucht werden. Auch wenn ein Modell schädliche Verzerrungen hervorbringt, die in zahlreichen Anwendungen zum Tragen kommen, wären davon viele Menschen betroffen.   

Wann ist ein KI-System mit hohem Risiko behaftet?

KI-Systeme können in zwei Fällen als hochriskant eingestuft werden: 

• Wenn KI-Systeme als Sicherheitsbauteile in Produkte eingebettet sind, die unter bestehende Produktvorschriften (Anhang I) fallen, oder selbst solche Produkte darstellen. Dies könnte beispielsweise bei KI-gestützter medizinischer Software der Fall sein. 
• Wenn KI-Systeme für einen der in Anhang III der KI-Verordnung aufgeführten Anwendungsfälle mit hohem Risiko bestimmt sind. Diese Liste enthält Anwendungsfälle aus Bereichen wie Bildung, Beschäftigung, Strafverfolgung oder Migration. 

Die Kommission arbeitete Leitlinien für die Hochrisiko-Einstufung aus.  

Gibt es Beispiele für die in Anhang III genannten Anwendungsfälle mit hohem Risiko?

Anhang III enthält acht Bereiche, in denen der Einsatz von KI besonders problematisch sein kann, und konkrete Anwendungsfälle für jeden dieser Bereiche. Ein KI-System wird als hochriskant eingestuft, wenn es für einen dieser Anwendungsfälle bestimmt ist.

Beispiele hierfür sind:

• KI-Systeme, die als Sicherheitsbauteile in bestimmten kritischen Infrastrukturen verwendet werden, z. B. in Bereichen wie Straßenverkehr und Wasser-, Gas-, Wärme- und Stromversorgung;
• KI-Systeme, die in der allgemeinen und beruflichen Bildung verwendet werden, z. B. zur Bewertung von Lernergebnissen, zur Steuerung des Lernprozesses und zur Überwachung von Prüfungsbetrug;
• KI-Systeme, die in Beschäftigung und Personalmanagement verwendet werden oder Zugang zu selbstständiger Erwerbstätigkeit geben, z. B. Veröffentlichung gezielter Stellenanzeigen, Analyse und Filterung von Bewerbungen sowie Bewertung von Bewerbern;
• KI-Systeme für den Zugang zu wichtigen privaten und öffentlichen Dienstleistungen und zu Sozialleistungen (z. B. Gesundheitsversorgung), für die Bewertung der Kreditwürdigkeit natürlicher Personen sowie die Risikobewertung und Preisfestsetzung im Zusammenhang mit Lebens- und Krankenversicherungen;
• KI-Systeme, die in den Bereichen Strafverfolgung, Migration und Grenzkontrolle eingesetzt werden, soweit sie nicht ohnehin verboten sind, sowie Systeme für die Justizverwaltung und demokratische Prozesse;
• KI-Systeme, die zur biometrischen Identifizierung, biometrischen Kategorisierung und Emotionserkennung verwendet werden, soweit sie nicht verboten sind.

Welche Pflichten haben Anbieter von KI-Systemen mit hohem Risiko?

Bevor Hochrisiko-KI-Systeme in der EU in Verkehr gebracht oder anderweitig in Betrieb genommen werden dürfen, müssen die Anbieter ihr System einer Konformitätsbewertung unterziehen. Damit können sie nachweisen, dass ihr System den verbindlichen Anforderungen an vertrauenswürdige KI entspricht (z. B. in Bezug auf Datenqualität, Dokumentation und Rückverfolgbarkeit, Transparenz, menschliche Aufsicht, Genauigkeit, Cybersicherheit und Robustheit). Diese Bewertung muss erneut durchgeführt werden, wenn das System selbst oder sein Zweck wesentlich verändert wird.

Bei KI-Systemen, die Sicherheitsbauteile von Produkten sind, die unter sektorale Rechtsvorschriften der EU fallen, wird stets davon ausgegangen, dass von ihnen ein hohes Risiko ausgeht, wenn sie gemäß diesen sektoralen Rechtsvorschriften einer Konformitätsbewertung durch Dritte unterzogen werden müssen. Auch bei allen biometrischen Systemen ist unabhängig von ihrer Verwendung eine Konformitätsbewertung durch Dritte erforderlich.

Außerdem müssen Anbieter von Hochrisiko-KI-Systemen Qualitäts- und Risikomanagementsysteme einführen, um die Einhaltung der neuen Anforderungen sicherzustellen und die Risiken für Nutzer und betroffene Personen zu minimieren, auch nachdem ein Produkt bereits in Verkehr gebracht wurde.

Hochrisiko-KI-Systeme, die von Behörden oder im behördlichen Auftrag eingesetzt werden, müssen in einer öffentlichen EU-Datenbank registriert werden, sofern sie nicht zu Zwecken der Strafverfolgung und im Bereich der Migration verwendet werden. Letztere müssen in einem nicht öffentlichen Teil der Datenbank registriert werden, auf den nur die zuständigen Aufsichtsbehörden zugreifen können.

KI-Modelle mit allgemeinem Verwendungszweck

KI-Modelle mit allgemeinem Verwendungszweck, zu denen auch große generative KI-Modelle gehören, können für vielfältige Aufgaben eingesetzt werden. Dabei können einzelne Modelle in eine große Zahl von KI-Systemen integriert werden.

Es ist äußerst wichtig, dass der Anbieter eines KI-Systems, in das ein KI-Modell mit allgemeinem Verwendungszweck integriert ist, auf alle Informationen zugreifen kann, die er benötigt, um sicherzustellen, dass sein System sicher ist und der KI-Verordnung entspricht.

Transparenz

Deshalb sind die Anbieter solcher Modelle nach der KI-Verordnung verpflichtet, bestimmte Informationen gegenüber nachgelagerten Systemanbietern offenzulegen. Diese Transparenz ermöglicht ein besseres Verständnis dieser Modelle.

Urheberrecht

Außerdem müssen die Modellanbieter über Strategien verfügen, mit denen sie sicherstellen, dass beim Trainieren ihrer Modelle das Urheberrecht eingehalten wird.

Einige dieser Modelle könnten zudem systemische Risiken bergen, weil sie besonders leistungsfähig oder weitverbreitet sind.

Welche Verpflichtungen in Bezug auf die Anbringung von Wasserzeichen und die Kenntlichmachung von KI-Ergebnissen sind in der KI-Verordnung vorgesehen? 

Die KI-Verordnung enthält Transparenzvorschriften für die durch generative KI erzeugten Inhalte, um dem Risiko der Manipulation, Täuschung und Fehlinformation zu begegnen.  

Sie verpflichtet die Anbieter generativer KI-Systeme, die KI-Ergebnisse in einem maschinenlesbaren Format zu kennzeichnen und sicherzustellen, dass sie als künstlich erzeugt oder manipuliert erkennbar bleiben. Die betreffenden technischen Lösungen müssen wirksam, interoperabel, belastbar und zuverlässig sein und die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann, berücksichtigen.  

Außerdem müssen die Betreiber generativer KI-Systeme, die Bild-, Ton- oder Videoinhalte erzeugen oder manipulieren, die Deepfakes darstellen, deutlich offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert worden sind. Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen ebenfalls offenlegen, dass der Text künstlich erzeugt oder manipuliert worden ist. Diese Verpflichtung gilt jedoch nicht, wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt. 

Das KI-Büro wird Leitlinien herausgeben, um Anbietern und Betreibern weitere Orientierungshilfen in Bezug auf die Verpflichtungen gemäß Artikel 50 zu geben.

Wie regelt die KI-Verordnung die biometrische Identifizierung?

Die Verwendung biometrischer Echtzeit-Fernidentifizierung im öffentlich zugänglichen Raum (d. h. Gesichtserkennung mit Überwachungsaufnahmen) zu Strafverfolgungszwecken wird verboten. Die Mitgliedstaaten können aber gesetzliche Ausnahmen festlegen, die eine Verwendung biometrischer Echtzeit-Fernidentifizierung in folgenden Fällen erlauben:

• Strafverfolgungsmaßnahmen im Zusammenhang mit 16 festgelegten schweren Straftaten,
• gezielte Suche nach bestimmten Opfern und bei Entführungen, Menschenhandel und sexueller Ausbeutung von Menschen, Suche nach vermissten Personen, oder
• Abwehr einer Gefahr für das Leben oder die körperliche Unversehrtheit von Personen oder Abwendung eines gegenwärtig oder vorhersehbar drohenden Terroranschlags.

Für eine ausnahmsweise erfolgende Verwendung ist die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde erforderlich, deren Entscheidung dann bindend ist. In dringenden Fällen kann die Genehmigung innerhalb von 24 Stunden nachgeholt werden; wird die Genehmigung verweigert, müssen alle Daten und Ergebnisse gelöscht werden.

Es muss eine vorherige Grundrechte-Folgenabschätzung durchgeführt und der zuständigen Marktüberwachungsbehörde und der Datenschutzbehörde gemeldet werden. Bei großer Dringlichkeit kann mit der Nutzung des Systems schon vor der Registrierung begonnen werden.

Für den Einsatz von KI-Systemen zur nachträglichen biometrischen Fernidentifizierung (in zuvor gesammeltem Material) von Personen, gegen die ermittelt wird, ist die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde sowie die Meldung bei der zuständigen Datenschutz- und Marktüberwachungsbehörde erforderlich.

Warum sind für die biometrische Fernidentifizierung besondere Vorschriften erforderlich? 

Die biometrische Identifizierung kann in verschiedenen Formen erfolgen. Die biometrische Authentifizierung und Verifizierung, d. h. das Entsperren eines Smartphones oder die Passkontrollen an Grenzübergängen, bei der die Identität einer Person anhand ihrer Reisedokumente überprüft wird (Eins-zu-eins-Abgleich), bleiben unreguliert, weil sich daraus kein erhebliches Risiko für die Grundrechte ergibt.

Eine biometrische Identifizierung kann aber auch aus der Ferne erfolgen, um z. B. Personen in einer Menschenmenge zu identifizieren, was sich beträchtlich auf die Wahrung der Privatsphäre im öffentlichen Raum auswirken kann.

Die Genauigkeit von Gesichtserkennungssystemen kann durch eine Vielzahl von Faktoren wie Kameraqualität, Licht, Entfernung, Datenbank, Algorithmus sowie ethnische Herkunft, Alter oder Geschlecht der Personen erheblich beeinflusst werden. Gleiches gilt auch für die Erkennung von Gangart und Sprache sowie für andere biometrische Systeme. Bei hochmodernen Systemen werden die Falscherkennungsraten zwar ständig verringert.

Doch selbst wenn eine Genauigkeit von 99 % im Allgemeinen recht gut klingen mag, kann es ein erhebliches Risiko darstellen, wenn das Ergebnis dazu führt, dass eine unschuldige Person verdächtigt wird. Selbst eine Fehlerquote von 0,1 % kann erhebliche Auswirkungen haben, wenn sie sich – wie z. B. an Bahnhöfen – auf große Personengruppen bezieht.

Grundrechte-Folgenabschätzung

Darüber hinaus schreibt die KI-Verordnung vor, dass bestimmte Betreiber von Hochrisiko-KI-Systemen eine Grundrechte-Folgenabschätzung durchführen müssen. 

Anbieter von Hochrisiko-KI-Systemen müssen eine Risikobewertung durchführen und das System so gestalten, dass die Risiken für die Gesundheit, die Sicherheit und die Grundrechte so gering wie möglich sind.

Datenschutz-Folgenabschätzung

In der Praxis müssen viele Betreiber zudem auch eine Datenschutz-Folgenabschätzung durchführen. Um in solchen Fällen inhaltliche Überschneidungen zu vermeiden, muss die Grundrechte-Folgenabschätzung in Verbindung mit dieser Datenschutz-Folgenabschätzung durchgeführt werden.

Ab wann wird die KI-Verordnung uneingeschränkt anwendbar?

Die KI-Verordnung wird zwei Jahre nach ihrem Inkrafttreten am 2. August 2026 vollständig anwendbar werden, mit Ausnahme der folgenden besonderen Bestimmungen:

• Die Verbote, Begriffsbestimmungen und Vorschriften im Zusammenhang mit den KI-Kompetenzen erlangen sechs Monate nach dem Inkrafttreten am 2. Februar 2025 Geltung.
• Die Vorschriften über die Governance und die Verpflichtungen in Bezug auf KI mit allgemeinem Verwendungszweck werden 12 Monate nach dem Inkrafttreten am 2. August 2025 anwendbar.
• Die Verpflichtungen für KI-Systeme, die als Hochrisiko-KI-Systeme eingestuft werden, weil sie in regulierte Produkte eingebettet sind, die in Anhang II (Liste der Harmonisierungsrechtsvorschriften der Union) aufgeführt sind, werden 36 Monate nach dem Inkrafttreten am 2. August 2027 anwendbar.

Welche Sanktionen sind bei Verstößen vorgesehen?

Die Mitgliedstaaten müssen für Verstöße gegen die Vorschriften für KI-Systeme wirksame, verhältnismäßige und abschreckende Sanktionen festlegen.

Dafür werden in der Verordnung bestimmte Schwellenwerte festgelegt:

• bis zu 35 Mio. EUR oder 7 % des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist) bei Verstößen durch verbotene Praktiken oder Verletzungen von Datenanforderungen;
• bis zu 15 Mio. EUR oder 3 % des gesamten weltweiten Vorjahresumsatzes bei Verstößen gegen andere Anforderungen oder Verpflichtungen aus der Verordnung;
• bis zu 7,5 Mio. EUR oder 1,5 % des gesamten weltweiten Vorjahresumsatzes bei falschen, unvollständigen oder irreführenden Angaben in angeforderten Auskünften an benannte Stellen und zuständige nationale Behörden.
• Bei allen Kategorien von Verstößen wäre der Schwellenwert jeweils der niedrigere der beiden Beträge für KMU und der höhere für andere Unternehmen.

Die Kommission kann die Vorschriften für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck auch mithilfe von Geldbußen durchsetzen, wobei sie folgende Schwellenwerte berücksichtigt:

• bis zu 15 Mio. EUR oder 3 % des gesamten weltweiten Vorjahresumsatzes bei Verstößen gegen Verpflichtungen oder gegen von der Kommission im Rahmen der Verordnung festgelegte Maßnahmen.

Von den Organen, Einrichtungen und sonstigen Stellen der EU wird erwartet, dass sie mit gutem Beispiel vorangehen. Deshalb werden auch sie diesen Vorschriften und möglichen Sanktionen unterworfen. Der Europäische Datenschutzbeauftragte wird befugt sein, bei Verstößen Geldbußen gegen sie zu verhängen. 

Enthält die KI-Verordnung Bestimmungen zum Umweltschutz und zur Nachhaltigkeit?

Ziel des KI-Vorschlags ist es, die Risiken in Bezug auf die Sicherheit und die Grundrechte anzugehen, wozu auch das Grundrecht auf ein hohes Umweltschutzniveau gehört. Die Umwelt gehört zu den ausdrücklich erwähnten und geschützten Rechtsgütern.

Unterstützung durch Datenschutzexpertise

• Frühzeitige Einbindung vom behördlichen, internen oder externen Datenschutzbeauftragten, externen Datenschutzkorrdinator und/oder externen Datenschutzauditor. 
• Die sicherkomm unterstützt hier gerne. Wir stehen Ihnen nicht nur beratend zur Seite, sondern unterstützen auch mit Formularen und/oder einer Schulung zum Thema