Als erstes Gesetzgebungsorgan der Welt hat die Europäische Kommission am 21. April 2021 ihren Entwurf einer Verordnung zur Regulierung von Künstlicher Intelligenz (KI-Verordnung) (PDF) vorgelegt.
Anwendungsbereich
Der Vorschlag verfolgt einen risikobasierten Ansatz und begründet Pflichten für Provider, Nutzer, Einführer, Distributoren und Operatoren von KI mit Sitz innerhalb und außerhalb der EU. Er betrifft das Bereitstellen auf dem Markt, die Inbetriebnahme und die Nutzung von KI. Art. 3 definiert KI als Software, die mit einer oder mehreren der in Anhang I (PDF) der Verordnung aufgezählten Techniken zur Erreichung eines vom Menschen definierten Ziels entwickelt wurde. Die Definition stellt klar, dass KI sowohl in einem Produkt integriert sein als auch als Stand-alone-Software vorliegen kann, jedenfalls aber der Automatisierung von Vorgängen dient. Auch das Wort “Autonomie” fällt in der Definition.
Zu den in Anhang I genannten Techniken zählen u.a. das maschinelle Lernen (supervised; unsupervised; reinforcement learning), logik- und wissensbasierte sowie statistische Ansätze.
Verbotene KI
In bestimmten Bereichen bzw. für bestimmte Zwecke verbietet Art. 5 den Einsatz von KI. Verboten sind demnach insbesondere
- Unterschwellige Techniken zur Verhaltenssteuerung, die zu Schäden führen können
- Ausnutzung von Schwachstellen aufgrund des Alters, einer Behinderung etc.
- Social Scoring
- Echtzeit-Remote-Systeme zur biometrischen Identifikation
Es wird deutlich, dass der risikobasierte Ansatz vor allem dann greift, wenn Auswirkungen auf den Menschen befürchtet werden und hieraus Gefahren für hohe Rechtsgüter hervorgehen (Leben, Gesundheit, freie Willensbildung, etc.).
High-Risk-KI
Art. 6 definiert in Verbindung mit den Anhängen II und III KI mit einem hohen Risiko. Das ist der Fall, wenn die KI die Sicherheitskomponente eines Produkts darstellt oder selbst ein Produkt des harmonisierten Produktbereichs ist und ein Konformitätsbewertungsverfahren durch Dritte angewendet werden muss. Zudem werden bestimmte Einsatzgebiete mit einem hohen Risiko genannt, z.B.:
- Kritische Infrastruktur
- Recruitment, Verteilung von Ausbildungsplätzen
- Bewertung der Kreditwürdigkeit
- Rechtsdurchsetzung und Strafverfolgung
- Migration, Asyl, Grenzkontrollen
- Legal-Tech-Anwendungen von Seiten eines Gerichts
Anforderungen an KI
Grundsätzlich muss der Einsatz von KI gemäß Art. 52 für den Verbraucher erkennbar sein, wenn sie mit einem Menschen interagiert, also z.B. bei Chatbots. Außerdem müssen sog. Deep Fakes gekennzeichnet werden. Dabei handelt es sich um Video‑, Bild‑, oder Audiodateien, die von einer KI so verfälscht werden, dass sie Inhalte aufweisen, die dort eigentlich nicht hingehören. Eine Ausnahme für die Kennzeichnungspflicht gilt u.a. für die Meinungs‑, Kunst- und Wissenschaftsfreiheit.
Für High-Risk-KI gelten hingegen besondere Anforderungen. Kurz gefasst muss KI für die bestimmungsgemäße und die vorhersehbare Verwendung über ihren gesamten Lebenszyklus sicher sein. Hierzu stellen die Artt. 8 ff. bestimmte Regeln auf, u.a.:
- Verwendung diskriminierungsfreier Trainingsdatensätze
- (Technische) Dokumentation
- Transparenz, d.h. nachvollziehbare Ergebnisse
- Resilienz, d.h. Integrität und Sicherheit von Daten gegenüber Hacking
- Robustheit, d.h. keine Veränderbarkeit des Systems durch Hacking
- Überwachung des Systems durch den Menschen
Providerpflichten
Die Pflichten unter der Verordnung sollen in erster Linie den Provider treffen, der also dem Hersteller im herkömmlichen Produktbereich entspricht. Die Pflichten für High-Risk-KI umfassen u.a.:
- Gewährleistung der Einhaltung der Artt. 8 ff.
- Einrichtung eines Qualitätsmanagementsystems
- Durchführung eines Konformitätsbewertungsverfahrens
- Registrierung der KI
- Beobachtung der KI im Markt
- Fehlerinformationen an Behörden
- CE-Kennzeichnung
Daneben existieren auch Pflichten für Nutzer, Einführer, Distributoren und Operatoren.
Konformitätsbewertungsverfahren
Je nach Art der High-Risk-KI ist entweder die interne Kontrolle gemäß Anhang VI möglich oder eine Konformitätsbewertung durch eine notifizierte Stelle gemäß Anhang VII erforderlich. Für beide Verfahren ist zum einen das Qualitätsmanagementsystem maßgeblich, zum anderen die technische Dokumentation. Das Bewertungsverfahren für high-risk KI des harmonisierten Produktbereichs kann in das jeweils vorgesehene Konformitätsverfahren integriert werden.
Wie schon aus anderen Produktbereichen bekannt, sollen auch im Bereich KI harmonisierte Normen und Standards geschaffen und im Amtsblatt der EU veröffentlich werden, deren Anwendung eine Konformitätsvermutung auslöst.
Marktüberwachung
Für die Marktüberwachung und die Aufsicht über die ordnungsgemäße Durchführung der Konformitätsbewertungsverfahren soll ein behördlicher Aufbau geschaffen werden. Verstöße sollen mit bis zu 30 Mio. € oder 6 % des Jahresumsatzes geahndet werden können.
Ausblick und Praxisrelevanz
Der Vorschlag muss nun im Europäischen Parlament und auch im Rat beraten werden. Die Zuständigkeiten sind insofern noch nicht endgültig geregelt, dasselbe gilt auf nationaler Ebene für die beteiligten Ministerien. Die EU-Kommission hat als Zeitplan für die Verabschiedung der Verordnung 18 Monate aufgerufen, was von einigen als zu ambitioniert angesehen wird.
Da es sich zunächst nur um einen Vorschlag handelt, besteht derzeit noch kein unmittelbarer Anlass, auf die geplante Änderung der Rechtslage bei der Bereitstellung von Software auf dem Markt zu reagieren. Auch Hersteller herkömmlicher Produkte, die von Software gesteuert oder angesteuert werden, sollten die Entwicklungen jedoch unbedingt beobachten, um sich in Zukunft rechtskonform zu verhalten.
Über den Fortgang des Verfahrens werden wir Sie auf dem Laufenden halten.
zurück