Unternehmen müssen KI-Strategie anpassen
Nach der lang erkämpften politischen Einigung der EU-Organe auf die KI-Verordnung am 8. Dezember 2023 liegt inzwischen ein finaler Kompromisstext der KI-Verordnung vor (wir berichteten zuletzt am 22. Juni 2023 und am 15. Februar 2023). Die KI-Verordnung stellt einen risikobasierten Ansatz für die Regulierung von KI dar. Sie enthält die Definition von KI, die Beschreibung verbotener KI-Praktiken, Vorgaben für Hochrisiko-KI sowie General Purpose KI-Modelle (GPAI).
Um auf der sicheren Seite zu sein, sollten Unternehmen die neuen gesetzlichen Anforderungen der KI-Verordnung in ihre KI-Strategie aufnehmen.
Anwendungsbereich der KI-Verordnung
Wörtlich übersetzt, definiert Art. 3 Abs. 1 KI-Verordnung ein KI-System als “ein maschinengestütztes System, das so konzipiert ist, dass es in unterschiedlichem Maße autonom betrieben werden kann und nach seiner Inbetriebnahme anpassungsfähig ist, und das für explizite oder implizite Zwecke aus den Eingaben, die es erhält, Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableitet, die die physische oder virtuelle Umgebung beeinflussen können.“
Die Definition entspricht internationalen Standards, ist aber immer noch sehr weit gehalten. Unternehmen sollten deshalb beachten, dass von ihnen angebotene Software oder maschinengestützte Systeme im Zweifel unter diese Definition fallen können und die differenzierten Anforderungen der KI-Verordnung erfüllen müssen.
Die KI-Verordnung ist verpflichtend für Unternehmen, die KI-Systeme oder GPAI-Modelle auf dem EU-Markt in Verkehr bringen, unabhängig davon, wo sie niedergelassen oder ansässig sind. Importeure, Händler, Hersteller, bevollmächtigte Vertreter und betroffene Personen in der EU sind ebenfalls von der KI-Verordnung erfasst.
Verbotene KI-Praktiken
Die KI-Verordnung verbietet den Einsatz von KI in einer Weise, die mit den Grundrechten oder Grundwerten der EU nicht vereinbar ist. Folgende Verbote sind wegen ihrer weiten Definition von besonderer Relevanz für Unternehmen:
- Techniken der unterschwelligen Beeinflussung oder der bewusste Einsatz manipulativer Strategien zur Verhaltensverzerrung, die einer Person oder einer Gruppe von Personen erheblichen Schaden zufügen oder zufügen könnten;
- KI-Systeme, die Schwächen ausnutzen, die mit dem Alter, einer Behinderung oder einer bestimmten sozialen/wirtschaftlichen Situation zusammenhängen;
- Biometrische Kategorisierungssysteme, die sensible Informationen wie Rasse, politische Meinungen etc. ableiten;
- Social Scoring;
- KI-Systeme und ‑Dienste, die Gesichtserkennungsdatenbanken mit Gesichtsbildern aus dem Internet oder von Überwachungskameras verwenden, sowie KI-Systeme, die ausschließlich zur Emotionsanalyse natürlicher Personen am Arbeitsplatz oder in Bildungseinrichtungen eingesetzt werden, außer zu medizinischen Zwecken oder aus Sicherheitsgründen (z. B. Überwachung des Ermüdungszustands eines Piloten).
Hochrisiko-KI-Systeme und ausführliche Risikobewertung
Der risikobasierte Ansatz der KI-Verordnung, der bereits aus dem Verordnungsvorschlag bekannt ist, wird insbesondere bei der Klassifizierung von Hochrisiko-KI und den Pflichten im Zusammenhang mit Hochrisiko-KI deutlich. Anbieter und Anwender von „risikoarmen“ KI-Systemen müssen hingegen nach Art. 4b KI-Verordnung nur ein „ausreichendes Maß an AI-Literacy“ (KI-Kenntnisse unter Berücksichtigung der Rechte und Pflichten aus der KI-Verordnung sowie ein Bewusstsein für die Chancen, Risiken und möglichen Schäden von KI) der Personen sicherstellen, die im Auftrag dieser Anbieter und Anwender mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, während für Hochrisiko-KI die meisten Pflichten der KI-Verordnung gelten.
Die Einstufung von KI als Hochrisiko-KI erfolgt nach dem Grad der Erheblichkeit ihres Risikos für die Gesundheit, die Sicherheit und die Grundrechte der EU. Die in Anhang III der KI-Verordnung aufgeführten KI-Systeme gelten automatisch als Hochrisiko-KI-Systeme, z. B. bestimmte kritische Infrastrukturen wie Wasser‑, Gas- und Stromversorgung oder medizinische Geräte (siehe auch unser Beitrag „KI-basierte Medizinprodukte: MDR versus KI-VO“). Darüber hinaus gilt ein KI-System nach Art. 6 Abs. 1 KI-Verordnung als Hochrisiko-KI, wenn es als Sicherheitskomponente in ein Produkt integriert ist oder das KI-System selbst ein Produkt ist, das unter den New Legislative Framework (NLF) oder unter andere harmonisierte EU-Rechtsvorschriften fällt, die in Anhang II der KI-Verordnung aufgeführt sind, und für das Produkt mit der KI-Sicherheitskomponente oder das KI-System selbst vor dem Inverkehrbringen eine Konformitätsbewertung durch einen Dritten erforderlich ist. Umfasst sind hiervon u. a. Rechtsvorschriften über Maschinen, Spielzeuge, Schiffsausrüstung, Kraftfahrzeuge, ATEX, Druckgeräte und Medizinprodukte (wie MDR und IVDR).
Es gibt jedoch Ausnahmen. KI-Systeme können im Umkehrschluss als Nicht-Hochrisiko-KI eingestuft werden, wenn sie keine erheblichen Risiken für die Gesundheit, die Sicherheit oder die EU-Grundrechte darstellen (Art. 6 Abs. 2a KI-Verordnung).
Für Anbieter und Anwender von KI-Systemen mit hohem Risiko sind in diesem Zusammenhang maßgebliche Pflichten zu beachten und umzusetzen, wie beispielsweise ein Risikomanagement, eine Grundrechte-Folgenabschätzung sowie ein der Größe der Organisation des Anbieters angemessenes Qualitätsmanagementsystem zur Gewährleistung der Konformität und eine ausreichende (technische) Dokumentation. Auch wenn für Produkte, die unter die Harmonisierungsrechtsvorschriften fallen, bereits Konformitätsbewertungen durchgeführt wurden, müssen Unternehmen hier insbesondere die Produktsicherheits- und Qualitätsanforderungen im Zusammenhang mit der KI-Komponente in der durchzuführenden Risikoanalyse berücksichtigen. Besonderes Augenmerk ist bei den Pflichten für Hochrisiko-KI auf die neu hinzugekommene EU-Grundrechte-Folgenabschätzung zu richten. Diese Anforderung wird jedoch voraussichtlich durch Ausfüllen eines Fragebogens zu erfüllen sein und nur Anbieter und Anwender von KI-Systemen betreffen, die KI in Einrichtungen des öffentlichen Rechts einsetzen, sowie private Akteure, die öffentliche Dienstleistungen erbringen, und KI-Anwender, die Anbieter von Bank- und Versicherungsdienstleistungen mit einer hohen Risikoeinstufung nach Anhang III Nummer 5 Buchstaben (b) und (ca) KI-Verordnung sind.
GPAI-Vorschriften
In dem vorliegenden Kompromisstext wird zwischen zwei verschiedenen Arten von GPAI unterschieden: „GPAI-Modelle“ und „GPAI-Modelle mit systemischem Risiko.“ Ein GPAI-Modell gilt (nach Art. 52a KI-Verordnung) dann als mit systemischem Risiko behaftet, wenn es nach technischer Bewertung eine hohe Auswirkungskapazität („High Impact Capabilities“) aufweist. Erfordert z. B. schon das Training der GPAI einen Rechenaufwand von mehr als 10^25 FLOPs, hat das GPAI-Modell eine hohe Auswirkungskapazität und ist ein GPAI-Modell mit systemischem Risiko (i.S.v. Art. 52a KI-Verordnung). Die Anbieter der ersteren müssen lediglich eine geringere Anzahl an „Mindestvorschriften“ wie Transparenz- und Dokumentationspflichten einhalten. Die KI-Verordnung legt in Art. 52 Transparenzpflichten für Anbieter von GPAI-Modellen und Anwender bestimmter KI-Systeme fest, die u. a. die Offenlegung der Interaktion mit KI-Systemen und die Kennzeichnung der von KI-Systemen generierten oder manipulierten Inhalte vorsehen.
GPAI mit systemischem Risiko wird nach der KI-Verordnung zusätzlichen und strengeren Anforderungen gemäß Art. 52d KI-Verordnung unterliegen. Die Anbieter solcher leistungsstarken GPAI-Modelle mit systemischem Risiko werden u. a. verpflichtet, systemische Risiken zu bewerten und zu mindern, schwerwiegende Vorfälle zu melden, Tests und Modellevaluierungen nach dem neuesten Stand der Technik durchzuführen und Cybersicherheit zu gewährleisten. Zu den GPAI-Modellen mit systemischem Risiko könnte beispielsweise das GPT‑4 Modell von OpenAI gehören.
Nächste gesetzgeberische Schritte
Es bleibt die Verabschiedung der KI-Verordnung durch das EU-Parlament und eine Ratsformation abzuwarten. Diese ist für das erste Halbjahr vorgesehen. Bei planmäßiger Verabschiedung ist ein gestaffelter Beginn der Anwendung für einzelne Bereiche vorgesehen, z. B. für verbotene KI-Praktiken bereits nach sechs Monaten, für GPAI nach einem Jahr und für KI-Systeme mit hohem Risiko, die von Art. 6 Abs. 1 KI-Verordnung und den damit korrespondierenden Regelungen erfasst sind, nach drei Jahren.
Fazit
Die Verabschiedung der KI-Verordnung rückt immer näher. Unternehmen sollten bereits jetzt prüfen, ob ihre Produkte mit integrierten KI-Komponenten als Hochrisiko-KI einzustufen sind, ob ihre GPAI-Modelle ein systemisches Risiko aufweisen und ob sie potenziell verbotene KI-Praktiken anwenden. Darüber hinaus ist zu beachten, dass viele konkrete Verpflichtungen noch von der Ausgestaltung der zahlreichen Durchführungsrechtsakte und des noch zu erlassenden Sekundärrechts abhängen.
zurück