Wer verantwortlich ist, wenn autonome Systeme Fehler machen
KI-Agenten gelten als die nächste Evolutionsstufe generativer KI. Anders als klassische Chatbots beantworten sie nicht nur Anfragen, sondern treffen eigenständig Entscheidungen, koordinieren Prozesse und führen Handlungen aus. Doch wer haftet, wenn ein KI-Agent einen Fehler macht? Die Diskussion ist keineswegs theoretisch. Bereits heute gibt es zahlreiche Fälle in denen KI-Agenten sich verselbständigt haben und dadurch Schäden entstanden sind.
KI-Agenten treffen Entscheidungen mit realen Folgen
Während klassische KI-Anwendungen wie Chatbots typischerweise auf einzelne Eingaben reagieren, verfolgen KI-Agenten eigenständig Ziele, planen mehrstufige Abläufe und passen ihr Verhalten laufend an neue Informationen an. Sie können auf Datenbanken zugreifen, Software-Anwendungen bedienen, E‑Mails versenden oder Entscheidungen vorbereiten und umsetzen.
Rechtlich problematisch kann ein KI-Agent unter anderem werden, wenn er:
- Sicherheitsvorfälle durch autonome Handlungen auslöst,
- vertrauliche Informationen an unberechtigte Empfänger übermittelt,
- Bewerberinnen und Bewerber rechtswidrig aussortiert,
- fehlerhafte Compliance-Entscheidungen trifft oder falschen Rechtsrat erteilt,
- oder einen Vertrag zu problematischen Konditionen abschließt.
Nach geltender Rechtslage sind KI-Agenten keine Rechtssubjekte und können selbst weder Verantwortliche noch Haftungsschuldner sein. Verantwortung tragen daher die beteiligten Menschen und Organisationen. Das können je nach Ursache des Schadens und der Einsatzkonstellation Hersteller, Anbieter, Betreiber oder Nutzer von KI-Agenten sein.
Haftungsrisiken entstehen auf mehreren Ebenen
Unternehmen müssen sich nicht nur mit einer einzigen Haftungsquelle auseinandersetzen. Vielmehr greifen verschiedene Regelungsregime gleichzeitig.
1. Zivilrechtliche Haftung
Kommt es zu Schäden bei Kunden, Geschäftspartnern oder Dritten, können vertragliche und deliktische Haftungsansprüche entstehen. Hinzu kommen neue Entwicklungen im Produkthaftungsrecht, die ausdrücklich auch Software und KI-Systeme erfassen.
2. Cybersicherheit
KI-Agenten erhöhen die Angriffsfläche von Unternehmen. Durch Schnittstellen, APIs, externe Datenquellen und autonome Entscheidungen entstehen neue Risiken wie Prompt Injection oder Datenexfiltration. Unternehmen, die den Vorgaben von NIS‑2 oder dem Cyber Resilience Act unterliegen, müssen diese Risiken in ihr Informationssicherheitsmanagement einbeziehen.
3. KI-Verordnung (AI Act)
Abhängig vom konkreten Einsatzbereich können KI-Agenten unter die Vorgaben der europäischen KI-Verordnung fallen. Besonders relevant sind die Regelungen zu Hochrisiko-KI-Systemen, Transparenzpflichten sowie die Anforderungen an menschliche Aufsicht und Risikomanagement. Unternehmen sollten zudem beachten, dass sie unter bestimmten Umständen selbst als Anbieter eines KI-Systems gelten können, obwohl sie ursprünglich lediglich eine Standardlösung eines Drittanbieters eingeführt haben.
4. Datenschutzrecht
Greift ein KI-Agent auf personenbezogene Daten zu oder trifft automatisierte Entscheidungen über Personen, sind zwingend die Anforderungen der DSGVO zu beachten. Relevant sind insbesondere Fragen der datenschutzrechtlichen Verantwortlichkeit, Datenschutz-Folgenabschätzungen sowie die Grenzen automatisierter Entscheidungen nach Art. 22 DSGVO.
Unsere Empfehlungen für Unternehmen
Unternehmen sollten nicht darauf warten, bis ein KI-Agent den ersten Fehler verursacht. Sinnvoll ist vielmehr ein risikobasierter Compliance-Ansatz bereits vor dem produktiven Einsatz.
1. Einsatzszenarien rechtlich klassifizieren
Bereits vor der Einführung sollte geprüft werden, welche konkreten Aufgaben der KI-Agent übernehmen soll und welche regulatorischen Anforderungen dadurch ausgelöst werden.
2. Verantwortlichkeiten festlegen
KI-Governance benötigt klare Zuständigkeiten zwischen Fachabteilungen, IT, Informationssicherheit, Datenschutz und Rechtsabteilung.
3. Menschliche Kontrollmechanismen etablieren
Je kritischer die Entscheidungen eines KI-Agenten sind, desto wichtiger werden dokumentierte Freigabe‑, Eskalations- und Überwachungsprozesse.
4. Verträge überprüfen
Verträge mit KI-Anbietern sollten insbesondere Haftungsfragen, Datenschutzpflichten, Sicherheitsanforderungen und Unterstützungsleistungen eindeutig regeln.
5. Rechtliche Anforderungen zusammen denken
Die größten Risiken entstehen häufig nicht aus einzelnen Rechtsgebieten, sondern aus deren Zusammenwirken. Isolierte Einzelmaßnahmen, die nur einen Teil des Digitalrechts in den Blick nehmen, greifen deshalb häufig zu kurz.
Fazit
KI-Agenten bieten Unternehmen erhebliche Effizienz- und Innovationspotenziale. Gleichzeitig verschieben sie die Grenzen zwischen menschlicher und maschineller Entscheidungsfindung. Mit zunehmender Autonomie steigen die Anforderungen an Governance, Compliance und Risikomanagement. Unternehmen sollten den Einsatz von KI-Agenten rechtlich begleiten. Wer frühzeitig für Rechtssicherheit sorgt, reduziert nicht nur Haftungsrisiken, sondern schafft auch die Voraussetzung für einen sicheren und wirtschaftlich erfolgreichen Einsatz von KI.
