Haftung für algorithmische Verzerrungen nach niederländischem und EU-Recht

Die Haftung für algorithmische Verzerrungen ist die rechtliche Verantwortung, die ein Unternehmen trägt, wenn ein automatisiertes System diskriminierende Ergebnisse liefert. In den Niederlanden gründet diese Verantwortung auf drei bereits geltenden Grundlagen: der allgemeinen Deliktsbestimmung des Artikels 6:162 des niederländischen Bürgerlichen Gesetzbuches, dem Gleichbehandlungsgesetz, das vom Niederländischen Institut für Menschenrechte überwacht wird, und den DSGVO-Regeln zu Fairness und automatisierter Entscheidungsfindung. Der EU-KI-Gesetzentwurf ergänzt diese Regelung um eine weitere Ebene, die teilweise bereits in Kraft ist und teilweise erst im Laufe dieses Jahrzehnts in Kraft tritt.

Die praktische Konsequenz ist eindeutig. Ein Unternehmen, das einen Einstellungsfilter, ein Kreditmodell oder ein Betrugserkennungssystem einsetzt, ist für die Folgen dieses Systems verantwortlich, unabhängig davon, ob es das Modell selbst entwickelt hat und ob die Folgen beabsichtigt waren. Im niederländischen Antidiskriminierungsrecht zählt die Wirkung einer Entscheidung, nicht die dahinterstehende Motivation.

Was genau umfasst die Haftung für algorithmische Verzerrungen?

Algorithmische Verzerrungen entstehen, wenn ein automatisiertes System vergleichbare Personen unterschiedlich behandelt, entweder aufgrund gesetzlich geschützter Gründe oder aufgrund von Gründen, die diese ersetzen. Sie lassen sich selten bemerkbar machen. Ein Modell, das mit den Entscheidungen eines Jahrzehnts trainiert wurde, reproduziert jedes in diesen Entscheidungen enthaltene Muster – und zwar konsistent, schnell und in jeder einzelnen Datei. Diese Konsistenz verwandelt einen technischen Fehler in ein rechtliches Risiko: Eine einzelne fehlerhafte menschliche Entscheidung ist ein Einzelfall, ein fehlerhaftes Modell hingegen eine Unternehmensrichtlinie.

Die Haftung ergibt sich aus drei verschiedenen Quellen, die durch dieselbe Entscheidung gleichzeitig ausgelöst werden können. Die zivilrechtliche Haftung entschädigt die geschädigte Person. Das Gleichbehandlungsrecht ermöglicht dieser Person, sich an das Niederländische Institut für Menschenrechte (College voor de Rechten van de Mens) oder an ein Zivilgericht zu wenden, wobei die Beweislast bei Vorliegen eines Diskriminierungsverdachts auf die Organisation übergeht. Das Datenschutzrecht verleiht der niederländischen Datenschutzbehörde (Autoriteit Persoonsgegevens) Durchsetzungsbefugnisse, die nicht von einer Klageerhebung durch Einzelpersonen abhängen.

Nichts davon erfordert ein speziell für KI entwickeltes Gesetz. Die Regeln, die über diese Fälle entscheiden, wurden vor dem Aufkommen dieser Technologie verfasst und gelten ohne Änderungen.

Wo Voreingenommenheit in ein automatisiertes System gelangt

Voreingenommenheit ist kein einmaliger Fehler, der sich mit einem einzigen Test beseitigen lässt. Sie tritt an identifizierbaren Punkten im Lebenszyklus auf, und jeder Punkt entspricht einem anderen Vorwurf der Fahrlässigkeit.

• Die Trainingsdaten. Historische Entscheidungen weisen historische Muster auf. Ein anhand dieser Muster trainiertes Modell lernt diese Muster als Standard und nicht als Problem, das korrigiert werden muss.
• Die Wahl der Variablen. Ein Merkmal, das neutral erscheint, kann eng mit einem geschützten Merkmal korrelieren. Die Verwendung der Postleitzahl als Ersatz für die ethnische Zugehörigkeit ist hierfür ein Paradebeispiel und führt zu indirekter Diskriminierung, selbst wenn das geschützte Merkmal selbst nie erfasst wurde.
• Die Art und Weise, wie die Ausgabe verwendet wird. Ein Modell, dessen Ergebnisse je nach Gruppe variieren, kann als Forschungsinstrument gerechtfertigt sein, als alleinige Grundlage für die Ablehnung eines Antrags jedoch nicht. Derselbe Wert, unterschiedlich angewendet, führt zu unterschiedlichen rechtlichen Ergebnissen.
• Das Fehlen von Überwachung. Ein System, das beim Start ausbalanciert war, driftet ab, wenn sich die umgebenden Daten ändern. In vielen Fällen stellt das Ignorieren dieser Veränderungen bereits Fahrlässigkeit dar.

Rechtlich relevant ist die Unterscheidung zwischen direkter Diskriminierung, bei der ein geschütztes Merkmal offen genutzt wird, und indirekter Diskriminierung, bei der ein neutrales Kriterium eine geschützte Gruppe benachteiligt. Indirekte Diskriminierung kann gerechtfertigt sein, wenn das Ziel legitim und die Mittel angemessen und notwendig sind. Diese Rechtfertigung muss jedoch nachgewiesen werden, und eine Organisation, die nicht erklären kann, warum ihr Modell eine bestimmte Variable verwendet, wird diesen Nachweis nicht erbringen.

Die niederländische Stiftung: Deliktsrecht und Gleichbehandlungsrecht

Bei einer Diskriminierungsklage in den Niederlanden spielen zwei Rechtsbereiche eine zentrale Rolle, die unterschiedliche Fragestellungen beantworten. Das Deliktsrecht prüft, ob die Organisation fahrlässig gehandelt hat und wie hoch der entstandene Schaden ist. Das Gleichbehandlungsrecht hingegen untersucht, ob das Ergebnis diskriminierend war, und wendet dabei eine bewusst klägerfreundliche Beweislast an.

Fahrlässiger Einsatz als rechtswidrige Handlung

Gemäß Artikel 6:162 des niederländischen Bürgerlichen Gesetzbuches haftet eine Person für eine ihr zuzurechnende rechtswidrige Handlung, die einen Schaden verursacht. Der Einsatz eines automatisierten Systems, das die Organisation weder getestet, validiert noch überwacht hat, kann an sich eine rechtswidrige Handlung darstellen, ganz abgesehen von den diskriminierenden Folgen. Der Kläger muss die Handlung, die Zurechnung, den Schaden und den ursächlichen Zusammenhang zwischen ihnen nachweisen; maßgeblich ist dabei, was eine sorgfältige Organisation in derselben Lage getan hätte.

Stammt das System von einem Zulieferer, bleibt die einsetzende Organisation von ihrer Pflicht befreit. Sie kann zwar gemäß Artikel 6:74 des Bürgerlichen Gesetzbuches einen vertraglichen Anspruch gegen den Lieferanten wegen mangelhafter Leistung geltend machen, dies ist jedoch ein separates Verfahren zwischen zwei Geschäftspartnern. Es beantwortet nicht die Klage des abgelehnten Antragstellers.

Gleichbehandlungsgesetz und die Beweislastumkehr

Das Allgemeine Gleichbehandlungsgesetz (Algemene wet gelijke behandeling) und die dazugehörigen Branchengesetze, darunter das Antidiskriminierungsgesetz (WGBL) und das Gesetz über Behinderung und chronische Krankheit (WGBH/CZ), verbieten die direkte und indirekte Diskriminierung aufgrund geschützter Merkmale. Im Arbeitsrecht ergänzt Artikel 7:646 des Bürgerlichen Gesetzbuches die Bestimmungen zur Gleichbehandlung der Geschlechter.

Die Verfahrensregel ist in den meisten Fällen ausschlaggebend. Sobald der Kläger Tatsachen vorträgt, die eine Diskriminierungsvermutung begründen, verschiebt sich die Beweislast: Die Organisation muss dann nachweisen, dass sie nicht gegen das Verbot verstoßen hat. Eine Organisation, die nicht darlegen kann, welche Gewichtung ihr Modell hatte, auf welchen Daten und mit welchen Tests, kann diese Beweislast nicht erfüllen. An diesem Punkt wird eine mangelhafte Dokumentation nicht mehr als internes Organisationsproblem betrachtet, sondern als Grund für den Verlust einer Klage.

Beschwerden können auch beim Niederländischen Institut für Menschenrechte eingereicht werden, dessen Stellungnahmen zwar nicht bindend sind, aber weitgehend befolgt werden und häufig als Beweismittel in nachfolgenden Zivilprozessen herangezogen werden.

Was die DSGVO von automatisierten Entscheidungen verlangt

Die DSGVO regelt dieselben Systeme aus datenschutzrechtlicher Sicht. Artikel 22 gibt einer Person das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Entscheidungen über Einstellung, Kreditvergabe und Sozialleistungen fallen üblicherweise unter diese Beschreibung.

Das entscheidende Wort ist „ausschließlich“ . Menschliche Beteiligung ist nur dann erforderlich, wenn sie außerhalb von Artikel 22 erfolgt und sinnvoll ist: eine Person mit der Befugnis und den Informationen, zu einem anderen Schluss zu gelangen, nicht ein Bediener, der lediglich die Bildschirmanzeige bestätigt. Eine bloße Bestätigung gilt als automatisierte Entscheidungsfindung.

Unabhängig von Artikel 22 gelten zwei weitere Verpflichtungen. Der Fairnessgrundsatz gemäß Artikel 5 Absatz 1 Buchstabe a ist eine eigenständige Anforderung, die durch ein diskriminierendes Modell definitionsgemäß verletzt wird. Artikel 35 verlangt eine Datenschutz-Folgenabschätzung vor jeder Verarbeitung, die voraussichtlich ein hohes Risiko für Einzelpersonen birgt, wozu im Allgemeinen die systematische Profilerstellung von Bewerbern oder Kunden zählt. Die Höchststrafe für Verstöße gegen diese Bestimmungen ist in Artikel 83 Absatz 5 DSGVO auf 20 Millionen Euro oder vier Prozent des weltweiten Jahresumsatzes festgelegt, je nachdem, welcher Betrag höher ist.

Unser Überblick über Datenschutz, die DSGVO, KI und Big Data erläutert detaillierter, wie diese Pflichten mit der Nutzung großer Datenmengen interagieren.

Was das KI-Gesetz bereits vorschreibt und was später beginnt

Die Verordnung (EU) 2024/1689, das KI-Gesetz, ist kein Vorschlag mehr. Sie trat am 1. August 2024 in Kraft und wird stufenweise angewendet. Seit dem 2. Februar 2025 gelten die Verbote in Artikel 5 sowie die Pflicht in Artikel 4, sicherzustellen, dass die mit KI-Systemen arbeitenden Mitarbeiter über ausreichende KI-Kenntnisse verfügen. Die Verpflichtungen für allgemeine KI-Modelle gelten seit dem 2. August 2025, ebenso wie die Bestimmungen zu Governance und Sanktionen.

Der Bereich der Hochrisikoregelungen betrifft am unmittelbarsten Voreingenommenheit und wurde daher verschoben. KI-Systeme gemäß Anhang III, darunter Systeme für Personalbeschaffung und -auswahl, Beförderungs- und Kündigungsentscheidungen, Kreditwürdigkeitsprüfungen und Risikobewertungen im Versicherungswesen, unterliegen ab dem 2. Dezember 2027 den Hochrisikoverpflichtungen. Hochrisikosysteme, die Sicherheitskomponenten regulierter Produkte gemäß Anhang I darstellen, folgen am 2. August 2028.

Wenn diese Verpflichtungen greifen, kodifizieren sie vieles von dem, was sorgfältige Praxis bereits umfasst: Daten-Governance mit dem Ziel repräsentativer und fehlergeprüfter Datensätze, technische Dokumentation, automatische Protokollierung, Transparenz gegenüber den Betroffenen, systemintegrierte menschliche Aufsicht und eine Konformitätsbewertung vor der Markteinführung oder Inbetriebnahme des Systems. Auch die Anwender, nicht nur die Anbieter, tragen Verantwortung, beispielsweise für die Protokollierung und die Zuweisung der Aufsicht an kompetente Personen.

Zwei Punkte werden regelmäßig falsch dargestellt. Die Höchststrafen sind gestaffelt und nicht einheitlich: Bei Verstößen gegen die in Artikel 5 genannten verbotenen Praktiken drohen bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Umsatzes, während die Nichteinhaltung der Hochrisikopflichten mit einer niedrigeren Höchststrafe von 15 Millionen Euro oder drei Prozent geahndet wird. Die geplante KI-Haftungsrichtlinie, die die Beweislast für durch KI-Systeme geschädigte Personen in der gesamten EU erleichtert hätte, wurde zurückgezogen. Es gibt kein harmonisiertes europäisches Haftungsregime für KI-Schäden; eine Klage in den Niederlanden unterliegt niederländischem Recht.

Die nationale Durchsetzung befindet sich noch im Aufbau. Die Niederlande haben das Durchführungsgesetz zur Benennung ihrer Marktüberwachungsbehörden gemäß der Verordnung noch nicht fertiggestellt, obwohl die niederländische Datenschutzbehörde und die niederländische Behörde für digitale Infrastruktur koordinierende Aufgaben in den Vorbereitungsarbeiten übernommen haben. Wir erläutern den Rahmen ausführlicher in unserem Leitfaden zu den rechtlichen Aspekten der künstlichen Intelligenz und dem EU-KI-Gesetz.

Vergleich der drei Rahmenwerke

Die Rahmenbedingungen überschneiden sich, anstatt miteinander zu konkurrieren. Ein abgelehnter Antrag kann, basierend auf demselben Sachverhalt, eine Zivilklage, eine Beschwerde beim Institut, eine behördliche Untersuchung und schließlich einen Verstoß gegen das KI-Gesetz nach sich ziehen.

Was die niederländischen Fälle ergeben haben

Zwei Episoden prägen den Umgang niederländischer Gerichte und Regulierungsbehörden mit automatisierten Entscheidungen, und in beiden geht es um dasselbe Versagen: ein undurchsichtiges System, das auf Menschen angewendet wird, die nicht verstehen können, wie es funktioniert.

Im Februar 2020 stoppte das Bezirksgericht Den Haag das Risikobewertungssystem SyRI, mit dem öffentliche Stellen Daten aus verschiedenen Quellen kombinierten, um Sozialleistungs- und Steuerbetrug aufzudecken. Das Gericht urteilte, dass die dem System zugrunde liegende Gesetzgebung den Grundsatz der angemessenen Abwägung gemäß Artikel 8 der Europäischen Menschenrechtskonvention nicht erfüllte. Entscheidend war nicht die Datenanalyse an sich, sondern die fehlende Transparenz und Überprüfbarkeit: Weder das Risikomodell noch die Indikatoren wurden offengelegt, sodass weder die betroffenen Bürger noch das Gericht eine mögliche Diskriminierung überprüfen konnten. Die Lehre für private Organisationen lautet: Ein System, das niemand erklären kann, ist nicht zu verteidigen, da der Betreiber die Beweislast für dessen Rechtfertigung trägt.

Der Skandal um die Kinderbetreuungsbeihilfen verdeutlichte dies anhand seiner Folgen. Die Steuerverwaltung nutzte eine automatisierte Risikoselektion, die Indikatoren wie die doppelte Staatsbürgerschaft als Betrugsverdacht wertete. Zehntausende Eltern wurden fälschlicherweise als solche eingestuft und zur Rückzahlung aufgefordert. Die niederländische Datenschutzbehörde befand die zugrundeliegende Datenverarbeitung für rechtswidrig und diskriminierend und leitete entsprechende Maßnahmen ein. Sie bestätigte zudem den hier entscheidenden Grundsatz: Das Argument, das System habe das Ergebnis hervorgebracht, ist nicht stichhaltig, denn die Entscheidung für den Betrieb des Systems selbst ist der zu beurteilende Akt.

Wo eine Haftung im Rahmen der gewöhnlichen Geschäftsnutzung entsteht

Die meisten Risiken führen nie zu einem wegweisenden Urteil. Sie entstehen im Rahmen alltäglicher operativer Entscheidungen.

Ein auf den Einstellungsdaten des Unternehmens trainierter Rekrutierungsfilter lernt die darin enthaltenen Präferenzen und wendet sie auf jeden nachfolgenden Bewerber an. Da Rekrutierungstools sowohl unter Anhang III des AI Act fallen als auch Artikel 22 der DSGVO berühren, unterliegen sie allen drei Rechtsrahmen gleichzeitig. Ein Kredit- oder Versicherungsmodell, das Postleitzahl, Lücken im Lebenslauf oder ähnliche Merkmale verwendet, kann indirekte Diskriminierung hervorrufen, selbst wenn der Datensatz keine geschützten Merkmale enthält. Ein Workforce-Management-System, das Schichten plant, die Leistung überwacht oder Kündigungsentscheidungen beeinflusst, fällt in dieselbe Kategorie. Hinzu kommt die Komplikation, dass der Betriebsrat gemäß dem Betriebsratsgesetz vor der Einführung eines solchen Systems ein Zustimmungsrecht haben kann.

In jedem Fall stellt ein niederländisches Gericht dieselbe Frage: Was wusste die Organisation über das Verhalten des Systems, was unternahm sie, um dies herauszufinden, und was tat sie, als das Muster sichtbar wurde?

Anbieter und Implementierer: Wer ist wofür verantwortlich?

Der Kauf eines Systems überträgt nicht das damit verbundene Risiko. Nach dem KI-Gesetz haben Anbieter und Betreiber unterschiedliche Pflichten, und nach niederländischem Zivilrecht klagt die geschädigte Person denjenigen an, der die sie betreffende Entscheidung getroffen hat, also fast immer die implementierende Organisation.

Verträge können die finanziellen Folgen regeln und die für die Abwehr von Ansprüchen notwendigen Informationen sichern. Ein sinnvoller Beschaffungsvertrag legt die Leistungs- und Fairnesskriterien fest, die das System erfüllen muss, garantiert den Zugriff auf Dokumentation, Testergebnisse und Protokolle, räumt ein Prüfrecht ein, verpflichtet den Lieferanten zur Meldung wesentlicher Modelländerungen und regelt die Aufteilung von Haftung und Verteidigungskosten im Schadensfall. Verträge können jedoch keine Bußgelder oder gesetzliche Pflichten aufheben. Unser Artikel zur Haftungsfrage bei Fehlern künstlicher Intelligenz erläutert die Haftungsverteilung detaillierter.

Das Risiko kontrollieren, bevor ein Schadenfall eintritt

Die Verteidigungsstrategie in einem Diskriminierungsverfahren wird lange vor der eigentlichen Klageerhebung aufgebaut und besteht fast ausschließlich aus Dokumentationen. Da sich die Beweislast verschiebt, sobald ein Diskriminierungsverdacht besteht, befindet sich die Organisation, die nachweisen kann, was sie wann getestet hat und wie sie mit den Ergebnissen umgegangen ist, in einer grundlegend anderen Position als jene, die dies nicht kann.

Ein praktikables Programm umfasst vier Elemente. Vor der Einführung muss es getestet werden, wobei die Ergebnisse der gesetzlich geschützten Gruppen verglichen und die Trainingsdaten sowie die gewählten Ersatzvariablen geprüft werden. Auch nach der Einführung muss das Programm weiter getestet werden, da ein zunächst ausgewogenes Modell nicht dauerhaft stabil bleibt. Eine benannte Person oder ein Gremium muss befugt sein, die Ergebnisse zu überprüfen und ein System vorübergehend auszusetzen. So wird sichergestellt, dass die Entscheidung für den Weiterbetrieb von einer Person getroffen wird und nicht auf einer unkontrollierten Standardeinstellung beruht. Alle Daten, einschließlich der Datenquellen, der Validierung, der Prüfungsergebnisse und der Korrekturmaßnahmen, müssen in einer Form dokumentiert werden, die der Aufsichtsbehörde vorgelegt oder in Gerichtsverfahren verwendet werden kann.

Darüber hinaus sollte die Entscheidungsfindung, wo Artikel 22 Anwendung findet, stets menschlich bleiben, die Datenschutz-Folgenabschätzung vor der Inbetriebnahme des Systems und nicht erst danach durchgeführt werden, geprüft werden, ob der Betriebsrat eine Rolle spielt, und Betroffenen die Gründe für die Entscheidung verständlich erläutert werden können. Keiner dieser Schritte ist ungewöhnlich, und die Hochrisikoregelung des KI-Gesetzes wird die meisten davon ohnehin ab Dezember 2027 für Rekrutierungs-, Kredit- und Versicherungssysteme verpflichtend machen. Organisationen, die diese Maßnahmen jetzt umsetzen, sind einfach zu früh dran.

Was tun, wenn eine Entscheidung angefochten wird?

Wenn ein Bewerber, Kunde oder Mitarbeiter eine automatisierte Entscheidung hinterfragt, muss zunächst der Sachverhalt geklärt werden: Was genau hat das System in diesem Fall getan? Welche Eingaben wurden verwendet? Wurde eine menschliche Beurteilung vorgenommen? Und passt das Ergebnis in ein allgemeines Muster? Dies sollte vor der Antwort geschehen, denn eine ungenaue erste Antwort lässt sich später nur schwer korrigieren und wird dem Unternehmen negativ ausgelegt.

Bewahren Sie die Protokolle und die verwendete Modellversion auf. Prüfen Sie die Beschwerde anhand aller drei Rahmenwerke und nicht nur anhand desjenigen, auf das sich der Beschwerdeführer zufällig berufen hat, da sowohl eine Datenschutzbeschwerde als auch eine Diskriminierungsklage aus derselben Datei resultieren können. Sollte das Muster tatsächlich vorliegen, ist die Schadensbegrenzung durch Korrektur und Behebung der betroffenen Entscheidungen deutlich effektiver als durch eine Verteidigung.

Law & More Wir beraten Unternehmen in allen rechtlichen Fragen der automatisierten Entscheidungsfindung: Bewertung des Risikos nach niederländischem Deliktsrecht und Gleichbehandlungsrecht, Überprüfung der DSGVO-Konformität in Bezug auf Profiling und automatisierte Entscheidungen, Vorbereitung auf die Verpflichtungen gemäß dem KI-Gesetz für Rekrutierungs-, Kredit- und Versicherungssysteme, Verhandlung von Lieferantenverträgen sowie Abwehr von Ansprüchen und behördlichen Ermittlungen. IT-Anwälte Gerne besprechen wir mit Ihnen, wie die Regeln auf die von Ihnen verwendeten Systeme anzuwenden sind.

Häufig gestellte Fragen zur Haftung für algorithmische Verzerrungen

Da Unternehmen sich zunehmend mit KI auseinandersetzen, stellen sich viele Führungskräfte sehr spezifische Fragen zur Haftung. Im Folgenden gehen wir auf einige der häufigsten und schwierigsten Fragen ein und bieten klare Antworten, die Ihnen helfen, sich in diesem komplexen Rechtsgebiet zurechtzufinden.