KI und Nichtdiskriminierung: das Gleichbehandlungsrecht neben der KI-Verordnung

Kurze Antwort: Ein KI-System, das Gruppen von Menschen systematisch unterschiedlich behandelt, berührt zwei Regelwerke zugleich. Die KI-Verordnung stellt Anforderungen an Datenqualität und Bias-Beherrschung bei Hochrisiko-Systemen, aber das eigentliche Diskriminierungsverbot stammt aus dem Gleichbehandlungsrecht — und das gilt unabhängig vom Risikoniveau Ihres Systems.

Zwei Regelwerke nebeneinander

Die KI-Verordnung ist Produktregulierung: Sie bestimmt, wie Sie ein System sicher und sorgfältig bauen und in Verkehr bringen. Das Gleichbehandlungsrecht — unter anderem die Antirassismusrichtlinie (2000/43/EG) und nationale Gleichbehandlungsgesetze — verbietet unmittelbare und mittelbare Diskriminierung aus Gründen wie Herkunft, Geschlecht, Alter oder Behinderung.

Diese Verbote galten bereits vor der KI-Verordnung und gelten ungeschmälert weiter. Ein Arbeitgeber, der mit KI Bewerber auswählt, oder eine Bank, die mit einem Modell Kredite bewertet, kann also im rechtlichen Sinne diskriminieren — unabhängig davon, ob das System KI-Verordnung-konform ist.

Unmittelbare und mittelbare Diskriminierung

Unmittelbare Diskriminierung ist bei KI selten: Man nimmt einen verbotenen Grund ausdrücklich als Merkmal. Weit größer ist das Risiko mittelbarer Diskriminierung: ein scheinbar neutrales Merkmal (Postleitzahl, Sprachgebrauch, Lücke im Lebenslauf), das in der Praxis eine geschützte Gruppe benachteiligt.

Mittelbare Diskriminierung ist verboten, es sei denn, es besteht eine objektive Rechtfertigung, die verhältnismäßig und erforderlich ist. Dass der Bias "aus den Daten kam", ist keine Rechtfertigung. Der für die Entscheidung Verantwortliche muss erklären können, warum eine benachteiligende Wirkung gerechtfertigt ist.

Was die KI-Verordnung hier doch hinzufügt

Für Hochrisiko-Systeme — Einstellung, Kreditvergabe, Bildung, Sozialleistungen — verlangt die KI-Verordnung unter anderem repräsentative Datensätze, die Untersuchung möglicher Verzerrungen und menschliche Aufsicht. Das sind Instrumente, um Diskriminierung zu vermeiden, aber sie ersetzen das Verbot nicht. Siehe die Übersicht der Hochrisiko-Pflichten.

Daneben verbietet die KI-Verordnung einige Anwendungen vollständig, etwa bestimmte Formen des Social Scoring; siehe verbotene KI-Praktiken. Und die DSGVO setzt eigene Grenzen für Profiling und automatisierte Entscheidungen über Personen.

Beweislast und Transparenz

Im Gleichbehandlungsrecht gilt oft eine verlagerte Beweislast: Wer eine Benachteiligung glaubhaft macht, zwingt die Gegenpartei zu beweisen, dass nicht diskriminiert wurde. Bei einem undurchsichtigen Modell ist das schwierig — und gerade deshalb werden Protokollierung und Erklärbarkeit beweisrechtlich wichtig. Transparenz gegenüber den Betroffenen kann zudem aus Artikel 50 der KI-Verordnung folgen.

Was zu tun ist

• Prüfen Sie auf mittelbare Wirkungen: Messen Sie die Ergebnisse je Gruppe, nicht nur, ob ein verbotener Grund im Modell steckt.
• Dokumentieren Sie eine Rechtfertigung für jede verbleibende benachteiligende Wirkung — verhältnismäßig und erforderlich.
• Bewahren Sie Nachweise auf: Datensätze, Versionen und Entscheidungsprotokolle bestimmen, ob Sie einen Diskriminierungsverdacht widerlegen können.
• Legen Sie die Verantwortung bei einem Menschen, der die Entscheidung erklären und korrigieren kann.
• Kombinieren Sie die Regelwerke: KI-Verordnung-Konformität und eine Gleichbehandlungsprüfung, nicht das eine oder das andere.

Wer nur die KI-Verordnung abhakt, deckt das Diskriminierungsrisiko nicht ab. Das Verbot besteht unabhängig vom Risikoniveau Ihres Systems.