KI-Betrugserkennung durch die öffentliche Hand: die Lehren nach SyRI

Kurze Antwort: Betrugserkennung mit KI durch die öffentliche Hand ist nach der KI-Verordnung Hochrisiko und fällt darüber hinaus unter die DSGVO und das Verwaltungsrecht. Die niederländische Geschichte — das SyRI-Urteil des Bezirksgerichts Den Haag aus 2020 und die Beihilfenaffäre — zeigt, was ohne Transparenz und Verhältnismäßigkeit schiefgeht. Die Lehre ist nicht „keine KI", sondern: keine undurchsichtigen Risikoscores, keine Proxy-Diskriminierung, dafür Erklärbarkeit, Verhältnismäßigkeit und eine vorgelagerte Grundrechtsprüfung.

Was SyRI deutlich machte

In der SyRI-Sache entschied das Bezirksgericht Den Haag 2020, dass das System Risikoindikation — ein Instrument, das Datenbestände verknüpfte, um Bürger auf Betrug zu bewerten — gegen Artikel 8 EMRK (Recht auf Privatleben) verstieß. Das Gericht hielt den Eingriff für unzureichend nachvollziehbar und unverhältnismäßig: Bürger konnten nicht wissen, ob und warum sie analysiert wurden, und die Garantien waren unzureichend. SyRI wurde außer Kraft gesetzt. Das ist der Ankerpunkt: Undurchsichtigkeit ist für sich allein ein Grundrechtsproblem.

Die Beihilfenaffäre als zweite Lehre

Die Beihilfenaffäre zeigte die menschlichen Folgen einer Risikoselektion ohne angemessene Garantien: unberechtigte Betrugsvorwürfe, eine umgekehrte Beweislast und diskriminierende Risikoindikatoren (darunter die Staatsangehörigkeit). Das Muster wiederholt sich: Ein Modell markiert, eine Vollzugsbehörde folgt blind, und der Bürger trägt die Last eines nicht nachvollziehbaren Urteils. Der Automation Bias und das Fehlen einer bedeutsamen menschlichen Prüfung machten es strukturell.

Warum die KI-Verordnung dies nun reguliert

Nach der KI-Verordnung ist KI, die den Zugang zu öffentlichen Leistungen und wesentlichen Diensten bewertet (Anhang III, Nummer 5) oder die in der Strafverfolgung Risiken von Personen einschätzt (Nummer 6), Hochrisiko — die Kategorien, unter die staatliche Betrugserkennung üblicherweise fällt — mit der Folge der vollständigen Hochrisiko-Pflichten: Risikomanagement, Datenqualität und Bias-Minderung, Protokollierung, technische Dokumentation und menschliche Aufsicht. Einige Varianten berühren darüber hinaus die verbotenen KI-Praktiken, etwa allgemeines Social Scoring. Die KI-Verordnung kodifiziert damit genau die Garantien, die bei SyRI fehlten.

Proxy-Diskriminierung ist das Kernrisiko

Die subtilste Gefahr ist die indirekte Diskriminierung über Proxys: ein Merkmal wie Postleitzahl, sprachlicher Hintergrund oder Staatsangehörigkeit, das als verbotener Grund wirkt, ohne dies ausdrücklich zu benennen. Eine Bias-Prüfung der Trainingsdaten und der Ergebnisse ist kein Nice-to-have, sondern der Kern einer rechtmäßigen Betrugserkennung. Datenqualität und Repräsentativität (Art. 10 KI-Verordnung) stehen hier in direkter Linie mit dem Diskriminierungsverbot.

Was zu tun ist

• Prüfen Sie die Verhältnismäßigkeit vorab: Überwiegt das Betrugsinteresse den Eingriff, und geht es weniger einschneidend? Führen Sie eine FRIA durch.
• Beseitigen Sie Proxy-Diskriminierung: Analysieren Sie Trainingsdaten und Ergebnisse auf indirekte Diskriminierung, über die Zeit wiederholt.
• Machen Sie Risikoscores erklärbar: keine Blackbox; der Bürger muss verstehen und anfechten können — siehe Erklärbarkeit von Behördenalgorithmen.
• Sichern Sie eine bedeutsame menschliche Aufsicht: kein blindes Folgen einer Markierung; behalten Sie die Beweislast bei der Behörde.
• Registrieren Sie das System im Algorithmenregister und siehe KI in der öffentlichen Verwaltung.

SyRI und die Beihilfenaffäre sind keine Fußnote, sondern der Maßstab. Wer KI gegen Betrug einsetzt, muss zuerst nachweisen, dass das Instrument selbst dem Bürger kein Unrecht zufügt.