Grundlagen News

Bildquelle: iStock.com/okan akdeniz

Gefahren der KI
Wenn der Algorithmus Menschen diskriminiert

Experten, die kritisch über Künstlicher Intelligenz diskutieren, warnen oftmals vor dramatischen Arbeitsplatzverlusten. Die Technologie sei ab einem bestimmten Punkt vielleicht auch nicht mehr beherrschbar, so die stereotype Kritik. Doch sind das wirklich die einzigen Gefahren? Eine aktuelle Studie des Karlsruher Instituts für Technologie (KIT) im Auftrag der Antidiskriminierungsstelle des Bundes sieht noch ein weiteres beträchtliches Risiko: Algorithmenbasierte Systeme könnten sogar vielfältige Gefahren der Benachteiligung einzelner Menschen und ganzer Bevölkerungsgruppen bergen, teilte das KIT mit.  

Ob bei der Kreditvergabe oder der Auswahl neuer Mitarbeiter – immer häufiger würden Algorithmen dazu eingesetzt, menschliche Entscheidungen vorzubereiten oder sie ihnen gleich ganz abzunehmen „Dass dies zwangsläufig zu objektiveren und damit faireren Entscheidungen führt, erweist sich heute leider oft als Trugschluss“, erklärte demnach Carsten Orwat vom Institut für Technikfolgenabschätzung und Systemanalyse (ITAS) des KIT. „Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten und auf eigentlich geschützte Merkmale zurückgreifen“, so der Autor. Hierzu gehörten vor allem Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderungen.

Verbotene Ungleichbehandlung

Die Studie beschreibt dem KIT zufolge etwa Vorgänge auf dem Immobilien- und Kreditmarkt oder im Strafvollzug. In den USA gebe es mehrere dokumentierte Fälle, in denen die Algorithmen sozialer Medien Wohnungsanzeigen zugelassen hätten, die durch den „Fair Housing Act“ geschützte Personengruppen nicht zu sehen bekommen hätten – etwa Migranten oder Menschen mit Behinderung. In Finnland sei ein Kreditinstitut zu Strafzahlungen verurteilt worden, weil sein Algorithmus bei der automatisierten Online-Kreditvergabe Männer gegenüber Frauen und finnische gegenüber schwedischen Muttersprachlern bei der Kreditvergabe benachteiligt habe – eine Ungleichbehandlung, die nach finnischen Recht verboten sei.

Die Studie berief sich zudem auf eine Untersuchung aus dem Jahr 2018, wonach Diskriminierungen auf dem US-Kreditmarkt für Hypotheken aufgrund ethnischer Herkunft (US-Amerikaner mit afroamerikanischer und lateinamerikanischer Herkunft) weiterhin stattgefunden hätten, das heißt auch mit algorithmenbasierten Kreditentscheidungen. Durch Algorithmen und das Auftreten der FinTechs habe sich zugleich die Art der Diskriminierung verändert, nämlich von Diskriminierung durch menschliche Vorurteile oder Abneigungen hin zu illegitimen Anwendungen der statistischen Diskriminierung mit der Verwendung von Big-Data-Variablen.

Umstrittenes System

Bei der Entscheidung über vorzeitige Haftentlassungen arbeiteten US-Richter mit einem umstrittenen System, das Risikoscores berechnet, hieß es weiter. Menschrechtsverbände kritisierten, dass das System das Rückfallrisiko von Menschen mit schwarzer Hautfarbe systematisch zu hoch bewerte. „Bei Systemen des maschinellen Lernens wird es häufig problematisch, wenn KI-Systeme mit Daten trainiert werden, die Ungleichbehandlungen oder Stereotypen abbilden“, erklärte Orwat den Angaben zufolge. „Dann spiegeln auch die so erzeugten Algorithmen die Ungleichbehandlungen oder Stereotypen wider. Werden Daten verarbeitet, die Bewertungen von Menschen über anderer Menschen beinhalten, so können sich Ungleichheiten und Diskriminierungen sogar verbreiten oder verstärken.“

Die Studie nennt laut KIT mehrere Möglichkeiten, um Diskriminierungen bei algorithmenbasierten Differenzierungen zu begegnen. „Am sinnvollsten erscheinen präventive Maßnahmen“, betonte Orwat demnach. So könnten Firmen ihre Personal bzw. IT-Mitarbeiter von Antidiskriminierungsstellen beraten lassen. Diese Angebote könnten auch dazu sensibilisieren, nur solche Datensätze zu verwenden, die keine diskriminierenden Praktiken oder Ungleichheiten widerspiegelten. (ud)

Lesen Sie hier die vollständige Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ der Antidiskriminierungsstelle des Bundes.

Stichworte

Verwandte Artikel

Anzeige

Lexikoneinträge