Fehlverhalten, Zuverlässigkeit und menschliche Wahrnehmung
Algorithmic Bias
Systematische Verzerrungen in Ausgaben oder Entscheidungen.
Algorithmic Bias bezeichnet systematische Verzerrungen in den Ausgaben eines Systems, die bestimmte Gruppen benachteiligen. Bekannt geworden ist das Problem unter anderem durch eine Untersuchung kommerzieller Gesichtsanalyse, die deutliche Unterschiede der Fehlerraten zwischen Gruppen nachwies. Buolamwini, Gebru
Die Verzerrung kommt aus den Daten und aus den Entscheidungen
Ein Modell lernt aus Texten und Bildern, die Menschen erzeugt haben, samt deren Schieflagen. Dazu kommen Entscheidungen beim Bauen: welche Daten gesammelt, welche Gruppen abgedeckt, welche Fehler wie stark bestraft werden.
Deshalb gehört Verzerrung in umfassenden Bewertungen zu den Kennzahlen, die neben der Genauigkeit erhoben werden. Liang et al. Ohne eine getrennte Messung fällt sie nicht auf: Ein System kann im Schnitt gut abschneiden und für eine Gruppe deutlich schlechter arbeiten.
So kannst du dir das vorstellen
Eine Tür, die für die meisten Menschen breit genug ist. Im Mittel funktioniert sie, und wer sie nicht durchkommt, bleibt in der Statistik unsichtbar, solange niemand nach Gruppen aufschlüsselt. Das Bild erklärt, warum Durchschnittswerte Verzerrungen verbergen.
Was es in der Praxis bedeutet
Wo Systeme über Menschen mitentscheiden, etwa bei Bewerbungen, Kreditvergabe oder Leistungen, ist die Messung nach Gruppen keine Kür. Dafür braucht es Testfälle, die sich gezielt in einem Merkmal unterscheiden, und die Bereitschaft, Unterschiede offenzulegen.
Auch im kleineren Rahmen lohnt der Blick: Eine Anwendung, die Namen, Sprachvarianten oder Anreden ungleich behandelt, erzeugt Ärger und kann rechtlich relevant sein. Hilfreich ist, Ausgaben mit vertauschten Merkmalen zu vergleichen und die Unterschiede zu dokumentieren.
Wo es verwechselt wird
Verzerrung ist nicht dasselbe wie ein Fehler im Einzelfall: Gemeint ist das Muster über viele Fälle. Und sie ist keine Absicht der Entwickler, was an der Verantwortung für die Folgen nichts ändert.
Verwandte Begriffe
Evaluation, Red Teaming, Automation Bias, Training, Synthetic Data.