Relevanz

Immer größer werdende Datenmenge werden vorgehalten. Umso wichtiger werden ADM-Systeme, die die Bearbeitung und Analyse dieser Daten übernehmen.
Dass die Beurteilung solcher Systeme nach aktuellen Maßstäben nicht immer eindeutige Aussagen erzielt, zeigt folgendes Beispiel zum Maß der Fairness.

So konnte ProPublica am Beispiel von Rückfälligkeitsprognosen im amerikanischen Justizsystems zeigen, dass einzelne gesellschaftliche Gruppen entgegen der ursprünglichen Erwartung einer geringeren Diskriminierung durch ADM-Systeme gerade stärker benachteiligt werden: Denn eines der verwendeten ADM-Systeme hält Afro-amerikaner deutlich öfter fälschlich für hochriskant und Weiße deutlich öfter fälschlich für wenig anfällig für eine Rückfälligkeit (Angwin et al., 2016). Während die Autoren dieses Ergebnis klar als „rassistisch“ und „diskriminierend“ benannten, argumentierte die Firma NorthPointe Inc., die das System baute, dass ein anderes Maß für Fairness verwendet wurde, als dasjenige, das klassischerweise in der Community verwendet wird (Dieterich, Mendoza, and Brennan, 2017). Gemäß dieses Maßes ist ihr Algorithmus tatsächlich fair. Wenig später zeigten Kleinberg, Mullainathan und Raghavan (2017), dass diese beiden und ein weiteres Fairnessmaß mathematisch gesehen gar nicht kompatibel sind und nicht gleichzeitig optimiert werden können. Die Frage der Fairness und der Diskriminierungsfreiheit ist damit nicht so einfach zu entscheiden, wie die ursprüngliche Euphorie für ADM-Systeme nahelegte.

An diesem Beispiel angelehnt wird die Relevanz von Maßen für die Beurteilung der Fairness von ADM-Systemen deutlich. Gleichzeitig muss jedoch auch die Qualität betrachtet werden. Bei der Beurteilung der Qualität geht es um die Beurteilung der Fehlerhäufigkeit.

Betrachtet man ADM-Systeme nach den voran genannten Punkte, wird deutlich, dass eine gesellschaftliche und politische Nutzung solcher Systeme ohne geeignete Maße für Fairness und Qualität kaum gesellschaftsverträglich möglich ist, solange kein Konsens über diese Maße besteht oder die gewählten Maße nicht nachvollziehbar sind.