IT&G – Neutrale Maschinen – Gerechte Entscheidungen?

Question 1

Was ist das Problem bei ADM-Systemen?

Answer 1

• Viele ADM-Systeme sind intransparent, d.h. rechtlich geschützt und nicht überprüfbar
• Viele erweisen sich als unfair

Question 2

Was machen “Weapons of Math Destruction” aus?

Answer 2

• geheim
• wichtig/einflussreich
• zerstörerisch

Question 3

Was schlägt Cathy O’ Neil vor zur Verhinderung von Biases in ADMs?

Answer 3

• Datenintegritätscheck (Bsp: Verteilung Marihuana-Konsum vs. Verteilung Verurteilung)
• Erfolgsdefiniton (Bsp: Fox News, Beförderung nach 4 Jahren)
• Genauigkeit: Ausmaß und Verteilung von Fehler und Konsequenzen für
  verschiedene Betroffene(ngruppen)
• Langfristige Effekte

Question 4

Welche Botschaften hat Cathy O’ Neil als Schlussfolgerung?

Answer 4

• Data Scientists als Übersetzer gesellschaftlicher Realitäten, nicht Schiedsrichter der Wahrheit (arbiters of truth)
• Es geht nicht um Mathematik, sondern Politik im Kampf um die Kontrolle über algorithmische Systeme

Question 5

Nenne die fünf Punkte, die Barocas & Selbst nennen, wie Data Mining diskriminiert.

Answer 5

• Target Variables & Class Labels
• Training Data
• Feature Selection
• Proxies
• Masking

Question 6

Wo liegt das Problem mit Zielvariablen?

Answer 6

• Sie können schon eine Verzerrung in sich haben

Question 7

Was sind Class Labels beim Data Mining?

Answer 7

unterteilen mögliche Werte der Zielvariable in sich gegenseitig ausschließende Kategorien

Question 8

Wo ist das Problem mit den Trainingsdaten?

Answer 8

Diese können an sich schon verzerrt sein
* Garbage-in, Garbage-out
* Qualität und Repräsentativität von Daten korreliert ggf. mit Geschlecht, Klasse, Rasse, etc.
* Über- und Unterpresentätiertheit als zwei Probleme

Question 9

Erkläre das Problem der Feature Selection beim Data Mining.

Answer 9

• DatensindReduktionundAbstraktiondeszuerfassendenrealen Phänomens
• Wieumfassendundgenau/grobsindmeineAnnäherungen?
• Unterscheidet sich diese Umfassendheit & Genauigkeit systematisch für verschiedene Gruppen?
• Redlining

Question 10

Erkläre das Problem der Proxies beim Data Mining.

Answer 10

• Diskriminierungsrelevante Daten einfach nicht
  erheben/löschen?
  – Proxies & redundante Enkodierung: Klassenzugehörigkeit, Geschlecht ist auch durch andere Daten ersichtbar

Question 11

Erkläre das Problem des Maskings beim Data Mining.

Answer 11

• neue Formen der beabsichtigten Diskriminierung, durch Verschleierung systematischer Diskriminierung

Question 12

Was ist das Problem, wenn man Diskriminierung von ML vermeiden/minimieren will

Answer 12

Unterschiedliche Methoden des Nachweises zeigen unterschiedliche Formen von Diskriminierung auf

Question 13

Was ist das Problem bei einbau von Fairness in ML?

Answer 13

• Manche Anforderungen an Fairness können nicht gleichzeitig erfüllt werden!
• Die Entscheidung über bestimmte Fairnessmaße sollte kontextabhängig entschieden werden und nicht alleine Programmierern überlassen bleiben
• Zur Entscheidung für ein technisches Fairness-Maß bedarf es ethischer Erwägungen und politischer Entscheidungen