Experimente

Question 1

Lösung von confounding-Problems

Answer 1

Kontrollvariablen in Regressionsmodelle als Ansatz zur Lösung des Confounding-Problems

Aber mindestens drei Probleme bleiben:
1: Kennen wir alle Confounder?
2: Messen wir sie richtig?
3: Was ist mit reverse causality?

Diese Probleme gibt es nicht bzw. in geringerem Ausmaß bei experimentellen Analysen.

Question 2

Experimente in den Sozialwissenschaften

Answer 2

Isolation: Ausschaltung aller gleichzeitig wirkenden Ursachenfaktoren

Kontrolle: Bestimmung des Ausmaßes der Ursache (bewusste Manipulation) -> Treatment

Experimental- und Kontrollgruppe
-> Zuteilungsverfahren wichtig
-So als ob man das Counterfactual beobachten würde

Question 3

Analyse von Wxperimenten

Answer 3

Analyse von Experimenten sehr leicht
- Vergleich von Mittelwerten (t-test)
- Regressionsanalyse mit Gruppe als vorhersagende Variable -> eigentlich das gleiche…!

Hypothesentests auf statistische Signifikanz
- Kann der Unterschied nur zufällig sein? Wie wahrscheinlich wäre es, diesen Unterschied zwischen der Treatment- und der Kontrollgruppe zu finden, wenn es in Wirklichkeit keinen Unterschied gibt?
-> Standardtests auf statistische Signifikanz

We’d like N to be as large as possible. And we’d like m to be not too close to N or 0 (i.e., we need a lot of units in treatment and control).

A good rule of thumb is that we get more precision when half the subjects are treated and half are untreated, although we can see that this actually depends on the relative variance of Y1 and Y0. If those are the same, then the rule of thumb is exactly right.

Question 4

noncompliance

Answer 4

Was passiert, wenn die Assignment vom Treatment nicht 100% mit dem Design übereinstimmt?
-Manche Leute ignorieren das Treatment trotz Anweisung
-Andere nehmen das Treatment trotz Anweisung (siehe: Impfung)

Problematische Lösungen:
-Vergleich von denen, die das Treatment bekommen bzw. nicht bekommen haben
-Non-compliers aus der Analyse entfernen

Besser?
-Intent-to-treat (ITT) effect (was ist -der Effekt davon, jemand zur Treatment-Gruppe zuzuteilen?) -> Auch eher policy-relevant

Question 5

chance imbalance

Answer 5

fehlende Balance durch Zufall

Manchmal können durch Zufall Treatment- und Kontrollgruppen sehr unterschiedlich sein

Lösungen:
-Experiment nicht weiter analysieren.

-Analyse so weiterführen.

-Für die Variablen kontrollieren, die unterschiedlich sind.

Question 6

ungenaue Schätzungen

Answer 6

Was tun, wenn unsere Schätzungen nur sehr ungenau sind

Lösungen:
Größere Samples
Gezieltes Design
Kontrollvariablen einführen

Question 7

natürliche Experimente

Answer 7

Manchmal gibt es auch in der Welt zufällige Zuteilungen, die wir ausnutzen können

Examples:
-Lotterien für den Dienst an der Waffe (Vietnam)
-Schulbesuch
-Lotteriegewinne
-Zufällig zugeteilte Reihungen auf Stimmzetteln

Question 8

Regression discontinuity design