Forskningsdesign

Question 1

Outcome

Answer 1

Målet, vi er interesserede i at undersøge

Angrist & Pischke (2015)

Question 2

Treatment

Answer 2

Variablen, hvis effekt vi er interesserede i at undersøge

Angrist & Pischke (2015)

Question 3

Treatmentgruppe

Answer 3

Observationer omfattet af treatmentvariabel

Angrist & Pischke (2015)

Question 4

Kontrolgruppe

Answer 4

Uden treatment. God kontrolgruppe viser treatmentgruppens outcome i kontrafaktisk verden uden treatment

Angrist & Pischke (2015)

Question 5

Alt andet lige / ceteris paribus

Answer 5

Primær antagelse i effektundersøgelser: Alt andet lige (end treatment)

Angrist & Pischke (2015)

Question 6

Potentielle outcomes

Answer 6

Ligger for enden af hver af de veje, man kan tage. Kun én observeres

Angrist & Pischke (2015)

Question 7

Kausaleffekt

Answer 7

Forskellen mellem potentielle outcomes

Angrist & Pischke (2015)

Question 8

Selektionsbias / selektionsproblem

Answer 8

Selektionsbias (Angrist & Pischke, 2015)
Mangel på sammenlignelighed, når enheders potentielle outcome for samme treatmentstatus er forskellig (8)
Det er forskellen i outcome uden treatment (10)

Selektionsproblem (Gerber og Green, 2011)
Tildeling af treatment afhænger af potentielle outcomes

Question 9

Gennemsnitlig kausaleffekt

Answer 9

Gns for kausaleffekter for alle enheder i en gruppe

Angrist & Pischke (2015)

Question 10

Konstante effekter-antagelsen

Constant effects assumption

Answer 10

Treatment har samme effekt for alle

(Angrist & Pischke, 2015)

Question 11

Store tals lov

Answer 11

To tilfældigt udvalgte grupper er sammenlignelige, hvis de er store nok. Stor nok sample kan repræsentere en population tilfredsstillende

(Angrist & Pischke, 2015)

Question 12

Matematisk forventing

Answer 12

Populationens reelle gennemsnit på en variabel.
Hvis variablen eks er gns tal fra en terning, er det gennemsnittet for uendeligt mange rul.

(Angrist & Pischke, 2015)

Question 13

Betinget forventning

Answer 13

Matematisk forventning til alle med et bestemt udfald på en variabel

(Angrist & Pischke, 2015)

Question 14

Statistisk signifikante forskelle

Answer 14

Forskelle (som regel på over 2 std.fejl), som højst usandsynligt kun er tilfældige

(Angrist & Pischke, 2015)

Question 15

Parameter

Answer 15

Fast mål for en bestemt population (som en matematisk forventning)

(Angrist & Pischke, 2015)

Question 16

Sample statistics / stikprøvestatistik

Answer 16

Tal, der varierer afhængigt af den udtrukne stikprøve fra populationen - eks. gennemsnitlig effekt (modsat parameter)

Altså statistiske størrelser målt på stikprøven frem for populationen, så de vil afhænge af den pågældende stikprøve

(Angrist & Pischke, 2015)

Question 17

Estimator

Answer 17

En funktion af stikprøvedata, der skal estimere et parameter

(Angrist & Pischke, 2015)

Question 18

Unbiased estimator

Answer 18

En estimator, hvis forventning svarer til det parameter, den skal måle.

Det betyder ikke, at enhver stikprøves gennemsnit svarer til populationens, men at afvigelser i forskellige stikprøver ikke er systematiske den ene retning, men udligner hinanden, hvis man tager nok af dem.

(Angrist & Pischke, 2015)

Question 19

Forskellen i gruppegennemsnit =

Answer 19

Forskel i gennemsnit mellem stikprøver = Gennemsnitlig kausaleffekt + selektionsbias

(Angrist & Pischke, 2015)

Question 20

Hvorfor fjerner eksperimentiel random assignment / randomized trials selektionsbias?

Answer 20

Det sker, fordi de betingede forventninger for tilfældige grupper fra samme population er ens

(Angrist & Pischke, 2015)

Question 21

De to primære antagelser til potentielle outcomes

(Gerber og Green, 2011)

Answer 21

Et potential outcome afhænger af:
* Excludability: udelukkende af treatment (ikke af andre dele af eksperimentet)
* Forurening: Subjektets egen treatment (ikke treatment givet til andre)

Derudover fra Gerber og Green:
Random assignment: Tildeling af treatment er uafhængig af potentielle outcomes
Random sample: Den valgte stikprøve (kommune, landsby, osv) havde samme ssh for at blive valgt som alle andre

Question 22

Hvordan sikrer man random assignment?

Answer 22

Man bør sikre, at de tildelende folk ikke har mulighed for at påvirke tildelingen.
Eksperimenter undgår selektionsproblemer ved fremgangsmåden i random assignment, ikke ved argumenter for sammenligneligheden af potentielle outcomes.
(Gerber og Green, 2011)

Question 23

Hvordan sker forurening?

Answer 23

Man ved, de andre får treatment
Treatment kan overføres
Treatment mindsker andres ressourcer
(Gerber og Green, 2011)

Question 24

Hvordan undgår man forurening?

Answer 24

Man kan sprede enheder geografisk eller tidsmæssigt for at undgå det eller måle forureningen for at se effekterne
(Gerber og Green, 2011)

Question 25

Excludability

Answer 25

Kun treatment er relevant for forskellen mellem kontrol og treatmentgruppe (Gerber og Green, 2011)

Question 26

Antagelse om fravær af forurening / non-inteference

Answer 26

Man påvirkes kun af ens egen treatment, ikke andre subjekters. (Gerber og Green, 2011)

Question 27

Random sample

Answer 27

Den valgte stikprøve (kommune, landsby, osv) havde samme ssh for at blive valgt som alle andre (Gerber og Green, 2011)

Question 28

Scalability-problemet

Answer 28

Hvis mindre forsøg faktisk opskaleres, mindskes treatmenteffekterne markant i større skala. Al-Ubaydli, List & Suskind (2017)

Question 29

Hvad handler Al-Ubaydli, List & Suskind (2017) om?

Answer 29

Pointe: Eksperimenter viser ofte effekter, der ikke kan lykkes på stort plan. Scalability-problemet De gennemgår tre komponenter af problemet: * Statistisk inferens og opskalering * Populationsrepræsentativitet og opskalering * Repræsentivitet af situationen og opskalering

Question 30

Hvad er problemet med statistisk inferens og opskalering? Det er en måde, hvorpå scalability-problemet kommer til udtryk. Al-Ubaydli, List & Suskind (2017)

Answer 30

*Post-study probability:* (Maniadis et al, 2014) Sandsynligheden for, at en konklusion fra en undersøgelse faktisk er sand. Flere forskere, der undersøger samme forhold → mindre PSP Større konkurrence → Naive forskere laver større inferentielle fejl i at fortolke et statistisk signifikant fund Selv efter en forskningsproklamation kan PSP være ret lav: Naive forskere kan lave store fejl, hvis de baserer vigtige beslutninger på deres inferens. Falske positiver er vigtige (de kan fx føre til spild af ressourcer på tiltag, der reelt ikke virker) PSP stiger meget, hvis det første positive fund gentages bare to gange. *Cherrypicking* Skruppelløse forskere kan udvælge resultater for at sikre signifikans. *Publication bias* Redaktører favoriserer studier med signifikante resultater. *Løsninger* Replikation af studier Best practices hos journaler: Garanti for replikationsstudier og insignifikante resultater, registrering af undersøgelser, før de gennemføres.

Question 31

Hvordan kommer scalabilty-problemet til udtryk ved problemet med populationsrepræsentativitet og opskalering? Al-Ubaydli, List & Suskind (2017)

Answer 31

Muligvis har alle eksperimentielle studier en iboende bias mod kausaleffekter, der svinder under skalering. Advers heterogenitet: Deltagernes attributter gør dem systematisk mere sandsynlige til at vise en stærkere sammenhæng end befolkningen generelt. Årsager: * Selvselektion, hvis man gerne vil deltage i en undersøgelse * Forskere finder nogen, der vil vise største effekt * Eksperimentielle studier foretages ofte i miljøer med unaturligt høj compliance

Question 32

Hvad er problemet med Repræsentivitet af situationen og opskalering? Det er en del af scalability-problemet Al-Ubaydli, List & Suskind (2017)

Answer 32

Eksperimenter ledes af forskere, der har encitament til at følge deres protokol. Ved opskalering kan forskeren ikke længere styre det, så protokollen følges mindre. Større omkostninger ved at komme højere op i forsyningskæden: Man skal hyre dyrere folk, når noget skal udrulles på større skala. Større succes med programmer: * Når de har mere fat i fællesskaber og samfundet * Hvis den oprindelige undersøgelse viser en underliggende mekanisme bag kausalmekanismen → mere trofasthed mod oprindeligt program