At designe eksperimenter

Question 1

Hvorfor betegnes eksperimentet som “guldstandarden” inden for kausal inferens?

Answer 1

Fordi det giver os mulighed for at sammenligne grupper med ens gennemsnitlige potentielle outcomes: så vi kommer meget tæt på at løse det fundamentale problem ved kausal inferens

Question 2

Hvilke 3 krav er der til et eksperiment? (G&G)

Answer 2

1. Randomisering
   - Herunder positivitet og unconfoundness
2. Excludability
3. Non-interference

Question 3

Hvad lægger der i G&G kriterie om randomisering?

Answer 3

​​Positivitet: Sandsynligheden for at få treatment skal være mellem 0 og 1 for hvert individ

Unconfoundness: Treatment skal tildeles uafhængigt af de potentielle outcomes (dvs. tilfældigt)

Question 4

Hvad lægger der i G&G kriterie om excludability?

Answer 4

Effekter på vores Y skal være ekskluderbare til vores treatment

Vores X skal være den eneste faktor, der påvirker Y, og ikke andre mekanismer, der bliver sat i gang ved at man får treatment.

Question 5

Hvad lægger der i G&G kriterie om non-interference?

Answer 5

Enheder i eksperimentet må ikke influere hinanden. Dvs. det at en person får treatment, må ikke gøre sådan at en person fra kontrolgruppen får treatment

–> Enhederne må ikke påvirker hinandens potentielle outcomes.

Question 6

Mundan vs eksperimentel realisme

Answer 6

Mundan: Om situationen eksperimentet foregår i ligner den virkelige situation

Eksperimentel: Virker treatment for dine individer i studiet? Går de op i eksperimentet, og sætter de gang i de mekanismer, som du er interesseret i? Undersøger du rent faktsik de kausaleffekter, som du gerne vil?

Question 7

Hvad er problemet med pre-treatment-effekter i eksperimenter?

Answer 7

Enhederne er ofte allerede treatet til en vis grad inden for visse områder: fx partipolitisk kommunikation
- Derfor viser vores eksperimenter ofte kun den marginale effekt af yderligere treatment.

Vi har sjældent en hel neutral kontrolgruppe på noget område

Question 8

Hvordan kan man forholde sig aktivt til pre-treatment-effekter i sit eksperiment?

Answer 8

Forsøg at mål det empirisk: hvor mange respondenter er pretreated på det her område? Bed dem fx placere forskellige partier på et politisk emne eller spørg dem hvilket parti de tror et udspil kommer fra: så kan du se, hvor meget vælgerne ved på forhånd.

Question 9

Hvad sikrer randomisering i forventningen?

Answer 9

Balance mellem treatment og kontrolgrupper på relevante observerbare og uobserverbare kovariater

Evt. forskelle på Y mellem grupperne bør derfor kunne tilskrives treatment

Question 10

Hvad kan stratificering hjælpe med ved randomisering?

Answer 10

Hjælpe randomiseringen på vej i små stikprøver, hvor LLN har sværere ved at komme igennem.

Question 11

Hvad handler informations ækvivalens om ift. eksperimenter?

Answer 11

Hænger meget sammen med antagelsen om excludability: vi skal være sikre på, at vi studerer den kausale effekt og de mekanismer, som vi har tænkt os.

Question 12

Hvorfor holder antagelsen om informations ækvivalens ofte ikke i praksis?

Answer 12

Når du manipulerer information om et emne i et eksperiment, så vil det ofte også ændre på respondentens holdning til baggrunds-egenskaberne/faktorerne om emnet → derfor brydes antagelsen om IE.

Eksempel: Hvis man i sin manipulation beskriver noget som “et demokrati”, så vil man også påvirke respondentens opfattelse om det lands baggrundskarakteristika: fx om landets geografiske location eller demografiske sammensætning.

Question 13

Hvordan kan man designe sit eksperiment, så man kan opnå informations ækvivalens?

Answer 13

1. Abstrakte incitamenter
   Her beder man respondenterne forholde sig til et scenarie/information i meget abstrakte vendinger, i stedet for at henvise til fx et specifikt land.
   Intentionen er så, at respondenterne ikke i så høj grad trækker på deres baggrundsviden, når de skal danne sig holdninger til scenariet.
2. Kovariat kontrol
   hvis man forestiller sig, at kommunikationen kan føre til associationer hos respondenterne, så skal man kontrollere den viden - dvs. sørge for, at begge grupper har samme information.
3. Embedded natural experiments
   Kommunikationen indeholder en eksplicit påtale af at en udvikling er tilfældig for at undgå associationer.

Question 14

Support factors → ift. generaliserbarhed

Answer 14

Når vi laver et eksperiment, så er der en masse omkringliggende faktorer, der også er med til at få treatment til at virke. Man skal tænke over hvordan konteksten påvirker den treatment, man kommer med. Hvad kan moderere og påvirke størrelsen af min treatment-effekt → og er de kontekster ens i de andre settings vi gerne vil generalisere til?
Fx social tillid - kan være meget forskellig mellem lande.

Det vi finder i Danmark gælder ikke nødvendigvis andre steder