8. Evaluering af idrætsklubkuponer til børn Flashcards
(14 cards)
Hvad er det metodiske fokus i Dif-in-dif?
1) Sammenligning i udvikling mellem treatment og kontrolgruppe
2) Bruger kontrolgruppens udvikling som et kontrafaktisk scenarie på hvordan treatmentgruppen ville have reageret i fravær af treatment
Hvad er de vigtigste pointer fra undersøgelsen?
1) Eksempel på et veludført Dif-in-dif
2) Umiddelbart ingen effekter af uddeling af idrætskuponer på børns sundhed og sportsaktiviteter
3) Samme tendens som holdtime 1 om sundhedsprogrammer, da det er dem der allerede er sunde/dyrker sport der benytter kuponerne/sundhedsprogrammet
Beskriv kort hvad indsatsen om idrætskuponer til børn gik ud på, og hvor den kan placeres i typologien over policy instrumenter?
Formålet med indsatsen: Få flere elever i den tyske delstat Sachsen til at blive medlemmer af en idrætsklub = Fremme sundhed blandt børn. Dette gjorde de ved at uddele medlemskuponer for idrætsklubber.
Policy instrument: økonomiske incitamenter og information
Hvad er definitionen af dif-in-dif-designs?
Definition: DiD er en kvasi-eksperimentel metode, der bruges til at estimere effekten af en intervention ved at sammenligne ændringer i resultater over tid mellem to grupper.
DiD er baseret på observationelt data = Kan være et godt værktøj til at undersøge effekten af en given policy, når eksperimenter ikke er en mulighed. Her bruger man paneldata til at se på udviklingen over tid.
Særligt nyttigt design, hvis man har ændringer i regler/tiltag som gælder for nogle enheder, men ikke andre
Hvad er logikken i DiD?
Der er lidt “tre trin”:
1) To grupper: En treatmentgruppe, der modtager interventionen, og en kontrolgruppe, der ikke gør.
2) To perioder: Før og efter interventionen.
3) Sammenligning: Ændringen i resultatet for treatmentgruppen sammenlignes med ændringen i resultatet for kontrolgruppen.
Forklaret ved potential outcome logik: Treatmentgruppen ville have fulgt kontrolgruppens udvikling, hvis treatmentgruppen ikke havde modtaget treatment (Antagelsen om parallelle trends) = Med andre ord en antagelse om at de to grupper har ens potential outcomes, hvis de har samme udvikling inden treatment.
Hvad er de tre grundlæggende antagelser i DiD?
1) Antagelsen om parallelle trends
2) Antagelse om fraværet af forurening
3) Antagelse om fælles chok
Forklar antagelsen om parallelle trends
Antagelsen om parallelle trends: Treatmentgruppen ville have fulgt kontrolgruppens udvikling, hvis treatmentgruppen ikke havde modtaget treatment
Hvordan testes antagelsen:
- Visuel vurdering
- Substantiel vurdering (med udgangspunkt i effektstørrelser og resultater)
- Test af om der er signifikant forskel mellem grupperne
Forklar antagelsen om fravær af foruerning
Denne antagelse indebærer, at der ikke er nogen “forurening” eller påvirkning fra treatmentgruppen til kontrolgruppen.
Forklar antagelsen om fælles chok
Denne antagelse betyder, at både treatmentgruppen og kontrolgruppen oplever de samme eksterne chok eller påvirkninger.
Et eksempel: Finanskrisen
Hvis begge grupper oplever samme udfordringer med finanskrisen = ikke et problem
MEN hvis man forventer at finanskrisen påvirker de to grupper forskelligt = problem
Hvad er logikken i det design Marcus et al. er baseret på og de der datakilder anvendes
Data: Stor online-spørgeskemaindsamling baseret på registerdata indsamlet i 2018 (YOLO - Youth Leisure Online Survey).
Sendt 155.527 unge i Sachsen, Brandenburg og Thüringen samt deres forældre – responsrate: 12,7 %.
Fleste variable balanceret med populationen samt balance ml. kontrol og treatment
Treatment inkluderer en sportsklubsmedlemskabskupon, som eleverne i tredje klasse i Sachsen har fået uddelt i 2008/09, 2009/10 og 2010/11. Tre årgange har dermed modtaget kuponerne.
Design: Difference-in-difference. Resultaterne i evalueringen bygger på en DiD model, som sammenligner forskellen mellem pre-treatment og treatment årgang (første difference) og forskellen mellem indsatsdelstat Sachsen og kontroldelstaterne Brandenburg og Thüringen.
Hvordan tester Marcus et al. om antagelserne bag DiD-designet er opfyldt?
Antagelsen om parallelle trends: De laver en visuel vurdering og vurdere ligeledes om der er recall-bias
Antagelsen om fravær af forurening: Fjerner bestemte observationer. DOG kunne man have tjekket, ved at se på om forandringen ved grænserne mellem treatment-stater og kontrol-stater minder mere om hinanden, end den gør inde midt i staterne.
Antagelse om fælles chock: Undersøges ikke. Problematisk med finanskrisen
Særligt om dette studie: årgangseffekter = I modsætning til den klassiske DiD-metode observerer vi ikke de samme observationer før og efter, men to forskellige årgange inden for samme delstat. For at sikre, at der ikke er forskelle mellem årgangene, tilføjer forfatterne årgangsspecifikke dummies i en yderligere model.
Hvad viser resultaterne i Marcus et al, og kan disse findes troværdige?
Overordnet er der ikke en effekt. Dog er der heterogene effekter, hvor der er forskellige effekter af indsatsen på tværs af forskellige grupper elever. Vigtigt her er, at elever med stærk socioøkonomisk baggrund mere tilbøjelig til at anvende kuponerne
Flere huskede, modtog og bruge kuponerne fra første årgang
Hvorfor er der forskel mellem et felteksperiment og større forsøg/evaluering med fx. idrætskuponer?
1) Randomisering. Dem der deltager i felteksperimentet kontra alle børn i Sachsen
( se også Jones, Molitor & Reif om sundhedsprogrammer, hvor de sundeste ligeledes selektere sig ind)
OBS: Trade off mellem intern og ekstern validitet
2) Udfordringer med opskalering og implementering. Trade off mellem at få størst mulig virkning vs. Andre hensyn som økonomi + Mange forskellige aktører: Politikere, idrætsklubber, skoler, lærere osv.
Hvilke opskalerings-problemer kan en undersøgelse have? (Mortensen og Serritzlew, 2012)
1) Praktiske og tekniske krav: Et hvert komplekst projekt vil opleve uforudsete praktiske og tekniske problemer
2) Politisk spil under implementeringen: Aktører som ikke har indflydelse på selve politikformuleringen, kan sagtens have indflydelse på implementeringen. Det betyder, at det politiske spil forsætter under implementeringen = langsom opløsning af enighed.
3) Uenighed om midler trods enighed om mål: Valget af konkrete midler i et projekt har næsten altid konsekvenser for aktører, som dermed forsøger at præge valget af dem eller forhindre brugen af dem
4) Lange kæder af beslutningspunkter: Selv relativt få beslutningspunkter vil øge sandsynligheden for at noget går galt.
5) Uforenelige krav: Det politiske system skal ofte tage hensyn til mange forskellige interesser. Konsekvensen af at ville tage hensyn til alle forholdene på en gang kan være, at det bliver umuligt at gennemføre ordentligt.
