H7 - Evaluering af idrætsklubkuponer Flashcards
Hvad er formålet med Marcus et al. (2022) undersøgelse af idrætskuponer?
Undersøger de kausale effekter af sports klub “voucher” policy-program i den tyske stat Saxony.
Policy-programmet havde til formål at øge fysisk aktivitet i Saxony gennem sport klub “vouchers” og informationskampagner for alle 3. klasser i 2009, 2010 og 2011. Fokus var på børn fra lavindkomst hjem og som derfor ikke ville have råd til det.
Data: registrerbaseret survey (gennem mail) og administrativ data fra skolernes helbredscheck.
Hvad er de overordnede resultater af undersøgelsen (Marcus et al., 2022)?
Til trods for at et højere opmærksomhed og benyttelse, så har den ingen kort eller langsigtede effekter på medlemskabsrater, fysisk aktivitet og overvægt blandt tidligere inaktive elever.
De fandt faktisk at det primært bidrog som en økonomisk gevindst for forældre til eksisterende medlemmer, da disse generhvervede efter programmets afslutning.
Mere specifikt:
Højere opmærksomhed (27 %) for dem der gik i 3. klasse under programmet end i kontrolstater, som dog er faldende over tid = recall bias: at de ikke kan huske treatment eller husker forkert. Nok et resultat af mindre intensiv kampagner senere.
På lang sigt var det ikke muligt at øge deltagelse i sportsklubber samt sænke overvægts raten.
Det var primært børn af rige forældre som startede medlemskabet op igen efter programmets afslutning, og ikke den primære fokusgruppe.
På kort sigt øgede det heller ikke deltagelsen i sportsklubber for børn i forskellige aldre.
Hvilken en evalueringsstandard samt instrument benytter Marcus et al. (2022)?
Evalueringsstandard: Policyeffekter
Instrument: Økonomisk incitament
Hvilke årsager peger Marcus et al. (2022) selv på kunne lægge grund til de manglende resultater?
Supply problemer: Det var IKKE et resultat af at der ikke var nok sportsklubber.
Demand problemer: finansielle omkostninger, indirekte omkostninger og manglende deltagelse af forældrer kan muligvis forklare manglende deltagelse. Folk der genoptog medlemskab var typisk børn af mere uddannet forældre.
Hvilken metode benytter Marcus et al. (2022) sig af?
Quasi-eksperiment (ingen tilfældig udvælgelse på treatment og kontrol), som gør sig brug af Dif-Dif design. = øger intern validitet
Ikke helt klassisk DiD, da de laver DiD med to nabostater, der ikke har kørt det samme eksperiment + tidligere årgang
Vigtige antagelser:
Parrallelle trends: kontrol og treatmentgruppen har samme trends inden treatment.
ingen årgangseffekter (cohorts effects)
Fravær af eksogene chock: fx. vandt Tyskland VM, som ville kunne gøre fodbold mere populært.
fidelitet: hvordan blev det implementeret.
Benytter sig af Robusthedscheck: gennem syntetisk kontrolgruppe metoder og placebo test.
Fordele ved designet i Marcus et al. (2022)?
Der var ikke signifikant forskel på dem der deltog og ikke deltog i survey. Samt at sociodemografiske forskelle mellem deltagere og den generelle population er ens. = øger intern validitet og ekstern validitet.
Parrallele trends antagelsen er opfyldt.
Ulemper ved forsøget i Marcus et al. (2022)?
Randomiseringsbias: Frivilligt at deltage i programmet: dem som deltager dyrker i forvejen sport → selvselektion.
Fielitet: adherence and competence: Implementeringen af tiltaget er ikke efter teorien.
Implementerings udordringer: 22.000 ud af 66.000 benyttede sig af værdikuponerne.
Hvilke implementeringsudfordringer kunne man finde gennem programteori ved Marcus et al. (2022)s studie?:
Praktisk og teknisk uforudset begrænsning:
Kapaciteter hos idrætsforeningerne og transportmuligheder for forældrene.
Politisk spil under implementeringen: Måske har klubberne ikke interesse i denne løsning?
Uenighed og midler trods enighed om mål: Måske har klubberne ikke kapacitet til så mange medlemmer. Stor administrativ byrde.
Lange beslutningskæder: politiker –> idrætsforbundene –> klubberne –> skoler –> lærer –> elever –> forældrer = her kan gå meget galt.
Uforenelige: Trade off mellem at politiker gerne vil implementere, men ikke smide nok penge efter det.
Hvad kan de insignifikante resultater i Marcus et al. (2022) være et resultat af?
Opskaleringsproblematikker, da det er når de tester det på større niveau at det ikke virker.
Hvilke robusthedstest laver Marcus?
A) Alternative specifications: Dette dækker over, at de eksempelvis varierer deres kohorter. Dertil varierer de også treatment og kontrolgrupper, hvor de fx. behandler en af deres kontrolgrupper som treatment ift. en anden (altså brandenburg som treatment og Thyringen som kontrol)
Behandler også spill-over effekter ved at køre estimationen uden alle dem, der har rapporteret de har en søskende der har været med.
B) Får forældrene til at deltage i dere ssurvey for at dobbelttjekke informationerne.
C) Syntetisk kontrol metode: –> De bruger deres to kontrolgrupper og vægter deres observationer til at skabe fake-saksen. –> Støtter resultaterne.
D)
