9. Evaluering af COVID-19 indsatser Flashcards
(14 cards)
Hvad er programteori?
Programteori er en tydeliggørelse af en interventions effekter på et udfald, samt hvilke medierende variable, interventionen forventes af virke igennem (Funnel & Rodgers, 2011)
Hvorfor er programteori vigtigt?
Programteor forklarer, hvorfor vi forventer at et program vil virke + hvad der skal gøre sig gældende, hvis programmet skal virke. På denne måde kan man skelne mellem implementeringsfejl (ikke korrekt udført) og teorifejl (korrekt udført men virker ikke)
Programteori benyttes især ved nulfund, da den kan hjælpe en med at blive klogere på årsagen til at der er/ikke er en effekt = er det implementeringen eller teorien, og i så fald hvor?
Pba. programteori, hvilke tre årsager er der til ikke at anbefale en policy?
1) Fordi designet af evalueringen er dårligt / Vi tror ikke at resultaterne er troværdige
2) Fordi vi ikke tror på, at teorien bag policyen er god nok til at inducere en effekt.
3) Fordi der er risiko for implementeringsfejl.
Hvad er “kausalkæden” for programteori?
Input –> processes –> output –> outcome + aktørantagelser mellem processes og output
Hvad er logikken bag syntetisk kontrol metode?
Man kan skabe en kontrafaktisk sammenligning til en politik, der indføres ét sted, ved at lave en vægtet kombination af andre enheders udvikling (Mitze et al. 2020: regioner) før politikken indtræffer (hvilket udgør den syntetiske kontrol). Dermed laver man en klon, som så vidt muligt skal ligne treatmentgruppen inden interventionen
Hvilke data kræves før man kan lave syntetisk kontrol? Og hvilket antal enheder?
Kræver data for treatmentenhed + donor-pool over tid. Her er i modsætning til Dif-in-dif ofte tale om et lille N (én treatmentenhed + syntetisk kontrol), hvor Dif-in-dif har mange enheder i hver sin gruppe
Hvordan konstruerer man et kontrafaktisk scenarie i hhv. dif-in-dif og syntetisk kontrol
Dif-in-dif: Vægtet gennemsnit af kontrolgruppen
Syntetisk kontrol: Vægtet kombination af kontrolenheder der matcher før-intervention
Hvad er den grundlæggende antagelse i syntetisk kontrol kontra dif-in-dif?
Syntetisk kontrol har en grundlæggende antagelse om matchet præ-interventionstrend. Dette giver et troværdigt kontrafaktisk scenarie for, hvordan treatmentenheden ville have udviklet sig i fraværet af treatment.
I Dif-in-dif er den grundlæggende antagelse parallelle trendes, som siger, at treatmentgruppen ville have fulgt kontrolgruppens udvikling, hvis treatmentgruppen ikke var blevet treated
Hvordan undersøger man statistisk inferens ved Dif-in-dif og syntetisk kontrol?
Dif-in-dif: I DiD laver man en signifikanstest af om treatmentgruppens udvikling er signifikant forskellig fra kontrolgruppens efter interventionen
Syntetisk kontrol: I syntetisk kontrol laver man ikke signfikanstest. I stedet laver man placebo-tests, permutationstests, visuel inspektion osv.
Hvornår er det brugbart med syntetisk kontrol?
1) Når en politik gennemføres et sted og ikke andre (N=1): Det er normalt svært at bruge statistiske metoder grundet lavt N, men her har man med syntetisk kontrol et muligt værktøj.
2) Når man formår at lave en ensartet syntetisk kontrol
3) Når der ikke indføres andre politikker samtidig med ens treatment, som kunne forårsage treatment-effekten. F.eks. hvis de sammenlignelige byer, der ophævede forsamlingsforbuddet samtidig med, at en by indførte mundbind, hvorved det ville være svært at vide, om effekten kunne tilskrives mundbind eller det, at byen generelt set havde en mere forsigtig tilgang (Mitze et al. 2020)
Hvad er forskningspørgsmål, metode og resultater i Mitze et al. 2020?
Forskningsspørgsmål: Mitze et al. (2020) studerer effekten af mundbind, som blev indført i Jena, men ikke andre byer, de sammenligner med i perioden.
Metode: De gør brug af syntetisk kontrol. Op til indførelsen af mundbind i Jena, d. 6. april, er der en ensartet stigning i COVID-19 smitte i Jena og den syntetiske kontrol. Efter indførelsen af mundbind flader smitten ud i Jena, men ikke i den syntetiske kontrol.
+ De anvender robusthedsanalyser for at undersøge resultaternes validitet
Resultater: Det antyder, at indførelsen af mundbind i Jena virkede i forhold til at reducere smitten.
Hvad er forskningspørgsmål, metode og resultater i Bulle et al. 2022?
Forskningsspørgsmål: Bulle et al. (2022) undersøger effekten af at åbne NFL-stadioner i 2020 på COVID-19 smitte
Metode: De anvender en syntetisk kontrol metode til at sammenligne smitte i delstater, der har åbnet stadioner med de, der ikke har åbnet stadioner.
+ De udfører flere robusthedsanalyser for at undersøge validiteten
Resultater: De finder nuleffekter – altså er det sandsynligt, at der ikke er en effekt af at åbne stadioner på COVID-19 smitte.
Hvad er antagelserne for god syntetisk kontrol i Bulle et al. 2022?
1) Distrikter, der er påvirket af treatment (her åbning af stadion) eller af andre event, der ligner treatment, skal udelukkes
2) Distrikter med store eksogene choks eller hvor der er sket noget ”drastisk” under førtreatmentperioden skal udelukkes (minder om antagelsen fra DiD)
3) Donorpoolen skal afgrænses til distrikter, der har lignende karakteristika, som stadiumdistriktet. Bulle et al. Afgrænser til en pulje af distrikter fra samme stat (Texas) for at bevarer konsistens i andre COVID-19 politikker.
4) Antal COVID-tilfælde der dækker en længere periode før treatment (åbning af stadion) er nødvendig for både stadiondistrikt og donordistrikter (minder om parallelle trends antagelsen fra DiD)
Derudover lavede de både “in-space placebo test”, hvor de anvender syntetisk kontrol-metoden på de distrikter (counties), som ikke havde stadionåbninge + Sensitivitetsanalyser hvor de tester hvor følsomme resultaterne er overfor hvilke variable de benytter samt hvilke kontrolsidstikter der indgår i donorpoolen
