ITS og syntetisk kontrol Flashcards
Hvad er fordelen ved at have datasæt med mange tidsperioder/datapunkter?
Med mere tid og flere datapunkter kan vi bedre se på udviklingen før treatment og vurdere, om den adskiller sig fra udviklingen efter treatment
Hvad er et Interrupted time series (ITS)?
Et design, hvor vi har mange datapunkter på de samme enheder/den samme gruppe over tid, og estimerer kausale effekter ved at se på ændringer i observationernes trends på tidspunktet ved treatment
Intuitionen i ITS: man bruger udviklingen før treatment til at have et estimat for den kontrafaktiske situation efter treatment
Husk: Forstå det lidt som et DiD - bare med de samme enheder.
Hvad er den kontrafaktiske situation i et ITS-design?
Det er treatmentgruppens egen udvikling inden treatment indtræffer. Det er vores bedste bud, da vi ikke har en kontrolgruppe.
Hvad er den primære identificerende antagelse i et ITS?
Parallelle trends (med sig selv): treatmentgruppen ville have fulgt samme trend efter treatment, som de gjorde inden treatment, såfremt de ikke var blevet treated
Hvad er de største trusler mod ITS som design?
1: Tidsvariante faktorer/historie:
- Altså andre ting end vores treatment, der ændrer sig i tidsperioden, og som kan påvirke vores Y.
2: Instrumentering/instrumentation:
- En overlagt eller tilfældig ændring i dokumentation, der kan få performance/effekter til at se anderledes ud end tidligere.
3: Selektion:
- Hvis det ikke er de samme personer i præ- og posttreatment. Dvs at kompositionen af ens observationer ændrer sig systematisk ved tidspunktet omkring treatment.
Hvordan kan man tjekke, om der er tidsvariante faktorer, man skal være bekymret for?
Kan man reelt ikke, men:
- Brug kvalitativ viden
- Del din trend op i mindre bidder og se på små tendenser
- Test på placebo-outcomes: test om der sker ændringer ved tidspunktet på andre outcomes, der ikke burde.
- Kig på tidsseriedata fra sammenlignelig kontrolgruppe
Hvad er forskellen mellem et simpelt før/efter-design og ITS?
I et ITS-design har du mange flere målinger over tid - så er det nemmere at se på trends og se på den trend, om der sker en effekt ved treatment.
Overordnet: Jo mere data, jo bedre
Hvad er syntetisk kontrol?
En metode der minder meget om DiD, men hvor man ikke har en naturlig god kontrolgruppe –> man konstruerer derfor sin egen syntetiske kontrolgruppe
Bruges typisk på det komparative område
Hvad udgør den syntetiske kontrolgruppe?
Et vægtet gennemsnit af en række enheder fra ens donor-pulje (fx forskellige lande, kommuner). Det vægtede gennemsnit laves ud fra værdier på pre-treatment variable, der kan forudsige vores Y.
Hvorfor kan man være nødsaget til at lave en syntetisk kontrolgruppe frem for en “rigtig” kontrolgruppe?
Udfordring → få enheder: Fx lande/stater/kommuner - der er en ret begrænset mængde enheder, så vi skal være lidt kreative, når vi skal finde nogen gode at sammenligne med: her er syntetisk kontrol smart.
Hvordan minder syntetisk kontrol om matching? Og hvordan minder det ikke?
Det minder om matching, fordi vi forsøger at lave en kontrolgruppe, der ligner: Vi laver bare ikke ét godt match, men matcher med en vægtning af forskellige enheder.
I matching smider man ofte en del enheder væk, fordi man ikke kan finde et godt match → det er netop det vi ikke har råd til i syntetisk kontrol. Vi har i forvejen få enheder og svært ved at finde matches.
Hvilke ting konstruerer man sin syntetiske kontrolgruppe på baggrund af?
Vi konstruerer en syntetiske-kontrolgruppe, der ligner treatmentgruppen på en række pre-treatment variable, der forklarer variationen i Y.
Vi skal få pre-trenden i outcomes til at ligne hinanden så godt som muligt, og det gør vi ved at matche dem på de parametre/pre-treatment variable, der er afgørende for Y.
Hvad er hovedantagelsen i syntetisk kontrol?
Common trends: At udviklingen i treatmentgruppen havde været ens med udviklingen i den syntetiske kontrolgruppe, såfremt de ikke var blevet treatet.
Hvordan validerer man sin antagelse om common trends i syntetisk kontrol?
Det er sværere, fordi du jo har designet grupperne til at have ens udvikling før treatment → så du kan ikke bruge pre-treatment trends til noget.
MEN: Antagelsen er stadig lige så vigtig som i et DiD fx.
Måder at validere:
Placebo-test: Se på udviklingen for de to grupper på andre outcome-variable, der minder om vores Y, men som ikke burde være påvirket af treatment. Hvis de to grupper udvikler sig ens der, styrker det vores antagelse.
Hvordan laver man inferens i syntetisk kontrol?
Problem:
Vi har ingen p-værdier og meget få enheder.
Så vi får i princippet bare to linjer ud - og hvordan vurderer man så, om det er en statistisk signifikant effekt?
Løsning: Placebo-treatments
Minder lidt om metoden i randomiserings-inferens
De laver syntetiske kontrolgrupper til alle de andre lande i donorpuljen (som vi ved ikke bliver treated og hvor der derfor ikke burde være en effekt) - og så kigger vi på udviklingen i de lande, sammenlignet med deres syntetiske kontrolgrupper. SÅ vi laver samme procedure for ALLE andre lande i donorpulje.
Så kan de se hvor meget udviklingen i den rigtige treatmentgruppe ser ud i forhold til alle de andre udviklinger for landene i donorpuljen. Så kan vi se om udviklingen her er speciel/ekstrem.
