Matching

Question 1

Hvad er matching? og hvordan adskiller den sig fra f.eks. RCT?

Answer 1

Matching beskriver konstruktionen af en kontrolgruppe der ligner indsatsgruppen på en eller flere nøglevariabler

Matching adskiller sig fra RCT ved at anvender observationsdata og man har ikke en kontrolgruppe som man kan spejle treatmentgruppen med - derfor må man danne en kontrolgruppe

Stuart, (2010):
enhver metode, der har til formål at sætte lighedstegn mellem (eller “afbalancere”) fordelingen af kovariater i de behandlede grupper og kontrolgrupperne. Dette kan involvere 1:1 matchning, vægtning eller underklassificering.

Matching: Eksempel

Question 2

Antagelser i matching

Answer 2

Stuart 2010

**Betinget uafhængighed **
* (Den vigtigste)
* Vi matcher på alle confounders. = efter matching på et sæt af observerede variabler, er indsatstildelingen uafhængig af potentielle outcomes.
* Opnår samme situation som når vi trækker lod i kontrol og treatment gruppe (tilfældig tildeling) –> meget hård antagelse - svært ved at leve op til. Ofte brud.

Stabil enhedsbehandlingsværdi (SUTVA) : resultaterne af et individ ikke påvirkes af behandlingstildeling af andre individer.
* Med andre ord ingen forurenng/ non interference
(Stuart, 2010)

Common support: Matching, uanset hvordan vi gør det, forudsætter, at der er passende kontrolobservationer at matche med. Hvis det ikke er tilfældet, mangler vi common support.

Balance: antagelsen om, at vores matching tilgang fjerner forskelle mellem treatment og kontrolenheder.

Question 3

Trin til implementering af matchningsmetoder

Answer 3

1. Definition af “nærhed”: afstandsmålet, der bruges til at afgøre, om en person er et godt match for en anden.
* Hvilke variable der skal inkluderes og matches ud fra
* Hvordan skal man matche og hvor tæt et match skal det være (eksakt, Mahalanobis, Propensity score, Linear propensity score)

2. Implementering af en matchningsmetode under hensyntagen til denne måling af nærhed.
* Nærmeste nabo matcher: matcher kontrolpersoner med den behandlede gruppe og kasserer kontroller, der ikke er valgt som matches. I sin enkleste form vælger 1:1 nærmeste nabo-matchning for hvert behandlet individ i kontrolindividet med den mindste afstand fra individet i.

3. Vurdering af kvaliteten af de resulterende matchede pakker, og evt. gentagelse med trin 1 og 2, indtil der opnås velmatchede prøver.

4. Analyse af resultatet og estimering af behandlingseffekten givet den matchning, der blev udført i trin 3.

Question 4

Hvilke tilgange er der af matching?

Answer 4

Eksakt matching: Vi matcher observationer, der har nøjagtigt de samme karakteristika på en eller flere nøglevariabler
* Eksempel 56 år og arbejdsløs i kontrol gruppe og treatmentgruppe

Afstandsmatching: Vi matcher observationer, der har lignende karakteristika. Vi ønsker at minimere afstanden mellem treatment og kontrolobservationer på en eller flere nøglevariabler.
* Eksempel: en på 53 og en på 56 år - så lille forskel

Propensity score matching (PSM):
Matching på sansynlighed for treatment.
matching med lignende fordelinger af kovariaterne, uden at kræve tætte eller nøjagtige matches på alle de enkelte variabler - opsummerer alle kovariaterne i én skala.
Sandsynligheden udregnes ved regression på flere baggrundsvariable

Question 5

Hvad er propensity score matching?

Answer 5

Propensity score opsummerer alle kovariaterne i én skalar: sandsynligheden for at blive behandlet.

**Der er to vigtige egenskaber ved propensity score **
Ved hver værdi af propensity scoren er fordelingen af kovariaterne X, der definerer propensity scoren, den samme i de behandlede grupper og kontrolgrupperne.
* Gruppering af individer med lignende tilbøjelighedsscore replikerer således et mini-randomiseret eksperiment, i det mindste med hensyn til de observerede kovariater.

For det andet, hvis behandlingstildeling er uvidende givet kovariaterne, så er behandlingstildeling også ignorerbar i betragtning af tilbøjelighedsscoren.
–> Dette berettiger matchning baseret på tilbøjelighedsscoren snarere end på det fulde multivariate sæt af kovariater.
–> Når behandlingstildeling er ignorerbar, er forskellen i gennemsnit i resultatet mellem behandlede og kontrolpersoner med en bestemt propensity score værdi et skøn over behandlingseffekten ved den propensity score værdi.

Question 6

Hvordan kan man udvælge kontrolgruppen?

i matching

Answer 6

Udvælgelsen af kontrolmatches: Vi vælger kontrolobservationer til enten at være i eller uden for kontrolgruppen. Hvis du er et godt nok match, er du med. Hvis du ikke er det, er du ude.

Brug af vægte: I stedet for blot at være inde eller ude, vil hver enhed i kontrolgruppen have en vægt afhængig af, hvor tæt den er på en observation i indsatsgruppen, eller hvor meget den bidrager til at få kontrolgruppen til at ligne indsatsgruppen.

Question 7

Hvordan kan man udvælge antallet af kontrolmatches?

Answer 7

en-til-en-matching: du vælger det enkelte bedste kontrolmatch for hver observation i indsatsgruppen
* Hvis vi har 300 observationer i treatment så finder vi 300 der ligner dem til at lave kontrol

k-nærmeste-nabo-matching: Med k-nærmeste-nabo-matching vælger du den bedste kontrolmatch… og også den næstbedste og den tredjebedste… indtil du kommer til k-matches.
* Hvis vi har 300 treatment, skal vi have 3000 kontrol

Radius matching: du bestemmer, hvad der er et acceptabelt match, og matcher derefter alle de acceptable matches.
* Bestemmer en bestemt værdi - og vælger alle der er gode nok i en gruppe

Question 8

Hovedudfordringen for matching

Answer 8

Vi kan sjældent måle alle relevante 3. variable, hvilket gør ofte gør det vanskeligt at estimere kausale effekter med matching

Selvselektion: propensity score matching fejler tit fordi observationer i indsatsgruppen melder sig frivilligt ind i programmet baseret på faktorer der enten ikke kan observeres eller typisk er svært at måle

Question 9

Fordel ved matching

Answer 9

fordelen er at matching er en udregning man kan gøre efter treatment er blevet tildelt

Question 10

Eksempel på et studie der brugte matching

Answer 10

Hjemløsestrategien, som omhandlede at afprøvede bostøttemetoder også økonomisk set er fordelagtige, ved at vurdere om udgifterne opvejes af de samfundsøkonomiske gevinster

Peikes et al., 2008: Forsøg ved State Partnership initiative, der skulle fremme beskæftigelse blandt handicappede. De fandt, at deres matching-resultat var ret anderledes end fra RCT - selvom det var ideelle forhold til matching. Det skyldes selvselektion ud fra variable, der ikke var matchet på (= brud på antagelsen om betinget uafhængighed)

Question 11

Hvad viste hjemløsestrategien? og stoler vi på resultaterne?

Answer 11

Fund:
* De finder at der er en positiv effekt på de hjemløse efter et år
* De finder ikke at det er omkostningsneutralt efter 1 år - men forventer at det vil være det efter 2 år.
* Samfundet (mest kommunen) har større omkostninger ved ICM end de gevinster der er ved tiltaget efter 1 år.

**Udfordringer: **
* Kontrolgruppen og treatment gruppen blev ikke målt i samme år - kontrol 2007/2008 - treatment 2010-2011
* selektion: dem der vælger ikke at tage imod tilbuddet ikke har “overskudet” til at tage imod
* analysegruppe: kun 97 - ikke særlig mange - har de nok til at finde pålidelige matches - det løser ikke power problem med propensity score matching

Konklusion: problematisk

Question 12

Hvad handler Peikes et al 2008 om?

Answer 12

State Partnership initiative (Peikes et al 2008)
Et stort forsøg fra Social Security Administration (SSA) på at fremme beskæftigelse blandt handicappede modtagere. De meldte sig frivilligt til at deltage.

Ideel kontekst til at bruge PSM til at estimere effekter:
Stor pulje af mulige kontrolindivider at vælge fra: Mere end 250 variabler, der opsummerer demografi, handicaptype, beskæftigelseshistorie osv.
RCT i nogle områder til at benchmarke imod

Vi kan bruge den til at se, om deres fordeling har fungeret godt.

Resultater:
Succesfuld matching
Individerne i “Selected” (vores matchede kontrolgruppe) ligner “Participants” (treatment-gruppen)
Men Resultater af PSM og RCT er vidt forskellige!
Hvorfor? PSM fejlede, fordi personer meldte sig frivilligt til at deltage i programmet baseret på faktorer, der enten ikke kan observeres eller typisk ikke er indsamlet i administrative data (fx motivation).
= Brud på antagelsen om betinget uafhængighed

Question 13

To situationer, hvor man bruger matching

Answer 13

Fra Stuart 2010

1. Man har endnu ikke resultatværdierne og bruger matching til at vælge enheder til opfølgning
2. Man har resultateffekten, men bruger matching til at minimere bias i effektestimationen

Question 14

Idéen med matching

Answer 14

Stuart, 2010

Man kan få observationsdata til at ligne den tilfældige tildeling af treatment ved et felteksperiment ved at skabe lige fordeling af baggrundsvariable i de to grupper.

Question 15

De to situationer, hvor matching er brugbar

Answer 15

Stuart, 2010

1: Resultatværdierne er endnu ikke tilgængelige, og man bruger matching til at finde ud af, hvilke enheder, man skal følge

2: Resultatværdierne er tilgængelige, og man bruger matching til at skabe en kontrol- og treatmentgruppe for at minimere bias i effektestimatet.

Question 16

Matching sml. multipel lineær regression

Answer 16

Matching er dermed tæt beslægtet med multipel lineær regression. Begge metoder bygger på justering for observerbare 3. variable

Forskellen ligger i, hvornår justeringen finder sted. Lineær regression = i forbindelse med analysen, matching = inden analysen

Fordelen herved er, at vi kan lave balancetabeller, der gør eventuelle forskelle på tredjevariable mere tydelige end ved lineær regression. Men derudover deler metoderne mange af de samme udfordringer.