Inferens i teori og praksis

Question 1

Hvad handler statistisk inferens om?

Answer 1

Det handler om, hvor sikre vi kan vide os på de estimater vi får ud af fx regressioner: har vi ramt rigtigt?

Question 2

Hvorfor kan der være fejl i vores estimationer selv ved randomiserede eksperimenter?

Answer 2

Der vil altid være risiko for tilfældige fejl - fx at man tilfældigt kommer til at tildele treatment til nogle bestemte personer.

Det afhænger af randomiseringen err lykkedes (om stikprøvestørrelsen har været stor nok)

Question 3

Tre typiske estimations-problemer

Answer 3

1. At stikprøven ikke er repræsentativ for populationen
2. At randomiseringen ikke lykkes
3. Naturlig fordeling i populationsdata

Question 4

Tre krav til vores estimatorer

Answer 4

1. Unbiased
2. Konsistent
3. Efficiens/præcision (varians)

Question 5

Hvad vil det sige, at en estimator er unbiased?

Answer 5

Grundlæggende: Gennemsnitligt for vi ret - hvis man gør noget nok gange (fx trækker en stikprøve eller randomiserer), så rammer man rigtigt, selvom der er fejl på tværs af enkelte stikprøver eller randomiseringer. Det vil udligne hinanden gennemsnitligt.

Question 6

Hvad vil det sige, at en estimator er konsistent?

Answer 6

Forskellen mellem dit estimat og den sande værdi, skal nærme sig 0, når dine observationer går mod uendelig. Dvs. jo flere observationer, jo tættere kommer man på den sande effekt.

Question 7

Hvad vil det sige, at en estimator er efficient/præcis?

Answer 7

Efficiens: Hvor langt væk er mit estimat fra den rigtige værdi i en given sammenhæng (fx en given sample eller randomisering)?

Vi vil have efficiensen til at være så høj som muligt, sådan at vore estimat er tæt på den rigtige værdi. Det måler vi ved at kigge på variansen af estimatoren: standardfejlen.

Question 8

Hvad er bias/varians trade-off’et?

Answer 8

Man kan estimere på mange måder, og der er et trade-off mellem bias og varians alt efter hvad man vælger.

Question 9

Hvad påvirker variansen i et estimat?

Answer 9

Variansen i vores estimat siger noget om, hvor tæt vores estimater er på den rigtige værd (altså præcisionen af estimaterne)

Variansen i estimatet er defineret af to ting:

• Variansen i grupperne ift. outcome: jo mindre variation (mere homogene grupper) → jo mere præcision
• Antallet af observationer: jo flere observationer → jo mindre varians → jo mere præcision

Question 10

Hvad er signifikansniveau?

Answer 10

Signifikansniveau: Sandsynligheden for at undgå type 1 fejl = signifikansniveauet.

Dvs. hvis vores signifikansniveau er er 0,05, så er sandsynligheden for at lave en type 1 fejl 5%. Dvs. vi tager fejl i 5% af tilfældene.

Question 11

P-værdi

Answer 11

P-værdi: Sandsynligheden for at observere noget mere ekstremt end det vi har observeret, hvis vores nulhypotese var sand.

Hvor sandsynligt er det at se vores estimat (fx 2.5), hvis der egentlig ikke var nogen effekt?

Question 12

Konfidensinterval

Answer 12

Et interval der 95% af gangene vi trækker en random sample vil indeholde vores koefficient.

Hvis konfidensintervallet overlapper med 0, så vil P-værdien være insignifikant. Så de to ting hænger sammen.

Bredden af estimatet afhænger af mange ting, det vil blive smallere ved en stor stikprøve → så jo større stikprøve jo mere præcist et interval kan vi få.

Question 13

Standardfejl

Answer 13

Standardfejl= Standardafvigelsen af stikprøvefordelingen for estimatoren → dvs. variansen af vores estimator

Standardfejlen er ikke standardfejlen for estimatet (effekten), men for selve estimatoren (måden vi gør det på).

Question 14

Standardfejlen i OLS-estimatoren

Answer 14

Standardfejlen i OLS-estimatoren er kvadratroden af variansen i estimatoren.

Den her estimator antager homoskeda (at variansen i kontrol- og treatmentgruppen er den samme - at variansen er uafhængig af X). Dvs. at de to gruppers residualer udligner hinanden.

Question 15

Hvorfor kan det forbedre ens estimater at inkludere kontrolvariable?

Answer 15

Det reducerer variansen i ens estimat, når man inddrager en kovariat, der er urelateret til X men som påvirker Y.

Det er godt at tage dem med, da det mindsker variansen i gruppernes residualer ift. Y, så det reducerer variansen (og standardfejlen), hvilket øger efficiensen af estimaterne.

Question 16

Hvornår skal man bruge robuste standardfejl?

Answer 16

Når man ikke kan antage homoskeda (at variansen i kontrol- og treatmentgruppen er den samme - at variansen er uafhængig af X)

Question 17

Exact inferens

Answer 17

En type inferens, der bygger på stærke antagelser omkring distributionen af vores koefficient/estimat → fx antager normalfordeling

Question 18

Asymtopisk inferens

Answer 18

En type inferens, der bygger på CLT (central limit theorem) → når N går mod uendelig, så bliver distributionen af vores koefficient/estimat være normalfordelt omkring den sande værdi.

Dvs. denne tilgang kræver et stort N.
Men den kræver til gengæld ingen strenge antagelser om fordelingen af variable (som exact inferens).

Den type vi har anvendt i metode-undervisningen.

Question 19

Randomiserings inferens

Answer 19

En type inferens, der bygger på antagelser omkring tildelingen af treatment.

Kan kun bruges i eksperimenter eller naturlige eksperimenter.

I stedet for at bruge antagelser om sample størrelse (N mod uendelig som i asymptotisk) eller variabel-distributioner (som i exact), så prøver den at estimere præcist hvordan distributionen ser ud i det konkrete tilfælde.