L5 Forskel i gennemsnit

Question 1

Hvad er forskellen på ‘forskel i gennemsnit’ og dikotom afhængig/LSM/logit?

Answer 1

LOL

Uafhængig=dikotom (forskel i gns)
Afhængig=dikotom (LSM/logit)

Question 2

Hvad betyder det, når konfidensinterval krydser hinanden i CI plot?

Answer 2

INGENTING!

Der er ikke noget substantielt i at observere, at konfidensintervallerne krydser hinanden. Her har man jo lagt usikkerhed til begge punktestimater og ikke kun forskellen. Vigtigt!!

Question 3

Hvad er en type l fejl?

Answer 3

Afvisning af nulhypotesen selvom den er sand (falsk positiv)

Sandsynligheden for en Type-I-fejl er signifikansniveauet

Question 4

Hvad er en type ll fejl?

Answer 4

Undladelse af forkastning ag nylhypotesen, selvom den er falsk (falsk negativ)

Sandsynligheden for at undgå type-II-fejl er testens power. (desto større n, desto højere power)

Question 5

Hvad er forskellen på type l og type ll fejl?

Answer 5

Den ene er falsk positiv og den anden er falsk negativ. (kind of omvendte). Der er trade-off mellem de to.

Question 6

Hvilke antagelser gælder ved sammenligning af to gruppers gennemsnit?

Answer 6

Stor stikprøve, N > 30
Simpel tilfældig udvalgt stikprøve (i.d.d)

Hvis vi vil udtale os om kausal inferens: fravær af selektionsbias

Question 7

Hvorfor bruger vi ‘unequal’ -kommandoen?

Answer 7

“Robuste standardfejl”. Tillader at variansen er forskellig for de to grupper, hvilket vi ofte vil forvente.

Question 8

Hvorfor bruger vi ‘reverse’-kommandoen?

Answer 8

Vi får den ønsket retning på de to gennemsnit ift. subtraktion

Question 9

Forklar hvad en to-sidet hypotesetest er

Answer 9

Man opstiller en nulhypotese og tester denne ved et givent signifikansniveau. Hvis ikke denne er signifikant, kan vi forkaste nulhypotesen og istedet acceptere alternativhypotesen = gennemsnittet/forskellen er forskellig fra 0.

Question 10

Hvordan præsenterer vi konfidensintervaller i stata?

Answer 10

CI-plot

Question 11

Hvordan bør man forholde sig til en forskel mellem to gennemsnit, der ikke er signifikant? - altså ved accept af nulhypotesen

Answer 11

Det er et udtryk for tilfældigheder at vi ser en forskel.

MEN insignifikans er ikke altid lig med at der ikke er en effekt –> måske mangler vi power

Question 12

Hvorfor er substantiel signifikans vigtigt?

Answer 12

Fordi noget er statistisk signifikant er det ikke nødvendigvis substantielt signifikant! (vi skal ikke bare p-hacke)

Question 13

Hvad er forskellen på substantiel signifikans og statistisk signifikans?

Answer 13

Statistisk signifikans: p-værdi, hypotesetest

Substantiel signifikans: relativ vurdering af effektstørrelse

Question 14

Hvilke redskaber bruger man til at vurdere den substantielle signifikans?

Answer 14

Eksterne kilder:

• Hvad har man undersøgt i litteraturen tidligere
• Hvad ved vi om udsving i den afhængige variabel
• cost/effectiveness

Interne kilder:

• Hvor stor en del af skalaen for den afhængige variabel udgør effekten
• Hvor mange standardafvigelser udgør effekten (Cohens D= forskel/SD)
• Relative effekt, procentuelle stigning
• Typisk ændring? Interkvartil? Mere robuste bud på ændring?
• hvad svarer en typisk ændring i x til i effekt? x+SD hvad er effekten? Beta1*SD.

Question 15

Hvordan analyserer man forskellen mellem to gruppers gennemsnit?

Answer 15

Hypotese test (ttest). Dikotom uafhængig.

Question 16

Hvilken relevans har analyse af to gruppers gennemsnit for kausal inferens og for balancetests?

Answer 16

Ift. kausal inferens: er en forskel mellem to grupper signifikant (kan vi sige noget kausalt om populationen).

Ift. balancetest: er der signifikant forskel mellem kontrol- og treatmentgruppen på forskellige bagvedliggende parametre (er randomisering virket efter hensigten?).

Question 17

Hvis alt andet end stikprøvestørrelsen holdes lige, hvad sker der så med p-værdien, når stikprøvestørrelsen vokser?

Answer 17

Ved en mindre stikprøve vil t-værdien også være lavere og det vil føre til at p-værdien falder - fordi stikprøvemålsfordelingen bliver smallere (fordi standardfejlen afhænger af n). Fordi standardfejlen står i nævneren for t-værdien, vil t-værdien alt andet blive mindre, når n vokser. Variansen bliver mindre.

P-værdien bliver mere præcis ved et større n

Question 18

Tegn og forklar hvor et punktestimat vil ligge på stikprøvemålsfordeling, hvis p-værdien er hhv. over eller under 0,05 (givet H0 er sand)

Answer 18

På den ene eller anden side af halen ved 0,025.

Question 19

Hvorfor er interkvartilafstanden en glimrende måde at lave substantiel fortolkning?

Answer 19

En typisk afvigelse, der er upåvirket af outliers

Question 20

Hvad gør du, n<30 i grupperne?

Answer 20

Du kan lave en bi-test, hvor binomialfordelingen benyttes i stedet for t-fordeling.