Uge 13 - Means test (independent t-test og Mann-Whitney U-test)

Question 1

Hvad undersøger en means test?

Answer 1

Om forskellen i gennemsnit mellem grupper er større end det, vi ville forvente ved tilfældigheder alene

Question 2

Hvad er forskere ofte interesserede i at undersøge, når de sammenligner to grupper? (relateret til means test)

Answer 2

Hvordan to grupper adskiller sig på en kontinuert udfaldsvariabel (eng: outcome variable).

Question 3

Hvad er udfaldsvariablen (også kaldet den afhængige variabel)?

Answer 3

Det udfald, man er interesseret i at analysere

Question 4

Hvad er udfaldsvariablen i dette eksempel?:

Man vil undersøge, hvordan to grupper adskiller sig.
H₀ (nulhypotese): Der er ingen forskel i de gennemsnitlige depressionsniveauer for behandling A og B

Answer 4

Depressionsniveauer

Question 5

Hvad er centralt for t-testen?

Answer 5

Variation

Question 6

Nævn de to former for variation, man tester i en t-test

Answer 6

Systemtisk og usystematisk variation

Question 7

Hvorfor er variation vigtigt for t-testen?

Answer 7

Fordi målet med t-testen er at afgøre, hvor stor forskellen mellem gennemsnittene er, og derefter vurdere, hvor stor en del af denne variation, der er systematisk

Question 8

Hvad vil man forvente, hvis man indsamler data fra to samples, der kommer fra den samme population?

Answer 8

Et nogenlunde ens gennemsnit

Question 9

Hvad sammenligner man i en t-test?

Answer 9

Man sammenligner den observerede forskel med den forskel, vi ville få, hvis der ingen effekt var (altså hvis nulhypotesen er sand)

Question 10

Hvad tjekker t-testen for?

Answer 10

T-testen tjekker, om den observerede forskel (mellem gennemsnittene) er stor nok til, man ikke tror, den skyldes tilfældigheder.

Altså: man tjekker, om forskellen er større end den normale støj man ville forvente, hvis der ikke var nogen effekt

Question 11

Hvad er den independent variable og dependent variable i en t-test?

Answer 11

Independent: den variabel, der manipuleres
Dependent: den, du måler effekten på.

Eksempel: Du vil undersøge, om der er forskel i depressionsniveau mellem to behandlingsgrupper.

• Independent variabel: Behandlingstype (A vs. B)
• Dependent variabel: Depressionsscore

Question 12

Hvilke to typer af eksperimentelt design er der?

Answer 12

1. Independent/between-group
2. Repeated/paired/within group

Question 13

Hvad er independent design?

Answer 13

Forskellige deltagere fordeles til forskellige eksperimentelle grupper og oplever kun én betingelse

Question 14

Hvad er dependent (within-subjects/repeated measures) design?

Answer 14

De samme deltagere udsættes for alle eksperimentelle betingelser (eng: conditions). Hver deltager sammenlignes med sig selv

Question 15

Hvad er stikprøvegennemsnit (eng: sample mean)?

Answer 15

Gennemsnittet af alle datapunkter i en stikprøve

Question 16

Hvad er standardafvigelse?

Answer 16

Standardiseret gennemsnitlig afvigelse af værdier fra stikprøvegennemsnittet

Question 17

Hvad betyder en høj standardafvigelse?

Answer 17

Jo mere spredning (dvs. jo højere standardafvigelse), desto mindre sikker er vi på, at forskellen i gennemsnit er reel.

Standardafvigelsen kan betragtes som baggrundsstøj

Question 18

Hvad er modeltilpasning (eng: model fit)?

Answer 18

Hvor godt en statistisk model passer til de data, man har. Det er et mål for, hvor præcist modellen forklarer variationen i den afhængige variabel.

Question 19

Hvordan påvirker en lavere standardafvigelse vores t-værdi?

Answer 19

Jo lavere standardafvigelse -> jo større t -> større sandsynlighed for signifikant resultat

Question 20

Hvad er sample distribution/stikprøvefordeling?

Answer 20

Hvordan et statistisk mål (f.eks. gennemsnit) vil variere, hvis man gentager en sample mange gange.

Question 21

Hvad er populationsgennemsnit (eng: population mean)?

Answer 21

Det gennemsnit, man får ved at tage gennemsnittet af alle samples i en population

Question 22

Hvad viser Standard Error (SE)?

Answer 22

Det viser, hvor meget gennemsnit fra stikprøver kan variere, hvis vi gentager forsøget mange gange.

Question 23

Hvad viser en lille standard error (SE)?

Answer 23

Jo mindre SE, jo mere præcis er vores sample mean

Question 24

Når vores sample mean ligger tæt på populationsgennemsnittet, hvad bliver standard error så?

Answer 24

Når sample mean ligger tæt på populationsgennemsnittet, så siger vi, at modellen passer godt (er en god repræsentation af populationsgennemsnittet), og dermed bliver SE lav

Question 25

Hvad er populationsgennemsnitsforskel?

Answer 25

Det er den sande forskel i gennemsnit/middelværdi for hele populationen, som vi prøver at estimere med vores data.

Question 26

Hvad er standard error for forskelle (SED)?

Answer 26

SED viser, hvor meget den observerede forskel mellem to gruppers gennemsnit kan forventes at variere, hvis man gentager forsøget med nye samples.

Question 27

Hvornår bruger man en independent t-test?

Answer 27

Når man vil teste, om to forskellige grupper har forskellige gennemsnit

Question 28

Hvilke tre forudsætninger (eng: assumptions) gælder for alle typer t-tests?

Answer 28

1. Outcome (dependent variable) skal være kontinuert 2. Independent variable skal være kategorisk og binær 3. Data for dependent variable skal være normalfordelt

Question 29

Hvilke to forudsætninger (eng: assumptions) gælder (udover de tre) specifikt for independent t-tests?

Answer 29

4. Grupperne skal være gensidigt udelukkende (eng: mutually exclusive): en deltager må kun tilhøre én gruppe 5. Grupperne skal have homogen varians (eng: homogeneity of variance): altså nogenlunde samme spredning omkring gennemsnittet i begge grupper

Question 30

Hvad gør man med t-testen, hvis ens data er skewed, men ens sample er over 30?

Answer 30

Så kan vi - takket være Central Limit Theorem - stadig bruge t-testen

Question 31

Hvis man har under 30 samples, og ens data er skewed, hvad gør man så?

Answer 31

Bruger en ikke-parametrisk test (Mann-Whitney) i stedet for

Question 32

Hvis ens dependent variable er ordinal (rangordnet), hvad gør man så?

Answer 32

Brug en af nedenstående ikke-parametriske test i stedet: 1. Ved dependent t-test, brug i stedet Wilcoxon signed-rank test 2. Ved independent t-test, brug i stedet Mann-Whitney-test 3. Hvis både afhængig og uafhængig variabel er kategorisk: Chi-square test for independence

Question 33

Hvornår bruger du en independent t-test?

Answer 33

Når du vil sammenligne gennemsnittet mellem to uafhængige grupper (fx behandling A vs. B) og din afhængige variabel er kontinuert og normalfordelt.

Question 34

Hvilken forudsætning gælder for alle t-tests?

Answer 34

Den afhængige variabel skal være kontinuert, data skal være nogenlunde normalfordelte, og der skal være en binær (to-delt) gruppeinddeling, hvis man sammenligner grupper

Question 35

Hvis man sammenligner to independent grupper (fx kaffe vs te) og ser, om deres gennemsnit er forskellige nok til, at det ikke bare skyldes tilfældigheder, hvilken test skal man så bruge?

Answer 35

Independent t-test

Question 36

Hvad er det nederste (i nævneren) i formlen for en independent også formlen for?

Answer 36

Standard Error of the Difference (SED), som er selve standardfejlen for forskellen mellem de to gennemsnit.

Question 37

Hvilke tre ting skal du bruge for at kunne beregne t-værdien?

Answer 37

1. Antal deltagere (n₁ og n₂) 2. Gennemsnit (gennemsnit₁ og gennemsnit₂) 3. Standardafvigelse (S₁ og S₂)

Question 38

Nævn de 5 forudsætninger (eng: assumptions) for en independent t-test

Answer 38

1. Udfaldsvariablen (outcome) skal være kontinuert 2. Gruppevariablen skal være kategorisk og binær (altså bestå af præcis 2 kategorier) 3. Stikprøvefordelingen af gennemsnittene skal være normalfordelt 4. Grupperne skal være gensidigt udelukkende og uafhængige (hver deltager må kun være med i én af grupperne) 5. Grupperne skal have homogen varians (altså nogenlunde samme spredning af scores omkring gennemsnittet i hver gruppe - kan ses illustrativt ved, at alle grupper har ens ‘’bredde’’)

Question 39

Hvad betyder homogen varians?

Answer 39

Det betyder ‘’bare’’, at grupperne, man sammenligner, skal have nogenlunde samme spredning i deres data. T-test og ANOVA kræver dette

Question 40

Hvad kaldes det, hvis man har forskellig spredning i de to grupper?

Answer 40

Heterogen varians

Question 41

Hvordan vurderer vi homogeneity of variance?

Answer 41

Med en Levenes test. P > 0,05 → variansen kan antages at være ens (homoskedasticitet), hvilket betyder, at grupperne har nogenlunde ens spredning. P < 0,05 → variansen er forskellig (heteroskedasticitet) → brug Welch’s t-test i stedet.

Question 42

Hvad er de 5 steps i en independent t-test?

Answer 42

1. Visualisér dine data med et søjlediagram 2. Beregn t-værdien 3. Test, om t-værdien er signifikant 4. Beregn en effektstørrelse 5. Fortolk og rapportér dine resultater

Question 43

Hvad er formlen for df for independent t-test?

Answer 43

df = N - 2 (N = antal deltagere)

Question 44

Hvis vi ikke har den præcise df-værdi i tabellen, hvilket tal tager vi så?

Answer 44

Nærmeste mindre tal

Question 45

Hvad gør vi, efter vi har fundet ud af, om vores resultat er signifikant?

Answer 45

Beregner en effect size

Question 46

Cohen’s d formel for en independent t-test bruger kun standardafvigelse fra én gruppe. Hvilken s fra de to grupper er mest korrekt at vælge?

Answer 46

Kontrolgruppen

Question 47

Nævn de tre værdier i Cohen's rule of thumb for, hvordan man fortolker størrelsen på en effektstørrelse

Answer 47

d ≥ 0.20 = Lille effekt d ≥ 0.50 = Moderat effekt d ≥ 0.80 = Stor effekt

Question 48

Betyder statistisk signifikans altid, at en effekt er vigtig eller har praktisk betydning

Answer 48

Nej. En effekt kan godt være statistisk signifikant, men samtidig være så lille, at den ikke har nogen praktisk betydning i virkeligheden. Omvendt kan en vigtig og stor effekt nogle gange ikke være statistisk signifikant, f.eks. hvis datasættet er meget lille

Question 49

Hvilke ting skal indgå i rapporteringen?

Answer 49

- Hvilken type t-test du har brugt - t-værdien - Degrees of freedom (df) - Signifikansniveauet (helst den eksakte p-værdi - denne må aldrig være .000, så hvis SPSS viser p = .000, rapporteres det som p < .001) - Gennemsnit, standardafvigelse (SD) eller standard error (SE) for hver gruppe - Effect size - eks. Cohen’s d - Man kan også tilføje bootstrappede konfidensintervaller (BCa 95% CI)

Question 50

Hvornår bruger man Mann-Whitney U-test?

Answer 50

Når du ikke kan bruge en t-test, fordi data ikke er normalfordelte eller ordinale

Question 51

Hvad konverteres Mann-Whitney U-testens resultat til i SPSS?

Answer 51

z-værdi

Question 52

Hvad bruges z-værdien til?

Answer 52

Til at vurdere, hvor usandsynligt et resultat er, hvis nulhypotesen er sand – altså om en forskel eller sammenhæng kan forklares ved tilfældigheder.

Question 53

Hvad er de fire steps i en Mann-Whitney U-test?

Answer 53

1. Calculate the U statistic 2. Test for the significance of U (based on z distribution) 3. Calculate an effect size 4. Interpret and report your findings

Question 54

I en Mann-Whitney U-test bliver alle deltagernes data rangordnet. Hvad betyder en lav rangsum?

Answer 54

Lavere rangsum = lavere scores (Det fortæller dig retningen af effekten)

Question 55

Hvorfor er det relevant at kigge på medianer i en Mann-Whitney?

Answer 55

Mann-Whitney U-test sammenligner fordelinger og rangordning af værdier mellem to grupper, ikke gennemsnit. Derfor giver det mere mening at sammenligne medianer (midterværdier) end middelværdier (gennemsnit), især hvis dataene er skævt fordelt eller har outliers.

Question 56

Når man beregner effektstørrelsen for en Mann-Whitney, hvilke ting skal så med?

Answer 56

- U = U-værdien fra SPSS - n_1 = antal deltagere i gruppe 1 - n_2 = antal deltagere i gruppe 2

Question 57

Hvordan vurderes effektstørrelsen?

Answer 57

d ≥ 0.1 = Lille effekt d ≥ 0.3 = Moderat effekt d ≥ 0.5 = Stor effekt (samme som Pearson’s r)

Question 58

Hvilke ting skal rapporteres i en Mann-Whitney?

Answer 58

Typen af test, U-værdien, Z-værdien, medianerne for begge betingelser og signifikansniveauet. Det er også god praksis at angive en passende effektstørrelse (r₍rb₎)

Question 59

Forklar forskellen mellem en independent (between-subjects) t-test og en Mann-Whitney U-test. Hvornår bør hver test anvendes?

Answer 59

Begge tests bruges til independent designs, hvor der er forskellige deltagere i hver gruppe (de bliver kun udsat for én betingelse). En independent t-test er en parametrisk test, og den kan derfor kun bruges med normalt fordelt og kontinuerlige data. Mann-Whitney U-testen er det ikke-parametriske alternativ og kræver ikke normalfordeling. Den kan derfor bruges ved små stikprøver (<30) med kontinuerlige data, som ikke er normalt fordelt, eller med data målt på et ordinalt niveau. Hvor t-testen måler forskellen mellem middelværdierne i to grupper, sammenligner Mann-Whitney U-testen rangordningen af deltagernes værdier i de to grupper.

Question 60

Hvad kan du konkludere om forskellen mellem to grupper i din population, hvis en t-test er signifikant ved p < 0,05 i dit stikprøvedata?

Answer 60

At der er mindre end 5 % sandsynlighed for, at den observerede forskel mellem gruppernes gennemsnit skyldes tilfældigheder. Vi kan derfor forkaste nulhypotesen om, at der ikke er nogen forskel mellem grupperne – med 95 % sikkerhed for, at vi træffer den rigtige beslutning (dvs. at vi ikke begår en type I-fejl).

Question 61

En klinisk psykolog bemærker, at flere af hendes patienter fortæller, at når de sover bedre, virker deres angstniveau til at falde. For at undersøge, om der generelt er en tendens til, at personer med søvnproblemer rapporterer højere angstniveauer, sammenligner hun angstscorer for ti patienter med søvnproblemer og ti patienter uden søvnproblemer, ved hjælp af et kontinuert mål (højere score = mere angst). Hun tjekker forudsætningerne for normalfordeling og ens varians, og finder, at begge er opfyldt. Identificér den uafhængige og den afhængige variabel i dette studie (og deres måleniveauer).

Answer 61

Den afhængige variabel er angstscore (målt som en kontinuerlig variabel). Den uafhængige variabel er søvnproblem (ja eller nej). Der er kun to kategorier, så det er en binær kategorisk variabel. HUSK - Den afhængige variabel i en t-test altid er det kontinuerte resultat, vi ønsker at måle. - Den uafhængige variabel i en t-test er altid den kategoriske variabel, der opdeler vores to grupper.