Using Statistics to Test Hypotheses/Significance

Question 1

Hvad er Central Limit Theorem (CLT) og hvad muliggør dette?

Answer 1

Det er et statistisk princip, der fortæller os, at hvis vi har en stor nok sample (>30), så vil vi kunne antage at samplingfordelingen har en normalfordeling, selv hvis en sample fra den population ikke har det.

Question 2

Kan CLT bruges hvis man arbejder med kategoriske eller ordinale data?

Answer 2

Nej, CLT kræver at data er numeriske (interval eller ratio) og bruges kun i tests, der baserer sig på gennemsnit og varians. Hvis man arbejder med kategoriske eller ordinale data, bør man vælge non-parametriske tests i stedet.

Question 3

Hvilke to typer fejl kan man begå ved hypotesetestning? Beskriv dem kort.

Answer 3

Type 1 fejl, som er når vi fejlagtigt tror der er en effekt, hvor der ikke er nogen i virkeligheden og type 2 fejl, som er når vi tror, der ikke er nogen effekt, hvor der i virkeligheden er en.

Question 4

Hvor stor er sandsynligheden for at lave en type 1 fejl, hvis man bruger et signifikansniveau på 0.05?

Answer 4

5%.

Question 5

Hvad er familywise error rate?

Answer 5

Familywise error rate beskriver sandsynligheden for at begå mindst én type 1-fejl, når man laver flere statistiske tests på samme datasæt.

Question 6

Hvorfor udfører man ikke bare parvise t-tests, når man ønsker at sammenligne 3+ grupper (som med ANOVA)?

Answer 6

Fordi parvise t-tests øger risikoen for type 1-fejl (familywise error rate).

Question 7

Hvad gør man i stedet for at bruge parvise t-tests, når man ønsker at mindske risikoen for familywise error rate i ANOVA tests?

Answer 7

Man bruger ofte korrektioner som Bonferroni, når man sammenligner grupper i post-hoc tests.

Question 8

Statistisk power er sandsynligheden for, at en test finder en effekt, hvis der faktisk er en i populationen (altså: at man ikke begår en type 2-fejl). Hvilke tre faktorer påvirker denne power?

Answer 8

1. Effektstørrelse
2. Signifikansniveau
3. Stikprøvestørrelse

Question 9

Fortæller signifikans os noget om vigtigheden eller størrelsen af resultatet?

Answer 9

Nej - dette er en af problemerne ved nulhypotese testning.

Question 10

Hvad er en effektstørrelse?

Answer 10

Det er et mål for, hvor stor en effekt eller forskel mellem grupper er i en statistisk analyse.

Question 11

Hvilke to primære typer af effektstørrelser findes der, og hvilken foretrækkes af forskere?

Answer 11

1) Rå effektstørrelse (udtrykt i originale måleenheder)
2) Standardiserede effektstørrelser (foretrækkes af forskere, idet disse kan sammenlignes på tværs af studier - fordi de udtrykkes i standardafvigelser)

Question 12

Hvad er tre af de mest brugte effektstørrelser?

Answer 12

Cohen’s d, Pearson’s r og Odds Ratio.

Question 13

Hvad bruges Cohen’s d til?

Answer 13

Til at fortælle os, hvor stor forskellen er mellem to grupper (uanset måleenhed).

Question 14

Hvad er cut-offs for hvornår noget er en hhv. lille, medium eller stor effekt jf. Cohen’s d?

Answer 14

d = 0.2 (lille)
d = 0.5 (medium)
d = 0.8 (stor)

Question 15

Nævn de tests hvor man bruger Cohen’s d som effektstørrelse.

Answer 15

Independent t-test og dependent t-test.

Question 16

Hvad bruges Pearson’s r til?

Answer 16

Til at måle styrken+retningen af et forhold mellem to kontinuerte variable, eller mellem én kontinuer variabel og en kategorisk variabel, der indebærer to kategorier.

Question 17

Hvilke værdier kan Pearson’s r ligge mellem, og hvad er cut-offs ift. om det er en lille, medium eller stor effekt?

Answer 17

Pearson’s r kan variere fra -1 (negativt forhold) gennem 0 (intet forhold) til +1 (positivt forhold).
r = 0.10 (lille)
r = 0.30 (medium)
r = 0.50 (stor)

Question 18

Hvornår bruger man Pearson’s r som effektstørrelse?

Answer 18

Bruges i sig selv når man foretager Pearson’s korrelation, såvel som Spearman Correlation.

Question 19

Hvad bruges Odds Ratio til?

Answer 19

At sammenligne oddsene for et udfald i én gruppe med oddsene i en anden gruppe.

Question 20

Hvornår bruger man Odds Ratio som effektstørrelse?

Answer 20

Når man har kategoriske data (fx ved en Chi-square test)

Question 21

Hvad er cut-offs for hvornår noget er en hhv. lille, medium eller stor effekt ift. Odds Ratio?

Answer 21

OR = 1.49 (lille)
OR = 3.45 (medium)
OR = 9.0 (stor)

Question 22

Hvilken effektstørrelse rapporterer man ved Mann-Whitney U og Wilcoxon Signed-rank test?

Answer 22

Rrb

Question 23

Hvilken effektstørrelse rapporterer man ved Chi-square test, hvis tabellen er større end 2x2?

Answer 23

Cramer’s V

Question 24

Hvilken effektstørrelse rapporterer man ved lineær regression?

Answer 24

R^2 / Adjusted R^2

Question 25

Hvilken effektstørrelse rapporterer man ved ANOVA?

Answer 25

(Partial) Eta squared (n^2) / Omega squared (w^2).

Question 26

Hvilke cut-offs ses ved R^2 ift. lille, medium og stor effekt?

Answer 26

R^2 = .02 (lille) R^2 = .15 (medium) R^2 = .35 (stor)

Question 27

Hvilke cut-offs ses ved (partial) Eta squared (n^2) / Omega squared (w^2) ift. lille, medium og stor effekt?

Answer 27

.01 (lille) .06 (medium) .14 (stor)

Question 28

Hvad er Standard Error (SE)?

Answer 28

SE er standardafvigelsen i en sampling distribution. Den viser, hvor meget et stikprøvegennemsnit typisk afviger fra det sande populationsgennemsnit. Jo mindre SE, jo mere præcis stikprøven.

Question 29

Hvad betyder sampling variation?

Answer 29

Det er den naturlige variation, der opstår, når man tager flere stikprøver fra samme population – deres gennemsnit vil sjældent være identiske.

Question 30

Hvad er en sampling distribution?

Answer 30

En teoretisk fordeling af stikprøvegennemsnit, man ville få, hvis man gentog sin stikprøve mange gange. SE er standardafvigelsen af denne.

Question 31

Hvad er et konfidensinterval (CI)?

Answer 31

Et interval omkring en stikprøveværdi, der med fx 95 % sandsynlighed indeholder den sande populationsværdi.

Question 32

hvad er forskellen på direktionel og nondirektionel hypotese?

Answer 32

Direktionel: forudser retning på effekten (fx "mere → bedre"). Nondirektionel: forudser blot en forskel, men ikke retningen.

Question 33

Hvad er forskellen på en one-tailed og two-tailed test?

Answer 33

One-tailed tester effekt i én retning. Two-tailed tester begge retninger. Two-tailed er standard, da det fanger effekter i begge retninger.

Question 34

Hvad står MSE for, og hvad måler det?

Answer 34

Mean Squared Error – et mål for hvor godt en model passer til data. Lav MSE = god model fit.

Question 35

Hvad er forskellen på standard deviation og standard error?

Answer 35

SD viser variation i én sample. SE viser variation mellem stikprøvegennemsnit i en hel sampling distribution.

Question 36

Hvornår er det problematisk at bruge en one-tailed test?

Answer 36

Når effekten viser sig i den modsatte retning – så vil man slet ikke opdage den. Det kan føre til fejlagtige konklusioner.