Simple Linear Regression

Question 1

Hvorfor (og hvordan) undersøger man overall model fit?

Answer 1

Fordi man sjældent finder en perfekt lineær sammenhæng, ser man i stedet hvor godt modellen passer - ved at kigge på fejlene i forudsigelserne - kaldet residuals.

Question 2

Hvad kaldes forskellen mellem den observerede værdi og den værdi, modellen forudsiger?

Answer 2

Residual (fejl).

Question 3

Hvad viser residuals?

Answer 3

Hvor meget data afviger fra den perfekte (forudsagte) linje.

Question 4

Hvad er ‘Least Squares Fit’?

Answer 4

Den bedst passende linje, der minimerer summen af kvadrerede afvigelser (residuals).

Question 5

Hvad står SSr for i regression?

Answer 5

Residual Sum of Squares.

Question 6

Hvad repræsenterer SSr?

Answer 6

Summen af forskellene mellem de observerede værdier og modellens forudsigelser.

Question 7

Hvad står SSt for?

Answer 7

Total Sum of Squares.

Question 8

Hvad repræsenterer SSt?

Answer 8

Summen af forskellene mellem de observerede værdier og gennemsnittet.

Question 9

Hvad står SSm for?

Answer 9

Model Sum of Squares.

Question 10

Hvad viser SSm?

Answer 10

Forskellen mellem modellens forudsigelser og gennemsnittets. Er derfor et udtryk for, hvor meget bedre regressionsmodellen er til at forudsige ift. hvis man blot brugte gennemsnittet som model.

Question 11

Hvad angiver R² (forklaringsgraden)?

Answer 11

Hvor stor en andel af variationen i den afhængige variabel, der kan forklares af modellen.

Question 12

Hvad betyder R² = 0,65?

Answer 12

At modellen forklarer 65 % af variationen i data.

Question 13

Hvad bruges F-testen i lineær regression til?

Answer 13

At vurdere, om hele regressionsmodellen er signifikant bedre til at forklare variationen i data end en model uden prædiktorer (fx gennemsnittet).

Question 14

Hvordan beregnes F-testen?

Answer 14

Ved at man kigger på forholdet mellem forbedringen fra modellen SSm og den resterende fejl SSr.

Question 15

Hvad er ‘Mean Squares’ i regression?

Answer 15

Gennemsnitlig varians beregnet for at sammenligne SSm og SSr.

Question 16

Hvordan beregnes MSm (Mean Square for Model)?

Answer 16

MSm = SSM / 1.

Question 17

Hvordan beregnes MSr (Mean Square for Residuals)?

Answer 17

MSr = SSR / N-2.

Question 18

Hvordan beregnes F-værdien?

Answer 18

F = MSm / MSr.

Question 19

Hvad indikerer en høj F-værdi?

Answer 19

At den systematiske varians er stor i forhold til den usystematiske varians - modellen forklarer derfor noget, der er statistisk signifikant.

Question 20

Hvordan vurderes signifikans af F-værdien?

Answer 20

Ved at sammenligne den med en kritisk F-værdi i F-distributionen baseret på de relevante frihedsgrader (N-2).

Question 21

Hvad er de nødvendige antagelser for simpel lineær regression?

Answer 21

1) Lineært forhold
2) To kontinuere variable
3) Normalfordeling af fejl
4) Uafhængige observationer af fejl
5) Homoskedasticitet

Homoskedasticitet betyder, at variansen af residualerne er ensartet på tværs af alle værdier af prædiktoren.

Question 22

Hvad er de to overordnede trin i analysen af simpel lineær regression?

Answer 22

1) Vurdering af overall model fit (R^2 og F)

2) Vurdering af de individuelle prædiktorer (b og t-statisik)

R^2 angiver, hvor godt modellen passer til dataene, mens F-testen vurderer, om modellen som helhed er signifikant.

Question 23

Hvilke konkrete steps skal man følge for at udføre en simpel lineær regression?

Answer 23

1) Indsæt data og tilpas regressionslinje
2) Find overall fit via R^2 og f-ratio
3) Test signifikans for f-ratio
4) Find signifikans af individuel predictor (b)
5) Fortolk resultater i henhold til nulhypotesen
6) Rapportér i APA-format
7) Brug modellen til forudsigelser

APA-format refererer til American Psychological Association’s stilguide for rapportering af forskning.

Question 24

Hvad tester man med en t-statistik i simpel lineær regression?

Answer 24

Signifikansen af de individuelle prædiktorer. Altså om b1 er signifikant anderledes fra 0.

Nulhypotesen er, at b = 0, hvilket betyder, at der ikke er nogen sammenhæng mellem prædiktor og udfald.

Question 25

Hvad betyder det, hvis p-værdien er <.05 i t-statisk i simple linær regression?

Answer 25

b er signifikant forskellig fra 0, hvilket indikerer, at prædiktoren har en signifikant effekt på outcome variablen ## Footnote Dette betyder, at der er en statistisk signifikant sammenhæng mellem prædiktoren og udfaldsvariablen.

Question 26

Hvad er frihedsgraderne for t-distributionen, hvis der kun er én prædiktor?

Answer 26

N - 2 ## Footnote N refererer til antallet af observationer i datasættet.

Question 27

Hvad er korrelation?

Answer 27

Et symmetrisk mål, der beskriver sammenhængen mellem to variable - uden at skelne mellem prædiktor- og udfaldsvariabel. ## Footnote Korrelation beskriver blot styrken og retningen af en sammenhæng mellem to variabler.

Question 28

Hvad beskriver korrelation?

Answer 28

Styrken og retningen af en sammenhæng mellem to variabler. ## Footnote Korrelation skelner ikke mellem hvilke variabler der er prædiktorer eller udfald.

Question 29

Hvordan adskiller regression sig fra korrelation?

Answer 29

Regression er et mål, hvor der skelnes mellem prædiktor (uafhængig variabel) og udfaldsvariabel (afhængig variabel) - dette ses ikke i korrelation. ## Footnote Regression antager en retning i forhold til variablerne.

Question 30

Hvad antager regression?

Answer 30

Regression antager retning – værdien af udfaldsvariablen forudsiges ud fra værdien af prædiktorvariablen. ## Footnote Dette indebærer en forudsigelse baseret på uafhængige og afhængige variabler.

Question 31

Kan man antage årsagssammenhæng ved regression?

Answer 31

Nej, medmindre der er eksperimentel manipulation eller kontrol, kan man ikke drage nogen kausal sammenhæng. ## Footnote Dette betyder, at uden eksperimentel kontrol kan man ikke konkludere, at en variabel forårsager ændringer i en anden.

Question 32

Hvad er nulhypotesen ved t-statisk i linær regression?

Answer 32

Nulhypotesen er, at b = 0, hvilket betyder, at der ikke er nogen sammenhæng mellem prædiktor og udfald. Hvis p< .05 så er b signifkant anderledes.

Question 33

Hvad rapporteres typisk ved lineær regression?

Answer 33

Altid rapporter hvad der blev observeret, før man går videre til signifikans: 1. b-koefficientens værdi. 2. t værdi (frihedsgrader) 3. Signifikans 4. Varians (R^2) 5. Model fit (F-statistik og signifikans)