U8 Simpel lineær regression

Question 1

Grundlæggende om Lineær Regression

Answer 1

Formål: At estimere sammenhængen mellem en afhængig variabel (Y) og en eller flere uafhængige variable (X)

β 0: Skæringspunkt med y-aksen (forventet Y når X=0)

β 1: Hældningskoefficient (forventet ændring i Y når X stiger med en)

Question 1

Estimation (Ordinary Least Squares - OLS)

Answer 1

Mindste kvadraters metode: Minimering af summen af kvadrerede residualer (SSR).

Nøglebegreber:
Kovarians: Måler samvariation mellem
X og Y.

Varians i X: Påvirker hældningens størrelse.

RMSE (Root Mean Squared Error): Gennemsnitlig afvigelse fra regressionslinjen (standardafvigelse for residualer).

Question 2

R² (Forklaringsgrad):

Answer 2

Andel af variation i Y forklaret af
X (0 til 1).

Lav R² betyder ikke nødvendigvis en dårlig model – fokus er ofte på
β1
RMSE: Konkret mål for forudsigelsesfejl (f.eks. “Gennemsnitlig fejl på 2.28 skalapoint”). Altså Gennemsnitlig forudsigelsesfejl.

R² kan ikke bruges alene til at udlede kausal inferens!

Question 3

Selektionsbias:

Answer 3

Forskel mellem treatment og kontrol gruppe i fravær af treatment

Hvis X ikke er tilfældigt tildelt, kan
β1 indeholde bias (f.eks. pga. tredjevariable som indkomst).

Question 4

Linearitetsantagelse:

Answer 4

Sammenhængen mellem
X og Y skal være lineær (testes med scatterplots/lowess-kurver).

Question 5

Outliers

Answer 5

Ekstreme observationer kan påvirke resultaterne (vurder om de skal ekskluderes).

Question 6

Reskalering:

Answer 6

Justering af variable for bedre fortolkning (f.eks. standardafvigelser).

Question 7

Fortolkning af lineær regression

Answer 7

β1 =0.17: En stigning på 1 i X giver en stigning på 0.17 i Y.
Brug standardafvigelser eller percentiler for mere meningsfulde effektstørrelser.

Question 8

Hældningskoefficient (β1)

Answer 8

Ændring i Y pr. enhedsændring i X.

Question 9

Skæringspunkt (β0 ) (konstanten)

Answer 9

Forventet Y når X=0.

Question 10

Fejlled (ui)

Answer 10

Forskellen mellem observeret og forudsagt Y.

Question 11

Sum of Squared Residuals (SSR)

Answer 11

Summen af kvadrerede afvigelser fra regressionslinjen.

Question 12

Kovarians

Answer 12

Måler retning og styrke af lineær sammenhæng.

Et mål for samvariationen mellem X og Y
Fortegnet på kovariansen giver os retningen på sammenhængen
Jo større kovarians jo stærkere en sammenhæn

Question 13

Total Sum of Squares (TSS)

Answer 13

Variation i Y omkring dens gennemsnit.

Question 14

Explained Sum of Squares (ESS)

Answer 14

Variation forklaret af modellen.
Summen af forskellene mellem modellens forudsagte værdier og gennemsnittet

Question 15

R pakke brugt til at fremvise regressionsresultater

Answer 15

Stargazer

Question 16

Nøglepunkter for lineær regression

Answer 16

Tolk β1 i kontekst (især ved reskalering).

Vurder modelantagelser (linearitet, fravær af outliers).

Husk R² og RMSE for at beskrive modellens præcision.

Question 17

Residualer

Answer 17

Hver enkel observations afvigelse fra regressionslinje.
Angiver hvor meget modellen (dvs. linjen) ”gætter forkert” ift. hver af de faktiske observationsværdier.
Mindre residualer: Modellen fitter data bedre.

Eksempel er at vi udregner hvad en udgift burde være i forhold til hvad den er. Den forskel er vores residual

Question 18

Fravær af selektionsbias

Answer 18

I regression: Fejlleddet er ukorreleret med X
Betyder, at observationer på forskellige niveauer af X har samme potentielle outcomes
Eks.: E(Y) når X1 = 8 skal være det samme som X2 = 4, hvis X1 havde været lig 4.
Fejlleddet indeholder udeladte variable
Hvis X korrelerer med disse variable/faktorer så er der selektionsbias.
Kontrolvariable: Inklusion af førhen udeladte faktorer øger sandsynlighed for, at X er ukorreleret med fejlleddet:

Question 19

OLS antagelser

Answer 19

1) Linearitet i modellen
2) Observationer er i.i.d.
3) E(U | X) = 0 (fravær af selektionsbias)
4) Homoskedastiske fejlled (sjældent opfyldt, men let fix)