1 Multiple Regression

Question 1

Wie unterscheidet sich Multiple Regression von Bivariater Regression?

Answer 1

• Bivariate Regression hat eine UV und eine AV und es wird ermittelt, wie viel der UV zur AV beiträgt.
• Multiple Regression hat mehr Prädikatoren (UV) UND diese korrelieren höchstwahrscheinlich auch unterinander
• Weitere Prädiktoren werden nur in dem Anteil gerechnet, in d em sie die AV ZUSÄTZLICH ERKLÄREN (wenn sie überschneident sind mit anderen Prädikatoren, wird dieser nicht gerechnet)

Question 2

Was ist der Vorteil einer multiplen Regression im vergleich zu einer einfachen linearen Regression?

Answer 2

Wir können den genauen, alleinigen Beitrag einer Variable ermitteln und dabei Redundanzen berücksichtigen sowie Störvariablen kontrollieren.

Question 3

Warum kann man bei der multiplen Regression nicht einfach Kausalität annehmen?

Answer 3

Nur weil die eine Variable ans UV und die andere als AV definiert wird, bedeutet es nicht automatisch Kausalität. Dafür bedarf es noch anderen Bedingungen, z.B.:
- Ursache vor Wirkung
- Stabilität des Effekts bei Einschluss weiterer Prädiktoren

Question 4

Wie lautet die Regressionsgleichung für die bivariate Regression?

Answer 4

Beispiel:
x = Gehalt
y = Mitarbeitendenzufriedenheit
a = Bereich, wo die Gerade anfängt
b = Bereich der Steigung

Question 5

Wie lautet die Regressionsgleichung für die multiple Regression?

Answer 5

Beispiel:
x = Gehalt
y = Mitarbeitendenzufriedenheit
a = Bereich, wo die Gerade anfängt
b = Bereich der Steigung

Jeder Prädiktor hat einen eigenen Steigungsbereich, also z.b. x1 + b1, x2 + b2, x3 + b3, …)

Question 6

Was ist Lineare Regression?

Answer 6

Lineare Regression ist ein Oberbegriff, der sowohl die bivariate (einfache) als auch die multiple (mit mehreren Prädiktoren) Regression umfasst.

Question 7

Was sind die Voraussetzungen dafür, dass man eine Multiple Regression überhaupt rechnen darf?

Answer 7

• Die AV muss metrisch sein (Skalenniveau NICHT ordinal oder nominal)
• Residuen müssen Unabhängig sein (keine Autokorrelation) -> es darf keine logische Reihenfolge der erfassten Daten geben, z.B. keine Wochentage)
• Normalverteilung der Residuen (Stichprobe muss gross genug sein)
• Ausreisser und Einflussreiche Datenpunkte sollten erkennt werden -> und ausgeschlossen? (z.B. mit Residuals vs Leverage Diagramm)
• Keine Multikolinearität
• Keine Homoskedaszität

Question 8

Was sind Residuen?

Answer 8

Residuen in der multiplen Regression sind die Differenzen zwischen den tatsächlich beobachteten Werten der abhängigen Variable und den vorhergesagten Wertendurch das Regressionsmodell.

Question 9

Was ist Multikolinearität?

Answer 9

wenn zwei oder mehr unabhängige Variablen stark miteinander korrelieren. Das bedeutet, dass eine Variable fast vollständig durch eine andere (oder eine Kombination anderer) vorhergesagt werden kann.

Question 10

Was ist Homoskedastizität?

Answer 10

Homoskedastizität ist eine wichtige Annahme in der linearen Regression, die besagt, dass die Varianz der Residuen konstant über alle Werte der unabhängigen Variablen bleibt. (Fehlerverteilung ist gleich verteilt) -> Levine Test oder Grafisch gemäss Bild

Question 11

Wie kann ich Multikollinearität in Jamovi prüfen?

Answer 11

Mit dem VIF-Wert (Colinearity Statistics)

Interpretation siehe Anhang

Question 12

Wie kann ich Homoskedastizität in Jamovi prüfen?

Answer 12

Über die Residuenplots. Interpretation siehe Anhang.

Question 13

Wie erkenne ich Autokorrelation der Residuen?

Answer 13

🔹 Durbin-Watson-Test → Schnellste Methode für einfache Regressionsmodelle. (2 ist gut, alles andere ist schlecht)

DW ≈ 2 → Keine Autokorrelation (✅ Gut).
DW < 1,5 → Positive Autokorrelation (🔴 Problem: Residuen hängen zusammen, oft in Zeitreihen).
DW > 2,5 → Negative Autokorrelation (🟠 Problem: Extreme Schwankungen zwischen Residuen).

Question 14

Wie erkenne ich Normalverteilung der Residuen?

Answer 14

Shapiro-Wilk-Test:

p > 0.05 = Normalverteilung
p < 0.05 signifikant nicht Normalverteilt

Question 15

Wie erkenne ich Ausreisser bei der multiplen Regression?

Answer 15

Question 16

Was ist das Ziel der multiplen Regression?

Answer 16

Lineare Vorhersage einer intervallskalierten abhängigen Variable (Av, Kriterium) anhandm ehrerer unabhängiger Variablen (UVs, Prädiktoren) vorherzusagen.

Question 17

Was muss gegeben sein, damit die Kausalität (und nicht nur Prognose) erfüllt ist?

Answer 17

• Die Ursache muss zu einem früheren Zeitpunkt passiert sein.
• Der Effekt muss auch dann bleiben, wenn weitere Prädiktoren ins Modell dazu kommen

Question 18

Welche zwei gleichungen gibt es jeweils?

Answer 18

• Eine auf Stichprobenebene
• Eine auf Populationsebene

Question 19

Wie ist die Gleichung der Multiplen Regression für zwei unabhängige Variablen?

Answer 19

Question 20

Wie ist die Gleichung der Multiplen Regression für mehrere unabhängige Variablen?

Answer 20

Question 21

Was ist das kleinste-quadrate-kriterium?

Answer 21

Das Kleinste-Quadrate-Kriterium der multiplen Regression minimiert die Summe der quadrierten Abweichungen zwischen den vorhergesagten und den tatsächlichen Werten auf der y-Achse, um die bestmögliche Anpassung der Regressionsgeraden an die Daten zu gewährleisten.

Question 22

Welches ist der beste Schätzwert, wenn man nichts anderes weiss?

Answer 22

Der Mittelwert

Question 23

Wann (bei welcher Zahl) sind die Prädiktoren geeignet für die Vorsage und wann nicht?

Answer 23

0 = gänzlich ungeeignet zur Vorhersage
1 = geänzlichc geeignet zur Vorhersage

Question 24

Wann ist der Effekt einer Regression gross, mittel und schwach?

Answer 24

Question 25

Wann liegt eine bedingte Regressionsanalyse vor?

Answer 25

Wenn wir die Ausprägungen aller anderen unabhängigen Variablen konstant halten.

Question 26

Was sind Regressionsgewichte?

Answer 26

Regressionsgewichte (auch Regressionskoeffizienten oder β-Koeffizienten) sind die Zahlen, die in einer Regressionsgleichung die Stärke und Richtung des Einflusses einer unabhängigen Variable auf die abhängige Variable angeben.

Question 27

Was sind unstandardisierte Regressionsgewicchte (b oder B)?

Answer 27

Geben an, wie stark sich die abhängige Variable (AV) verändert, wenn sich die unabhängige Variable (UV) um eine Einheit verändert – in den **originalen Maßeinheiten**. Beispiel: Wenn das unstandardisierte Gewicht für „Anzahl Trainingsstunden“ bei 2.5 liegt, heißt das: Pro zusätzlicher Trainingsstunde steigt die Leistung um 2.5 Punkte. Interpretation: Praktisch relevant, aber schwer vergleichbar, wenn UVs in unterschiedlichen Einheiten sind (z. B. CHF vs. Jahre). Vorteile: - sind die häufigsten - sind nützlich zur Prognose des Kriteriums (enthalten die Metrik) - sie erklären Veränderungen in Einheiten - ermöglichen Gruppenvergleicche

Question 28

Was sind standardisierte Regressionsgewichte (β oder beta)?

Answer 28

Drücken aus, wie stark sich die AV verändert, wenn sich die UV um eine Standardabweichung verändert – alle Variablen wurden vorher **standardisiert (z-transformiert).** Beispiel: Ein beta von 0.60 bedeutet: Wenn sich die UV um 1 Standardabweichung erhöht, steigt die AV um 0.60 Standardabweichungen. Interpretation: Ermöglicht Vergleichbarkeit der Effekte mehrerer UVs (weil gleiche Skala), auch wenn diese unterschiedliche Maßeinheiten haben. Merkmale: - in Publikationsen anzutreffen

Question 29

Was sind die Annahmen der Regressionsdiagnostik? (Welche Annahmen müssen erfüllt sein? Was muss ich in der gerechneten Diagnostik prüfen?)

Answer 29

- Korrekte Spezifikation des Modells (Underfitting oder Overfitting) - Messfehlerfreiheit der unabhängigen Variablen - Homoskedastizität - Normalverteilung der Residuen - Unabhängigkeit der Residuen (keine Autokorrelation)

Question 30

Welche weiteren Probleme (ausser nichterfüllung der Annahmen) können auftreten?

Answer 30

- Ausreisser und einflussreiche Datenpunkte - Multikollinearität (wenn zwei oder mehrere Prädiktoren besonders viel Varianz miteinander teilen) (Verletzen keine klassischen Annahmen, verletzen aber robustheit und verlässlichkeit)

Question 31

Nenne ein Beispiel für Underfitting

Answer 31

Das Modell ist zu einfach, um die zugrunde liegenden Zusammenhänge in den Daten zu erfassen. Typisch bei: * zu wenigen Prädiktoren * lineares Modell für nichtlinearen Zusammenhang * sehr hohe Bias (Verzerrung) Folge: * schlechte Vorhersageleistung sowohl in Trainings- als auch Testdaten * große Fehler, geringe Modellgüte (z. B. tiefes R²) Beispiel: Du versuchst, den Verlauf von Körpergewicht über das Lebensalter mit einer simplen Geraden zu beschreiben – das greift zu kurz.Es wird z.B. eine Lineare Regression zwischen zwei Variablen angenommen, es handelt sich aber um eine Kurve. (es gibt aber aucch weitere Gründe)

Question 32

Was ist Overfitting

Answer 32

z.B. wenn Prädiktoren ins Modell eingefügt werden, die zur Erklärung irrelevant sind.

Question 33

Welche Probleme kann es beid er Messfehlerfreiheit der unabhängigen Variablen geben?

Answer 33

- Wenn UV nicht realiabel ist - Wenn UV nicht valide ist (oder beides

Question 34

Was ist Heteroskedastizität?

Answer 34

Question 35

Wie testen wir auf Homoskedastizität?

Answer 35

- Breusch-Pagan-Test - White's Test p > .05

Question 36

Wie teste ich auf Normalverteilung?

Answer 36

- Kolmogorov-Smirnov-Test - Shapiro-Wilk-Test

Question 37

Wann treffen wir Abhängigkeit der Residuen oft an?

Answer 37

- bei Klumpenstrichproben (test: intra-klassen-koeffizienten (ICC) > .05 - bei Zeitreihenfolgen (Test: Durbin-Watson-Statistik)ç

Question 38

Was ist die datengesteuerte Auswahl von Prädiktorvariablen?

Answer 38

Die datengesteuerte Auswahl von Prädiktorvariablen ist ein Verfahren, bei dem automatisch oder systematisch bestimmt wird, welche unabhängigen Variablen in einem Regressionsmodell verwendet werden sollen. Ziel ist es, ein Modell zu finden, das möglichst präzise Vorhersagen trifft, aber nicht unnötig komplex ist.

Question 39

Wann ist die datengesteuerte Auswahl von Prädikatorvariablen sinnvoll?

Answer 39

- Wenn es sehr viele gibt - Wenn nicht klar ist, welche Variablen sinnvoll sind (z.b keine klare theoretische Grundlage) - Wenn man Overfitting vermeiden will

Question 40

Was ist Kreuzvalidierung in der Prädikatorenauswahl?

Answer 40

Die Kreuzvalidierung ist eine Technik zur Bewertung der Modellgüte, insbesondere in der datengesteuerten Auswahl von Prädiktorvariablen. Sie hilft zu überprüfen, ob das gewählte Modell nicht nur auf den vorhandenen Daten gut funktioniert, sondern auch auf neuen, unbekannten Daten zuverlässige Vorhersagen liefert.

Question 41

Warum kann man bei der multiplen Regression den Einfluss von Störvariablen kontrollieren.

Answer 41

In der multiplen Regression kann man den Einfluss von Störvariablen kontrollieren, weil mehrere unabhängige Variablen gleichzeitig in das Modell aufgenommen werden. Dadurch wird der Einfluss einer Variablen auf die abhängige Variable bereinigt, indem die Effekte anderer Variablen statistisch konstant gehalten werden. So kann man den isolierten Effekt einer Variablen auf die Zielgröße bestimmen, ohne dass Störvariablen das Ergebnis verzerren.

Question 42

Was ist der Interzept?

Answer 42

Das Interzept (β0), auch Achsenabschnitt, ist der Wert der abhängigen Variable (Y), wenn alle unabhängigen Variablen (X1, X2, ... Xn) gleich null sind.

Question 43

Wann ist das Interzept wichtig?

Answer 43

✔ Wenn X = 0 eine realistische Bedeutung hat (z. B. Einkommen bei 0 Berufserfahrung). ✔ Wenn man eine Referenzbasis für die Interpretation braucht.

Question 44

Wann ist das Interzept nicht sinnvoll interpretierbar?

Answer 44

❌ Wenn X=0 nicht realistisch vorkommt (z. B. Alter = 0 Jahre). ❌ Wenn die Prädiktoren keinen natürlichen Nullpunkt haben. 👉 In solchen Fällen kann man die Variablen zentrieren, damit das Interzept eine verständlichere Bedeutung bekommt.

Question 45

Welche Formen von Datengesteuerten Auswahlverfahren gibt es?

Answer 45

- Vorwärtsselektion - Rückwärtselimination - Schrittweise Regression - Lasso Regression - Ridge Regression - Elastic Net Regression - AIC/BIC