Multiple Regression

Question 1

Was macht eine multiple Regression

Answer 1

Sie beachtet die Einflüsse mehrere Prädiktoren gleichzeitig

Question 2

Was sind orthogonale Variablen?

Answer 2

Variablen, die nicht miteinander korreliert sind

Question 3

Wie sieht die erweiterte Modellgleichung auf zwei Prädiktoren aus?

Answer 3

^Y = b1 * X1 + b2 * X2 + a
Weiteres Vorgehen: Gesucht werden b1, b2 und a mit denen die Summe der quadrierten Abweichungen der vorhergesagten von den empirischen Werten (also den Residuen) minimal wird

Question 4

Visualisierung einer multiplen Regression

Answer 4

1. als Ebene im dreidimensionalen Raum
   3D-Scatterplot mit “optimaler” Ebene
   s.F.6
2. Im 3D Modell gibt es zwei Achsen für den Prädiktor, y-Achse ist das Kriterium, die Kugeln/ Punkte sind die empirischen Messwerte, ihre Abstände zur Ebene die Residuen
   s. F. 7

Question 5

Berechnung einer multiplen Regression mit R

Answer 5

1. Berchnung: Wir fügen dem Modell einfach ein weiterer Prädiktor additiv hinzu
   modell

Question 6

Bestimmung der Koeffizienten bei orthogonalen Prädiktoren

Answer 6

1. zwei einfache lineare Regression, weil jeder Prädiktor distinkte Teile der Gesamtvariabilität der Daten bindet
   Da beide Prädiktoren nicht miteinander korrelieren
2. Den Achsenabschnitt a können wir in diesem Fall berechnen als: a = My - (b1 * Mx1 + b2 * Mx2)

Question 7

Zentruid

Answer 7

Aus dem Mittelwert von X1, X2 und dem Mittelwert von Y kann man dem Mittelwert nehmen. Dieser Wert liegt immer auf der Regressionsgeraden/-ebenen und heißt Zentruid

Question 8

aufgeklärte Varianz R²

Answer 8

1. bei der einfachen linearen Regression R² = r²
2. bei der multiplen Regression: Bildung eines “Summenscores” W, der eine Linearkombination der Prädiktoren mit den Regressionskoeffizienten darstellt:
   W = b1 * X1 + b2 * X2
3. dann nimmt man die quadrierte Korrelation zw. Y und W
4. Daher ist R² bzw. genauer R selber eine Korrelation, nämlich zw. empirischen und vorhergesagten Werten, der multiplen Korrelationskoeffizient
5. Bei orthogonalen Prädiktoren: R² ist die Summe der quadrierten Korrelationen zw. Y und den Prädiktoren:
   R² = r²y, x1 + r²y,x2
   Für Beispiel und Interpretation einer multiplen Regression s. F. 15-19

Question 9

Allgemeiner Ansatz bei intervallskalierten Prädiktoren und Kriterium: q-viele Prädiktoren

Answer 9

1. Generell kann die bisher verwendete Regressionsgleichung auf beliebig viele Prädiktoren erweitert werden:
   ^Y = a + b1* X1 + b2 * X2+ … + bq * Xq
2. Bestimmung der Koeffizienten nicht mehr durch einfache lineare Regression und Lösung von Hand möglich
3. Darstellung:
   1 Prädiktor: Gerade
4. Prädiktoren: Ebene
   >2 Prädiktoren: graphische Illustration nicht mehr möglich

Question 10

Allgemeiner Ansatz bei intervallskalierten Prädiktoren und Kriterium: Interpretation der Regressionsgewichte einer multiplen Regression

Answer 10

1. Erste Interpretation:
   als Regressionsgewicht bedingter einfacher linearer Regressionen aufgefasst werden, d.h. einfacher linearer Regressionen wenn der Wert des jeweils anderen Prädiktors konstant gehalten wird.
2. Zweite Interpretation: die als Regressionsgewichte von Regressionsresiduen. Die beiden Regressionsresiduen erhalten wir, indem sowohl das Kriterium als auch der fragliche Prädiktor vom linearen Einfluss aller anderen Prädiktoren “befreit” werden. Dies passiert, indem beide Größen als Kriterien einer Regression behandelt werden und dann deren Residuen weiter verwendet werden.
   Einen ganz ähnlichen Gedankengang hatten wir bereits bei der Partialkorrelation, die wir als Korrelation
   von Regressionsresiduen aufgefasst hatten.

Question 11

Visualisierung der Wirkung eines Prädiktors bei Konstant halten des anderen Prädiktors

Answer 11

Prädiktor-Effekt-Plots
Paket: effects
Die Grundidee ist dabei, für jeden Prädiktor eine bedingte Regressionsgerade zu visualisieren, während alle anderen Prädiktoren auf einen festen Wert gesetzt werden; der Standwert ist hierbei der Mittelwert aller
Beobachtungen auf den jeweiligen Prädiktoren.

Question 12

Unstandardisierte vs. standardisierte Regressionsgewichte

Answer 12

1. bisher: unstandardisierte Regressionsgewichte: berechnet in der Metrik, in der die Variablen gemessen wurden
2. standardisierte Regressionsgewichte:
   a) drücken Veränderungen in der Einheit von Standardabweichungen aus
   b) hier bezeichnet als ß - Gewichte (manchmal auch als b1z)

Question 13

standardisierte Regressionsgewichte bei einfacher lineare Regression

Answer 13

1. Berechnung: mit z-standardisierten Variablen und dann einfache lineare Regression: lm(scale(Krierium) ~ scale(Prädiktor), data = daten)
2. a = 0: Der Achsenabschnitt a ist dann = 0 und man bekommt einen Wert für das standardisierte Regressionsgewicht ß (für Berechnung mit R s. F.37)
3. b = rxy:
   a) bei einfacher linearer Regression entspricht ß der Korrelation der beiden Originalvariablen
   b) die Steigung entspricht also immer der Korrelation, d.h. je steiler die Steigung desto größer die Korrelation.
   c) b kann also nur Werte zwischen -1 und 1 annehmen
4. Die Gerade verläuft immer durch den Punkt (0/0)

Question 14

standardisierte Regressionsgewichte bei einfacher multipler Regression

Answer 14

1. lm(scale(Kriterium) ~ scale(Prädiktor1) + scale(Prädiktor2), data = daten)
2. auch hier Achsenabschnitt a = 0
3. Regressionsgewichte: Veränderung des Kriteriums in SDs, wenn sich Prädiktoren um eine SD verändert und die anderen Prädiktoren konstant gehalten werden
4. Achtung: die standardisierte Regressionsgewichte entsprechen i. d. R. nicht (Semi-) partiellen Korrelationen eines Prädiktors und des Kriteriums. Dies ist nur bei orthogonalen Prädiktoren der Fall

Question 15

Alternative Berechnung von ß

Answer 15

ßp = bp * (Sxp / Sy)
Mit R:
1. Modell der Regression ganz einfach mit unstandardisierten Variablen berechnen: modell <- lm(Kriterium ~ Prädiktor1 + Prädiktor2, data = daten)

2. dann die Koeffizienten extrahieren und man die sd der jeweiligen Prädiktoren nehmen: hier für Prädiktor 1:
   coef(modell)[2] * (sd(daten$Prädiktor1) / sd(daten$Kriterium))
   für Präditkor2 analog:
   coef(modell)[3] * (sd[daten$Prädiktor2) / sd(daten$Kriterium))
   die Ausgabe gibt einem direkt die Koeffizienten

Question 16

Allgemeiner Ansatz bei intervallskalierten Prädiktoren und Kriterium: Güte des Regressionsmodells

Answer 16

i.d.R. R²
Problem: bei Hinzunahme eines weiteren Prädiktors muss der Anteil der aufgeklärten Varianz fast zwangsläufig größer werden -> daher Anpassung und andere Maße, die gleichzeitig die Anzahl der Prädiktoren mit verrechnen, um dies zu berücksichtigen

Question 17

Güte des Regressionsmodells: adjustiertes R²

Answer 17

1. einfachstes Maß (gleichzeitige Schätzung der aufgeklärten Varianz auf Populationsebene) ist das adjustierte R² (abgz. R²adj)
2. Berechnung:
   summary() angewendet auf ein lm()-Objekt gibt diese Maß bereits mit raus
   R²adj = 1 (1-R²) * (n-1) / n-q-1)
   hier: n = Anzahl der Beobachtungen und q = Anzahl der Prädiktoren

Question 18

Interferenzstatistik: allgemeiner Modelltest

Answer 18

1. Zusammenfassung der Ergebnisse eines Regressionsmodells liefert immer einen F-Test
2. dieser testet, ob das komplette Modell einen signifikanten Beitrag zur Varianzaufklärung leistet, d.h. es wird die Nullhypothese H0: R² = 0 getestet
3. der F-Wert stammt genau wie im Rahmen einer Varianzanalyse aus einer Quadratsummenzerlegung

Question 19

Interferenzstatistik: allgemeiner Modelltest: totale Quadratsumme

Answer 19

Die totale Quadratsumme ergibt sich aus der Summe der quadrierten Abweichungen der Daten vom Mittelwert des Kriteriums:
n
SStotal = ∑ (y1 - My)²
i = 1

Question 20

Interferenzstatistik: allgemeiner Modelltest: Fehler-Quadratsumme

Answer 20

ergibt sich aus der Summe der quadrierten Residuuen:
n
SSfehler= ∑ e²i
i = 1

Question 21

Interferenzstatistik: allgemeiner Modelltest: Modell-Quadratsumme

Answer 21

ergibt sich aus der Summe der quadrierten Abweichungen der Regressionsgeraden (der vorhergesagten Werte) vom Mittelwert des Kriteriums:
n
SSmodell = ∑ (^yi - My) ²
i = 1

Question 22

Interferenzstatistik: allgemeiner Modelltest: Mittlere Quadratsummen und F -Bruch

Answer 22

1. analog zur Varianzanalyse werden die Mittleren Quadratsummen mit den Freiheitsgraden der Quadratsummen berechnet: aus der Anzahl q der Prädiktoren und Anzahl n der Beobachtungen erigt sich:
   dfmodell = q
   dffehler = n - q - 1
2. aus diesen wird der F-Bruch berechnet:
   F = (SSmodell/ dfmodell) / (ssfehler/dffehler) = Msmodell / Msfehler
3. Die entsprechende Zufallsvariable ist unter der Nullhypothese F-verteilt mit q Zählerfreiheitsgraden und n -q-1 Nennerfreiheitsgraden
4. Alternativ kann der F-Bruch auch direkt aus R² berechnet werden: F = ((n -q-1) * R²) / (q*(1-R²))

Question 23

Interferenzstatsitik: allgemeiner Modelltest: multiple Regression

Answer 23

völlig Identisch zur linearen Regression

Question 24

Tests der Regressionskoeffizienten: einfache lineare Regression

Answer 24

1. Test der H0: ß = 0 (vgl. Statistik 1 Teil 12)
2. Test von b und F-Test liefern die gleiche Informationen (es gilt auch hier wieder die Beziehung F= t²)

Question 25

Tests der Regressionskoeffizienten: multiple Regression

Answer 25

1. der allgemeine Modelltest kann signifikant werden
2. dennoch muss nicht für jeden Regressionskoeffizienten an sich die Alternativhypothese gelten
3. Tests der einzelnen Nullhypothesen sind t -Tests (siehe Ausgabe der summary() oder s()-Funktion)

Question 26

Inferenzstatistik: Modellvergleich

Answer 26

1. ermöglichen zu testen, ob sich durch Hinzunahmen (oder Wegnahme) von Prädiktoren eine signifikante Veränderung von R² einstellt
2. oft wird ein sog. reduziertes Modell mit einem sog. komplexen Modell verglichen:
   a) reduzierte Modell “genested” im komplexen Modell (d.h. alle seine Prädiktoren sind auch im komplexen Modell enthalten)
   b) der Fchange-Wert berechnet sich in diesem Fall als:
   Fchange = ((n-q-1)(R²komplex - R²reduziert)) / (J (1-R²komplex))
   c) n = Anzahl der Beobachtungen
   q = Anzahl der Prädiktoren im komplexen Modell
   J = Anzahl der Prädiktoren, die sich zw. komplexen und reduzierten Modell unterschieden

Question 27

Polynomiale Regression

Answer 27

1. kurvilinear Zusammenhänge
2. solche Daten können mit Funktionen beschrieben werden, die auch das Quadrat des Prädiktors berücksichtigt und als multiple Regression aufgepasst

Question 28

Polynomiale Regression: Polynome höherem Grades in allgemeiner Form

Answer 28

^Y = a + b1 * X + b2 * X² + … +bq * Xq

Question 29

Polynomiale Regression: Umsetzung mit R

Answer 29

1. Umsetzung in R genau wie bei multipler Regression
2. neben X auch X² in das Modell aufnehmen: I(Xˆ2) macht deutlich, dass hier eine arithmetische Operation gemeint ist und das ˆ-Zeichen
   nicht im Sinne der Modellsprache interpretiert werden soll:
   m2

Question 30

Welchen Wert erhalten Sie, wenn Sie die Zeile estimate durch die Zeile Std. Error
dividieren?

Answer 30

noch herausfinden

Question 31

Allgemeiner Modelltest: Berechnen mit R

Answer 31

1. einfache lineare Regression: anova(modell)
2. multiple Regression: Summary(modell) unter f-statistics finde ich den F-Wert, die Freiheitsgrade und den P-Wert

Question 32

Multiple Regression: Modellgleichung soll aufgestellt werden, wie setzte ich die Koeffizienten ein?

Answer 32

Ich setzte die Werte die mir gegeben werden ganz normal wie in der linearen Regression ein und rechne sie aus

Question 33

Was zeigen Prädiktor-Effekt-Plots?

Answer 33

Sie zeigen die bedingten Regressionsgeraden für jeden Prädiktor, wenn die beiden anderen Prädiktoren auf einen konstanten Wert gesetzt werden (i.d.R. ist das deren Mittelwert)

Question 34

Zähler & Nenner

Answer 34

Zähler = Oben
Nenner = Unten

Question 35

Modellvergleich Ergebnistabelle Anova() lesen: Was ist “Res.Df”, “Df” und sum of sq?

Answer 35

Res.Df (zweite Spalte) = Nennerfreiheitsgrad (hinten in der Klammer)
Df (vierte Spalte) = Zählerfreiheitsgrad (vorne in der Klammer)
Sum of Sq( fünfte Spalte)= Quadratsummen
F = F-Werte

Question 36

Wann benutze ich einen Allgemeinen Modelltest?

Answer 36

Um zu testen, ob die Regression überhaupt Varianz aufklärt. H0: R² = 0. Wenn der Test signifikant wird gehen wir davon aus, dass R² ≠ 0

Question 37

Wann benutzen wir einen Modellvergleich?

Answer 37

Wenn ich wissen will, ob das eine reduzierte Modell genau soviel Varianz aufklärt, wie das nicht reduzierte Modell. Wird der Modelltest signifikant heißt dass, dass R² sich durch die Hinzunahme von mehreren Prädiktoren signifikant verändert hat

Question 38

Nominalskalierte (kategoriale) Variablen: Definition, typische Beispiele & anderer Name

Answer 38

1. Haben Kategorien als Werte, die keine Ordnung beinhalten.
2. Typische Beispiel sind z.B.: Geschlecht, Haarfarbe, Schulabschluss oder die Gruppenzugehörigkeit im Rahmen eines Experiments.
3. Werden in anderen Kontexten, besonders in der Varianzanalyse auch Faktoren genannt.

Question 39

nominalskalierte Variablen bei R

Answer 39

1. Spalten mit Strings als Werte werden automatisch als Faktoren behandelt.
2. Andere Spalten müssen bei Bedarf in einen Faktor umgewandelt werden. Variablen vom Typ „Integer“ müssen mit der Formel as.factor() umgewandelt werden.
3. Faktoren können ohne Weiteres in eine Modellgleichung (Regression) mit aufgenommen werden.
4. Die Stufen werden dann automatisch als Kontraste kodiert.

Question 40

Dummykodierung: Vorgehen

Answer 40

1. Berechnung der Dummy-Variablen: Die Anzahl der neuen (Dummy) Variablen ist die Anzahl der Stufen des Prädiktors - 1 (Habe ich einen Prädiktor mit 3 Stufen habe ich 2 Dummyvariablen)
2. Anlegen der Dummyvariablen: Man legt so viele neue Variablen (Dummy-Variablen) an, wie man (im ersten Schritt) als Anzahl der Gruppen berechnet hat.
3. Wahl einer Bezugsgruppe: (Baseline-Bedingung). üblicherweise die Kontrollgruppe, falls keine vorhanden wählt man am besten die Gruppe, in der die meisten Personen/Fälle vorliegen.
4. Allen Dummy-Variablen für die gewählte Baselinegruppe den Zahlenwert 0 zuweisen.
5. Der ersten Dummy-Variablen für die erste Gruppe die man gegen die Baselinegruppe vergleichen will den Wert 1 zuweisen, den restlichen Gruppen den Wert 0.
6. Wiederholung des Schrittes 5, bis alle Dummy-Variablen entsprechend codiert wurden.
7. Alle Dummy-Variablen ins Modell aufnehmen!

Question 41

Dummykodierung - Was wird gemacht (gob zusammengefasst)

Answer 41

Hierbei werden aus J Stufen des Faktors, der als Prädiktor benutzt werden soll, J – 1 „Regressionen“ gebildet, also neue Variablen, die die J Stufen repräsentieren sollen

Question 42

einfache lineare Regression mit dummykodierten Variablen in R

Answer 42

1. wenn Variable (die wir als Prädiktor benutzen wollen) dummykodiert ist, einfach eine ganz normale Regression ausrechnen: Modell <- lm( Kriterium ~ Prädiktor, data = daten)
2. Ausgabe mit S(modell, brief = TRUE)
3. Interpretation der Koeffizienten:
   (a) der Achsenabschnitt (Intercept) ist der Mittelwert der Referenzgruppe
   (b) Der Koeffizient1 ist der Wert, um den der Mittelwert der Referenzgruppe verändert werden muss, um zum Mittelwert der Gruppe (von koeffizient1) zu gelangen.
   (c) Der Koeffizient2 ist der Wert, um den der Mittelwerte der Referenzgruooe verändert werden muss, um zum Mittelwert der Gruppe (von koeffizient2) zu gekangen

Question 43

anderen Weg der Interpretation der Koeffizienten bei dummykodierte einfacher linearer Regression

Answer 43

(a) mit dem Befehl contrasts(daten$variable) ist Kontrastmatrix ausgeben lassen
(b) Nun mit den Koeffizienten und den Kontrastkoeffizienten zeilenweise die Mittelwerte der Gruppen berechnen
–> kommt zum gleichen Ergebnis wie erste Interpretation, beweist aber, warum die erste Interpretation richtig ist

Question 44

Interpretation der t-Werte bei einer einfachen linearen Regression mit dummykodiertem Prädiktor

Answer 44

In der Zusammenfassung der Ergebnisse stehen auch t-Werte. Diese geben an, ob die Gruppen sich signifikant von der Referenzgruppe unterscheiden. Die Arte der Auswertung, also eine lineare Regression mit dummykodierten Variablen testet NICHT die Nullhypothese der Omnibus-Varianzanalyse!

Question 45

Umformung der Regression in eine klassische einfaktorielle Varianzanalyse (bei einer Regression mit nominalskalierten Prädiktor)(dummykodiert)

Answer 45

Um eine „klassische“ Varianzanalyse aus dem Ergebnis der Regression zu machen, kann die Funktion anova() auf das lm-Objekt angewandt werden: anova(modell). Ergebnisse können analog zur Varianzanalyse interpretiert werden

Question 46

Paarweise Vergleiche bei einer Regression mit nominalskalierten Prädiktor (dummykodiert)

Answer 46

Bisher haben wir immer nur Vergleiche im Bezug auf die Referenzgruppe unternommen. Mit der Funktion emmeans() aus dem Paket emmeans können wir auch paarweise Vergleiche anstellen. Wollen wir bspw. Nun alle paarweise vergleiche erhalten:
Emmeans(modell, pairwise ~ Prädiktor)$contrast
Der Prädiktor ist hier immernoch unsre dummykodierte Variable. Der Zusatz $contrast sorgt dafür, dass nur die Vergleiche ausgegeben werden, da unter $emmeans auch adjustierte Mittelwerte berechnet werden, die aber in einer einfaktoriellen Varianzanalyse den normalen Gruppenmittelwert entsprechen. In der letzten Zeile der Ausgabe ist die verwendete Art der Anpassung für multiple Vergleiche zu finden (hier Tukey´s HSD-Methode), emmeans() wählt automatisch eine adäquate Variante aus.

Question 47

Nominalskalierte Prädiktoren: zweifaktorielle Varianzanalyse als Regression & vollständiges lm-Modell

Answer 47

I. natürlich können wir auch zwei Faktoren als Prädiktoren einer Regression benutzen.
II. vollständiges lm-Modell: Das vollständige lm-Modell beinhaltet nur den Achsenabschnitt, beide Faktoren und deren Interaktion. Beide Faktoren und die Interaktion werden automatisch generiert, wenn die Formulierung Faktor1 * Faktor2 benutzt wird.

Question 48

Nominalskalierte Prädiktoren: zweifaktorielle Varianzanalyse als Regression: anova(modell) und Effect()

Answer 48

III. anova(modell): Die Anova des Modells entspricht dem Ergebnis einer zweifaktoriellen Varianzanalyse.
IV. Effect(): Mithilfe der Funktion Effect() aus dem packt effect können wir verifizieren, dass die vorhergesagten Werte jeder Zelle den empirischen Mittelwerten entsprechen:
Effect( c(„Prädiktor1“, „Prädiktor2“), modell)

Question 49

Nominalskalierte Prädiktoren: zweifaktorielle Varianzanalyse als Regression: Interpretation der Koeffizienten

Answer 49

1. Mit S(modell, brief = TRUE) ausgeben lassen
2. Wir bekommen hier für eine ganze Reihe von Variablen Koeffizienten angegeben.
3. Die Koeffizienten geben wieder die Mittelwerte der einzelnen Gruppen. Am einfachsten kann man Mittels einer Tabelle einen Überblick behalten. Der Intercept ist wieder der Mittelwert der Referenzgruppe s. F. 24-26 Teil 10

Question 50

Nominalskalierte Prädiktoren: zweifaktorielle Varianzanalyse als Regression: Paarweise Vergleiche

Answer 50

Paarweise Vergleiche sind natürlich auch wieder möglich. Sogar mit weiteren Bedingungen. Will man die Stufen des Faktors 1 separat für alle Stufen des Faktors 2 vergleichen schreibt man: emmeans(modell, pairwise ~ Faktor 1 | Faktor 2)$contrasts
Will amn die Stufen des Faktors 2 sperat für alle Stufen des Faktors 1 vergleichen schreiben wir analog: emmeans(modell, pairwise ~ Faktor2 | Faktor 1)$contrasts

Question 51

a) Kovarianzanalyse & Kovariate

Answer 51

a) Kovarianzanalyse: Wenn eine Regression Prädiktoren mit verschiedenen Skalenniveaus berücksichtigt wird von einer
b) Kovariate: Die intervallskalierte Variable wird dann Kovariate genannt

Question 52

Beschreibung der Kovarianzanalyse als multiple Regression

Answer 52

Die Kovarianzanalyse lässt sich als multiple Regression der Form: Y ̂=a+b_1X_1+b_2X_2
wobei X1 (die Kovariate) eine mind. intervallskalierte Variable ist und (der spätere Faktor) X2 eine nominalskalierte Variable ist

Question 53

Gründe für den Einbezug einer Kovariaten

Answer 53

1. Fehler-Reduktion innerhalb der Gruppen:
   a) Wenn 〖SS〗_w kleiner wird, wir der F-Bruch größer (die Power steigt also)
   b) Kovariante kann genutzt werden um Varianz, die nicht durch den Faktor bzw. die Faktoren erklärt wird, zu binden
   c) und dadurch die restliche nicht-erklärte Varianz (also das was von 〖SS〗_w erfasst wird) zu verringern
2. Reduktion von Konfundierung:
   a) Wenn potentielle Störvariablen mit-gemessen werden, dann können diese bei einer Kovarianzanalyse berücksichtigt werden, um Unterschieden zwischen Gruppen vorzubeugen. Problematisch ist aber, wenn die Kovariate mit dem Faktor konfundiert ist.
   Achtung: Entgegen dem, was manchmal verbreitet wird, sind eine Kovarianzanalyse und eine Varianzanalyse mit Residuen einer Regression (von abhängiger Variable auf die Kovariate) nicht identisch!

Question 54

Voraussetzungen der Kovarianzanalyse

Answer 54

1. im wesentliche gleiche Annahmen wie Varianzanalyse, aber es gibt noch zwei wichtige Aspekte:
2. Unabhängigkeit von Faktor und Kovariate:
   Um die Fehlervarianz zu reduzieren muss die Kovariate unkorreliert (also orthogonal) zum entgeltlich interessierenden Faktor sein. Ist die Kovariate mit den Faktor konfundiert, bindet die Kovariate Variabilität, die eigentlich dem Faktor zugeschlagen werden sollte und verringert dadurch quasi den statistischen Effekt des Faktors. In diesem Fall kann ein Effekt des Faktors überlagert oder auch erst erzeugt werden, eine eindeutige Interpretation ist nicht möglich. Kann z.B.: Entstehen, wenn VP nicht randomisiert werden. Nur wenn Gruppen sich nicht unterscheiden, kann die Kovariate effektiv genutzt werden, um nicht-erklärte Variabilität zu binden. Ansonsten wird auch die Wirkung des eigentlich interessanten Faktors verringert
3. Homogenität der Regressionssteigung
   Es wird angenommen, dass die Steigung der Regressionsgeraden in den ver. Gruppen gleich ist. Ob dies der Fall ist, ist eine empirische Frage.

Question 55

Schritte der Kovarianzanalyse

Answer 55

I. Eignung als Kovariate
II. Spezifizierung
III. Interpretation signifikantes Ergebnis
IV. Test auf Homogenität der Regressionsgeraden

Question 56

Schritte der Kovarianzanalyse: 1. Eignung als Kovariate

Answer 56

1. Ist die Variable, die wir als Kovariate benutzen wollen mit dem Kriterium korreliert?
   Cor_out(cor.test(daten$Kriterium, daten$Kovariate))
   -> Dann ist die Variable schon mal möglicherweise als Kovariate geeignet
2. Sind der Faktor und die Kovariate orthogonal?
   Aov.result.kovariate <- aov(Kovariate ~ Faktor, data = daten)
   Summary(aov.result.kovariate)
   -> Wird die Varianzanalyse nicht-signifikant, ist diese Voraussetzung auch erfüllt.

Question 57

Schritte der kovarianzanalyse: 2. Spezifizierung

Answer 57

Nun können wir die Kovarianzanalyse spezifizieren, indem eine Regression mit zwei Prädiktoren formuliert wird. Die Ergebnisse, und insbesondere dann auch den interessanten Effekt des Faktors, erhalten wir, indem wir die Funktion Anova() aud dem Packet car auf das lm-Objekt anwenden und spezifizieren, dass Typ-II Quadratsummen verwendet werden sollen
Lm.result <- lm(Kriterium ~ Kovariate + Faktor, data = daten)
Anova(lm.result, type = „II“)

Question 58

Schritte der Kovarianzanalyse: 3. Interpretation eines signifikanten Ergebnis

Answer 58

Wird das Ergebnis signifikant, dann können wir von einer (signifikanten) Beziehung der Kovariate zur abhängigen Variable ausgehen. Die Kovariate bindet daher auch Variabilität, die nicht dem Faktor zugeschlagen wurde, dass der nicht-erklärte Anteil kleiner geworden ist und dadruch der F-Test des Faktors signifikant wird.

Question 59

Schritte der Kovarianzanalyse: 4. Test auf Homogenität der Regressionsgeraden

Answer 59

Nun testen wir, ob sich die Steigung der Regressionsgeraden in beiden Gruppen unterschiedet. Dafür fügen wir dem lm-Modell von oben noch die Interaktion Kovariate:Faktor hinzu:
Lm.result.ia <- lm(Kriterium ~ Kovariate + Faktor + Kovariate:Faktor, data = daten)
Anova(lm.results.ia, typ = „II“)
Wenn die Interaktion nicht signifikant wird, können wir von Homogenität der Regressionsgeraden ausgehen.

Question 60

Interpretation der Koeffizienten einer Kovarianzanalyse

Answer 60

I. Koeffizienten und Mittelwerte rausgeben lassen: coef(lm.results), ebenfalls sinnvoll zur Kotrolle der Interpreation ist sich mit tapply(daten$Kriterium, daten$Faktor, mean) die Mittelwerte der Gruppen ausgeben zu lassen.

II. Kovariate zentrieren: von jedem Wert den Mittelwert der Kovariaten subtrahieren:
Lm.result.zentriert <- lm(Kriterium ~ scale(Kovariate, scale = FALSE) + Faktor, data = daten)
coef(lm.result.zentriert)
Nun ändert sich der Achsenabschnitt, der nun in der Größenordnung wie bei der normalen Varianzanalyse ist. Der Achsenabschnitt gibt uns nun wieder den Mittelwert der Gruppe aus, die bei der Dummykodierung als Bezugsgruppe festgelegt wurde. Der Mittelwert der anderen Gruppe ergibt sich wieder dadurch, dass wir den Mittelwert der Bezugsgruppe mit dem Koeffizienten der anderen Gruppe verrechnen.

III. adjustierte Mittelwerte:
Die Kovarianzanalyse vergleicht sogen. Adjustierte Mittelwerte. Die berechnet werden für den Fall, dass die Kovariate für alle Beobachtungen den gleichen Wert annimmt, üblicherweise ihren Mittelwert.

Question 61

Interaktion zweier intervallskalierter Variablen:
Interaktionen bisher:

Answer 61

Wenn beide Variablen nominalskaliert sind (Faktoren in der Varianzanalyse)
Wenn eine Variable nominalskaliert ist (Faktor bei der Kovarianzanalyse)
-> Interaktionen können aber auch generalisiert betrachtet werden, wenn zwei (oder mehrere) Variablen (mindestens) intervallskaliert sind

Question 62

moderierte (multiple) Regression

Answer 62

I. Moderatorvariable: Verändert eine Variable die Wirkung einer anderen Variablen, so wird diese oft als Moderatorvariable
II. Moderierte (multiple) Regression: Die Analyse einer Moderatorvariable wird als moderierte (multiple) Regression bezeichnet. Technisch ist dies jedoch nichts anderes, also eine multiple Regression, die einen Interaktionsterm berücksichtigt.

Question 63

Vergleich der Regressionsgleichung mit zwei Prädiktoren vs. die Regressionsgleichung einer moderierten Regression

Answer 63

In der varianzanalystischen Terminologie entsprechen die Effekte von X1 und X2 den Haupteffekten, die eine additive Wirkung auf das Kriterium haben:
Y ̂=a+b_1X_1+b_2X_2
Der Trick der Interaktion ist nun, eine Variable X3 additiv hinzuzufügen, die aber ihrerseits nicht-additive Effekte repräsentiert. Dies gelingt ganz einfach, indem die Interaktion von X1 und X2 als deren Produkt gefasst wird:
Y ̂=a+b_1X_1+b_2X_2+b_3X_3 mit X_3=X_1X_2
Setzen wir X3 in die Gleichung ein und klammern dann X2 aus, kann man sehen, dass die Gleichung in einer einfachen linearen Regression resultiert, deren Achsenabschnitt a´ und Steigung b´ aber vom Wert auf der Variablen X1 abhängen:

Question 64

Eigenschaften von X3 in der Regressionsgleichung der moderierten Regression

Answer 64

X3 bildet zwar das Zusammenspiel von X1 und X2 ab, aber wird additiv zusammengefügt. Dadurch ändert sich eigentlich nichts, außer, dass es eben eine dritte Variable gibt. Tatsächlich kann diese Variable einfach berechnet werden, indem für jede Person die Werte auf den beiden Ausgangsvariablen multipliziert werden.

Question 65

Kollinearität und Multikollinearität

Answer 65

a) Kollinearität: Korrelation zweier Prädiktoren in einer multiplen Regression d
b) Multikollinearität: wenn mehrere Prädiktoren miteinander korrelieren sind:
I. Multikollinearität ist zunächst ein technisches Problem, wenn zwei Prädiktoren vollständig korreliert sind ((vgl. Teil 11: wenn Prädiktoren linear abhängig sind, ist das relevante Gleichungssystem nicht lösbar).
II. Hohe Werte für (Multi-)Kollinearität (v.a. in Kombination mit kleinen Stichproben) sind besonders ein Problem für die Schätzungen der Parameter und ihrer Standardfehler, die mit steigender Kollinearität größer werden
III. zunehmend schwer wird auch, den individuellen Beitrag einzelner Prädiktoren zu ermitteln: kann bei Kenntnis des Forschungsgegenstandes aber auch gelöst werden (für Beispiel s. Skript 10)

Question 66

Maßnahmen gegen (Multi-)Kollinearität

Answer 66

Maßnahmen gegen (Multi-)Kollinearität:
I. Sinnvollste Maßnahmen:
(i) ausreichend große Stichproben (Zur Erhöhung der Power der einzelnen Tests über die Paramter)
(ii). vermeiden, korrelierte Prädiktoren einzubeziehen
II. ansonsten (aber nicht generell empfehlenswert):
(i) ggf. das Regressionsmodell anpassen, indem Prädiktoren weggelassen werden
(ii) oder die korrelierten Prädiktoren zu einem einzigen Prädiktor „verrechnen“

Question 67

Kollinearität und Multikollinearität entdecken

Answer 67

1. Kollinearität entdecken:
   durch Korrelationsmatrix
2. Verfahren zu Berechnung von Multikollinearität:
   bei einer Korrelationsmatrix kann Multikollinearität schnell übersehen werden, daher berchnen:
   I. Wie groß ist die geteilte Variabilität eines Prädiktors p mit den restlichen q − 1 Prädiktoren?
   II. Prädiktor Xp als Kriterium einer multiplen Regression mit den verbleibenden Prädiktoren als Prädiktoren
   III. die gemeinsame Varianz wird dann durch R2 quantifiziert, oft als 〖R²〗(X_p )bezeichnet und zur Toleranz T verrechnet:
   IV. T=1-R(X_p)^2

Question 68

Eigenschaften von T

Answer 68

T wird 1, wenn ein Xp orthogonal zu den anderen Prädiktoren ist
T wird 0, wenn Xp perfekt aus den anderen Prädiktoren vorhersagbar ist

Question 69

Varianz-Inflations Faktor (VIF)

Answer 69

〖VIF〗(X_p )=1/(1-R(X_p)^2 )=1/T
I. Interpretation: Der Standardfehler eines Prädiktors wird um √VIF relativ zu seinem theoretischen Minimum bei vollständiger Abwesenheit von Multikollinearität aufgebläht. Ab Wann problematisch? Machen sagen ab VIF ≥ 10 und wenn der duchschnittliche Wert für VIF „deutlich“ größer als 1 ist
II. Berechnung mit R:
Vif(modell)

Question 70

Methoden der Hinzunahme von Prädiktoren

Answer 70

Sollen tatsächlich alle Prädiktoren gleichzeitig in ein Modell aufgenommen werden? Dazu gibt es verschiedene Methoden und verschiedene Standpunkte. . .
I. Alle Prädiktoren gemeinsam
II. Hierarchische Regression
III. Schrittweise Regression:
a) Vorwärtsgerichtet
b) rückwärtsgerichtet

Question 71

Methoden der Hinzunahme von Prädiktoren: I. Alle Prädiktoren gemeinsam

Answer 71

alle Prädiktoren gleichzeitig in ein Modell
Wahl der Prädiktoren erfolgt aus inhaltlichen Gründen
aber es wird dann keine Reihenfolge festgelegt
es gibt durchaus Positionen, die dies als die einzig sinnvolle Art ansehen

Question 72

Methoden der Hinzunahme von Prädiktoren: II. Hierarchische Regression

Answer 72

1. auf Basis vorheriger Studien entscheiden, welche Prädiktoren zuerst ein Modell aufgenommen werden sollen und welche danach zwischen den Modellen kann mit F-Tests der R2-Zuwachs getestet werden
2. eine Variante ist es, mit den Prädiktoren zu beginnen, von denen man weiß, dass diese einen starken Einfluss auf das Kriterium haben

Question 73

Methoden der Hinzunahme von Prädiktoren: III. Schrittweise Regression

Answer 73

über die Hinzunahme eines Prädiktors wird nach einem mathematischen Kriterium entschieden
diese Vorgehensweise wird wegen ihrer Theorielosigkeit auch skeptisch betrachtet
Vorwärtsregression: beginnt mit einem Modell, welches nur den Achsenabschnitt berücksichtigt und dann sucht der Computer nach demjenigen Prädiktor, der am meisten Variabilität des Kriteriums aufklärt; erhöht dieser Prädiktor R2, wird er beibehalten und der nächstbeste Prädiktor wird gesucht und hinzugefügt
Rückwärtsregression beginnt mit dem vollständigsten Modell und entfernt dann Prädiktoren und testet, ob R2 kleiner wird. es gibt auch eine beidseitige Variante, bei der ein Modell ständig neu bewertet wird und redundante Prädiktoren entfernt werden.

Question 74

Multiple Regression: Signifikanztests in den Ergebnissen. Was sagen sie aus?

Answer 74

Sie sagen aus, dass die Prädiktoren, die Signifikant werden zu dem Kritierum beitragen

Question 75

Korrelationsmatrix mit R erstellen

Answer 75

Cor(data.frame) dann wird eine Korrelationsmatrix erstellt
wenn ich cor(daten[,2:4]) eingeben würden, würde er die Spalten 2-4 für die Korrelationsmatrix benutzen

Question 76

Dummykodierung bei R

Answer 76

contrasts(daten$nominalskalierteVariable) <- contr.treatment(levels(daten$nominalskalierteVariable), base = eine Stufe die wir als Base aussuchen wollen einfügen als Zahl)

Question 77

Testen Sie, ob es sich die Kovariate signifikant auf den Stufen von dem Faktor unterscheidet. Was muss ich machen bei einer solchen Aufgabenstellung?

Answer 77

Testen, ob sie orthogonal zueinander sind mit. Daher eine einfache einfaktorielle Varianzanalyse machen mit aov(Kovariate ~ Faktor, data = daten)

Question 78

Testen Sie, ob es eine Interaktion zwischen Kovariante und Fakotr gibt. was muss ich bei einer solchen Aufgabenstellung machen?

Answer 78

Die Homogenität der Regressionssteigung testen. indem ich die Interaktion dem Modell hinzufüge:
Modell <- lm(Kriterium ~ Kovariate + Faktor + Kovariate:Faktor, data = daten)
Aonova(Modell, type = “II”)

Question 79

Wie Polte ich eine ANCOVA?

Answer 79

in Formelsammlung ist plot(predictorEffects(modell))
Aber es murr vorher das Paket effects installiert sein

Question 80

wie verhalten sich R² und R²adj bei Hinzunahme eines Prädiktors?

Answer 80

1. R²:
   a) bleibt entweder kleiner oder wird größer
   b) kann nicht negativ werden, da er ja die quadrierte Korrelation zwischen den vorhergesagten und empirischen Werten ist
2. R²adj:
   a) hingegen kann auch kleiner werden, wenn der neue Prädiktor nicht mehr zur Varianzaufklärung beträgt, da er bei Hinzunahme jeden Prädiktors nach unten korrigiert.
   b) Kann bei kleinem Stichprobenumfang und geringer Varianzaufklärung negativ werden

Question 81

Was ist Fchance konzeptuell?

Answer 81

Lässt man den Vorkoeffizienten im Zähler des Bruchs weg, so zeigt sich dass der Zähler die Differenz der aufgeklärten Varianz von komplexem zu reduzierten Modell quantifiziert. In Nenner steht dann die unaufgeklärte Varianz des komplexen Modells (1 - R²). Das heißt, je größer der Zuwachs in der aufgeklärten Varianz oder je kleiner der Anteil der unaufgeklärten Varianz im komplexen Modell, desto größer wird der F-Bruch

Question 82

Warum ist die polynominale Regression eine Erweiterung der einfachen linearen Regression im Sinne der multiplen linearen Regression?

Answer 82

Hierbei geht derselbe Prädiktor in unterschiedlicher Potenz mehrfach in die Regression ein. Da die Regression nun quasi aus mehreren “Prädiktoren” besteht (auch wenn diese von der gleichen Variablen stammen), ist die polynomiale Regression eine Form der multiplen linearen Regression

Question 83

wenn ich Fchance per Hand ausgerechnet habe, mit welchen Freiheitsgraden rechne ich den p-Wert aus?

Answer 83

Mit den Freiheitsgraden, die auch im F Bruch stehen als Koeffizienten nur vertauscht:
Zählerfreiheitsgrade: J = Differenz der Prädiktoren von komplexen zum einfachen Modell
Nennerfreiheitsgrade: (n - q- 1). Anzahl der Beobachtungen - Anzahl der Prädiktoren des komplexen Modells -1

Question 84

Wann stimmt es, wenn ich eine Interaktion in ein Modell mit aufnehmen und diese signifikant wird, dass der Einfluss von X1 von der Ausprägung auf X2 abhängt?

Answer 84

Das Stimmt nur, wenn wir beide Prädiktoren X1 und X2 im Modell aufgenommen haben und X1 und X2 beide signifikant geworden sind. Sonst könnte die Interaktion auch nur signifikant werden, wenn X2 signifikant wurde.

Question 85

Wie finde ich schnell heraus, welcher Prädiktor einer multiple Regression die meiste Varianz aufklärt?

Answer 85

Ich schaue mir die Korrelation der Prädiktoren mit dem Kriterium an. cor(daten$Kritierum, daten)
Der Prädiktor, der am meisten mit dem Kritierium korreliert, wir auch am meisten Varianz aufklären.

Question 86

z-standardisierte Variablen: Was ist ihr Mittelwert und ihre Standardabweichung?

Answer 86

sind variablen z standardisiert, ist ihr Mittelwert 0 und ihre Standardabweichung 1

Question 87

Was ist das (Semi-)Partialregressionsgewicht?

Answer 87

Beschreibt die zweite Interpretation der Regressionsgewichte einer multiplen Regression:
1. Die Regressionsgewichte werden als Gewichte von Regressionsresiduen aufgefasst. Diese Regressionsgewichte erhalten wir, indem wir die fragliche Prädiktoren als auch das Kriterium vom linearen Einfluss aller anderen Prädiktoren befreien.
2. Dafür geben wir:
a) das Kriterium mit den anderen Prädiktoren (ohne der fraglichen Prädiktor) in ein lm-Modell P1 <- lm(Kriterium ~ Präditkor(en), data = daten)
b) den fraglichen Prädiktor in ein lm-Modell mit den anderen Prädiktoren als Prädiktoren: P2 <- lm(fraglicher Prädiktor ~ Prädiktor(en), data = daten)
c) Als letzten schritt packen wir die residuen der beiden modell in ein lm_modell. Dabei ist das lm-Modell des Kriteriums das Kriterium:
m <- lm(P1$residuals ~ p2$residuals)
breif(m)
Nun bekommen wir für den fraglichen Prädiktor den gleichen Wert wie bei der multiplen Regression