2. Multiple Regression

Question 1

Je mehr Prädiktoren, desto…

Answer 1

besser die Prädiktion

Question 2

Ziele:

Answer 2

1. Möglichst viel Varianz am Kriterium erklären

2. Möglichst wenige Prädiktoren verwenden

Question 3

Multiple Regression: Definition

Answer 3

Eine lineare Regression mit mehreren Prädiktoren

Question 4

Multiple Regression: Methode

Answer 4

Methode der kleinsten Quadrate

Question 5

Multiple Regression: Voraussetzungen

Answer 5

• intervallskaliertes Kriterium

- mehrere intervallskalierte oder dichotome Prädiktoren

Question 6

Multiple Determinationskoeffizient: Definition

Answer 6

der Anteil der Kriteriumvarianz , der durch alle Prädiktoren vorhergesagt werden kann

Question 7

Wie werden die ß-Koeffizienten bei mehreren Prädiktoren bestimmt?

Answer 7

• SPSS

Question 8

Methode der kleinsten Quadrate

Answer 8

Für einen Datensatz (eine Punktewolke) werden und so gewählt, dass
der quadrierte Vorhersagefehler über alle Probanden minimal ist:

Question 9

Methode der kleinsten Quadrate: warum wird der Vorhersagefehler quadriert?

Answer 9

damit:
(1) Die Abweichungswerte immer positiv sind.
(2) Große Abweichungen stärker berücksichtigt werden als kleine
Abweichungen.

Question 10

Multikollinearität: resultierende Problem

Answer 10

“biased estimate” = Capitalization of Chance

Question 11

Capitalization of Chance

Answer 11

R2 in der Stichprobe überschätzt den Populationszusammenhang

Question 12

Faktoren die den “Bias” beeinflüssen (Capitalization of Chance)

Answer 12

1) Anzahl Prädiktoren
Je mehr Prädiktoren, desto größer die Verzerrung = Capitalization
of Chance

2) Höhe der Korrelationen zwischen den Prädiktoren
Je höher die Multikollinearität, desto größer Verzerrung

3) Stichprobengröße
Je größer N, desto kleiner die Verzerrung

Question 13

Capitalization of Chance: Lösungen

Answer 13

• • Kreuzvalidierung
• • Korrigiertes R2 (SPSS)
• • größeres N
• • nur relevante und möglichst unkorrelierte Prädiktoren aufnehmen

Question 14

Signifikanztest der multiplen

Regression

Answer 14

• F-Test
• beruht auf Zerlegung der Varianz des Kriteriums in einen erklärten ( SS𝒓𝒆𝒈) und einen nicht erklärten (SS𝒓𝒆𝒔) Teil.
• Wenn F𝒆𝒎𝒑 > F𝒌𝒓𝒊𝒕 ist das Testergebnis signifikant
• Die Prädiktoren weisen dann insgesamt einen bedeutsamen
  Zusammenhang mit dem Kriterium auf.

Question 15

Quadratsumme

Answer 15

( SS = „sum of squares“)

Question 16

Multiplen Regression: Strategien

Answer 16

• a priori

- a posteriori

Question 17

a priori

Answer 17

“Inhaltliche Auswahl”: Prädiktoren aus Theorie ableiten

Question 18

a posteriori

Answer 18

• Alle möglichen Untermengen
  – Vorwärtsselektion
  – Rückwärtselimination
  – Schrittweise Regression

Question 19

a posteriori: “alle mögliche Untermengen”

Answer 19

• Bildung aller möglichen Kombinationen der verfügbaren Prädiktoren und Berechnung derer Regressionsgleichungen
  – Auswahl der Regressionsgleichung mit dem höchsten erklärten Varianzanteil

Question 20

a posteriori: “Vorwärtsselektion”

Answer 20

– Aufnahme der Prädiktoren nacheinander;
– Beginn mit Prädiktor mit höchsten inkrementellen Validität;
– Stopp, wenn kein Prädiktor mehr inkrementelle Validität besitzt

Question 21

a posteriori: “Rückwärtselimination”

Answer 21

• Aufnahme aller Prädiktoren

- dann, Elimination von Prädiktoren ohne inkrementelle Validität

Question 22

a posteriori: “Schrittweise Regression”

Answer 22

– Kombination aus Vorwärtsselektion und Rückwärtselimination:
– Aufnahme eines Prädiktors  anschließend Überprüfen der inkrementellen Validität aller aufgenommen Prädiktoren
- Entfernen nicht relevanter Prädiktoren

Question 23

Strategien: “Inhaltliche Auswahl” Vorteile

Answer 23

• Nur eine Regressionsanalyse 
• keine Captilization of
  Chance /Alphafehlerinflationierung

Question 24

Strategien: “Inhaltliche Auswahl” Nachteile

Answer 24

- Einschluss von nicht
relevanten Prädiktoren;
- Multikollinerarität möglich;
- Vergessen von relevanten
Prädiktoren
--> Sollte evidenzbasiert sein

Question 25

Strategien: "Untermengen" Vorteile

Answer 25

Rechnerisch optimale Kombination

Question 26

Strategien: "Untermengen" Nachteile

Answer 26

- viele Berechnungen --> Aufwand | - Capitalization of Chance --> Alphafelhlerinflationierung

Question 27

Strategien: "Vorwärtsselektion" Vorteile

Answer 27

``` - Max. so viele Regressionsanalysen wie Prädiktoren; - Aufnahme von Prädiktoren, die der Vorhersage nützlich sind; - sehr ökonomisch ```

Question 28

Strategien: "Rückwärtselimination" Vorteile

Answer 28

``` - Am Ende nur Prädiktoren mit inkrementeller Validität; - Effektiver als Vorwärtsselektion bei hoher Multikollineraität ```

Question 29

Strategien: "Vorwärtsselektion" Nachteile

Answer 29

``` - Möglicherweise Verlust von inkrementeller Validität des ersten Prädiktors durch Zunahme weiterer (Multikollinearität) ```

Question 30

Strategien: "Schrittweise Regression" Vorteile

Answer 30

- Ausschluss von anfänglich bedeutsamen Prädiktoren möglich; - Stark korrelierende Prädiktoren werden bevorzugt - Minimum an Prädiktoren (nur welche mit inkrementeller Validität)

Question 31

Strategien: "Schrittweise Regression" Nachteile

Answer 31

- Systematische Erhöhung durch Captilization of Chance --> gefundene Prädiktoren können bei Kreuzvalidierung oft nicht bestätigt werden; - Wenig theoriegeleitet

Question 32

welche auswahlmethode führt zu einer einfachen regressionsgleichung?

Answer 32

schrittweise

Question 33

wieso gibt es nur eine geringe gefahr der alpha-fehler-kumulierung bei schrittweise regression?

Answer 33

nur wenige doppelte iterationen

Question 34

was für eine SP-Größe ist empfohlen?

Answer 34

N/k > 20 k = anzahl der prädiktoren

Question 35

beschreibe rückwärtselimination

Answer 35

- alle Prädiktoren werden in die Regression eingeschlossen - in jedem Schritt wird jeweils der Prädiktor, der am wenigsten zur Vorhersage beiträgt, weggelassen - diese Schritte werden wiederholt, bis es zu einer signifikanten Verschlechterung der Vorhersage kommt

Question 36

Erklären Sie warum R² von Modell 1 bis 7 abfällt, des korrigierte R² aber ansteigt!

Answer 36

fällt: - weil Prädiktoren, die einen (nicht-signifikanten) Teil des Kriteriums vorhersagen, weggelassen werden R2korr steigt: - weil die Schrumpfungskorrektur wegen der geringeren Anzahl an Prädiktoren kleiner ausfällt

Question 37

Schrittweise Regression: | Vorteile

Answer 37

Minimum an Prädiktoren; Exploratives Vorgehen möglich