Kontraste und Post-hoc Tests

Question 1

Einführung

Answer 1

• Varianzanalysen prüfen Omnibus-Hypothesen: Es werden also alle Daten auf einmal mit einbezogen
• Ist eine Varianzanalyse signifikant, bedeutet das: Es gibt irgendeinen Unterschied in der Population
• Welcher Unterschied ist aber offen! –> Somit ist die Aussage einer Varianzanalyse alleine nicht ausreichend

Zwei Fälle von spezifischen Fragestellungen:

Fall 1: es gibt vor der Untersuchung spezifische Hypothesen / Fragestellungen

• In diesem Fall ist die Varianzanalyse obsolet.
• Es werden Verfahren angewendet, die direkt spezifische Hypothesen testen.
  
  • Bei paarweisen Vergleichen: t-Test (einseitig)
  • Bei mehr als 2 Gruppen: (a priori) Kontrastanalyse
    
    • ​Wendet man die Kontrastanalyse auf nur zwei Gruppen an, so entspricht dies dem t-Test

Fall 2: es gibt vor der Untersuchung keine spezifischen Hypothesen

• man möchte nach einer Varianzanalyse wissen, welche Unterschiede für die Signifikanz verantwortlich zu machen sind –> exploratives Testen zur Hypothesengenerierung.
  
  • Bei paarweisen Vergleichen: t-Test (zweiseitig)
  • Bei mehr als 2 Gruppen: Post-hoc-Test
    
    • Da keine spezifischen Hypothesen vorliegen, werden meist alle möglichen Vergleiche durchgeführt
• die Power ist bei post-hoc Einzelvergleichen wesentlich geringer als beim Prüfen vorher festgelegter Fragestellungen

Question 2

Kontrastanalyse

Answer 2

Kontrastanalyse:

• Synonym: geplante Kontraste oder a priori Kontraste
• Kontrast = gerichteter Vergleich oder Differenz zwischen zwei oder mehr Mittelwerten
• Die Kontrastanalyse ist formal ähnlich der ANOVA eine Erweiterung des t-Tests.
• Es werden Koeffizienten lambda in die Rechnung mit aufgenommen, die den gewünschten Vergleich spezifizieren.
• Es ist möglich alle, einige oder auch nur zwei Mittelwerte in einem Kontrast zu testen.
• Wendet man die Kontrastanalyse auf nur zwei Gruppen an, so entspricht dies dem t-Test.

Kaffebeispiel:

• Gruppe A: Kaffe, B: koffeinfreier Kaffe, C schwarzes Getränk
• Hypothese H1:
  
  • Der Geschmack des Getränks beeinflusst die subjektive Aktivierung
  • H1: (A + B) / 2 > C
• Kontrastkoeffizienten lambda:
  
  • λA = 0,5, λB = 0,5 und λC = -1

Prüfgröße:

• Prüfgröße der Kontrastzanalyse ist entweder t (wie beim t-Test) oder F (wie bei der ANOVA)

Question 3

Kontrastanalyse vs ANOVA

Answer 3

• Die Kontrastanalyse steht in einer engen Beziehung zur Varianzanalyse
• Die Ergebnisse der Kontrastanalyse sind wesentlich extremer als die der ANOVA (=größere Teststärke)
• Hauptursache:
  
  • Die Kontrastanalyse hat generell eine höhere Teststärke, da wir die QS Kontrast nur durch einen Freiheitsgrad teilen
  • Ein einzelner Kontrast, bzw. eine QS Kontrast kann aber maximal den Wert der QS zw annehmen
  • Damit können die F-Werte in der Kontrastanalyse zusammen k-1 mal größer werden

Question 4

Orthogonalität von Kontrasten

Answer 4

Orthogonal bedeutet:

• Ein orthogonaler Kontrast klärt ausschließlich eigene (inkrementelle) Varianz auf
• Wenn alle Kontraste orthogonal sind, dann gilt:
  
  • Varianz zwischen = Die Summe der Kontraste aller möglichen Konstellationen zwischen den Gruppen
• Bei nicht-orthogonalen Kontrasten ist deren Summe größer als die Varianz zwischen - sie testen also teilweise doch ein und die selbe Fragestellung. Anders gesagt: Sie klären teilweise die gleiche Varianz auf.
• Es gibt immer nur k-1 unabhängige orthongonale Kontraste

Vorteile von orthogonalen Kontrasten:

• Die Kontraste sind leichter zu interpretieren
• Man geht in jedem Fall dem Problem des multiplen Testens aus dem Weg

Nachteile von orthogonalen Kontrasten:

• Orthogonale Kontraste sind eingeschränkt flexibel.
• Hat man den ersten Kontrast gebildet, so müssen alle weiteren sich danach richten (sie dürfen nicht korrelieren!).

Question 5

Post-hoc-Tests

Answer 5

(Synonym: Multiple/s Testen/Vergleiche, ungeplante Kontraste)

Ziel:

• ​aufdecken, wieso die Varianzanalyse signifikant geworden ist
• Post-hoc-Tests korrigieren daher i.d.R. das α-Niveau im Hinblick auf alle Vergleiche.
• Die verschiedenen Tests bewältigen dies auf unterschiedliche Weise.
• Post-hoc-Tests unterscheiden sich in der Power und in der Robustheit gegenüber Verletzungen der Voraussetzungen

Voraussetzungen:

• I.d.R.: Varianzanalyse ist signifikant geworden
• ist die Varianzanalyse nicht signifikant, dann ist es nicht üblich post-hoc zu testen (obwohl unter Umständen einzelne Paarvergleiche signifikant sein können)
• Alle Voraussetzungen sind i.d.R. bereits durch die der Varianzanalyse abgedeckt

Tests:

• Bonferroni-t-Test
• Tukey-HSD (honestly significant difference)
• Scheffe-Test
• uvm

Question 6

Bonferroni-Test

Answer 6

• Ist ein gewöhnlicher t-Test, bei dem einzig das a-Niveau korrigiert wird.
  
  • Die bekannte Prüfgröße wird mit einem anderen kritischen Wert verglichen
• Wenn a = 0,05 ergibt das bei 3 Vergleichen: 0,0167
  
  • das ist allerdings nur eine Schätzung
  • Die Dunn-Sidak Methode ist die exakte Alternative
  • Die Schätzung ist komfortabler, aber auch (fast) immer etwas konservativer

Question 7

Turkey HSD – Honestly Significant Difference

Answer 7

• Dieser Test basiert auf einer eigenen Verteilung: der „studentized range Verteilung“
• Mit dieser Verteilung kann bei gegebenen k und n die maximale Differenz zwischen zwei Mittelwerten berechnet werden, die gerade noch zu einem n.s. Ergebnis führt.
• Die HSD wird eher selten per Hand berechnet (die studentized range Verteilung ist oft nicht tabelliert)
• hohe Teststärke

Question 8

Scheffé-Test

Answer 8

• Der Scheffé-Test ist das post-hoc Pendant zur Kontrastanalyse.
• Er kann sowohl paarweise als auch Vergleiche mit mehr als zwei Gruppen darstellen.
• Der kritische Wert ist aber nicht F, sondern S
  
  • S ist ein leicht abgewandeltes F
  • S korrigiert um die Anzahl der möglichen Vergleiche
• Vorteile des Scheffé-Tests:
  
  • sehr konservativ
  • sehr robust gegenüber Verletzungen der Voraussetzungen