Grenzen des Signifikanztests

Question 1

Fisher

Was ist die Standardversion des Signifikanztest-Rituals?

Answer 1

1. Stelle eine Nullhypothese auf wie z. B. “kein(e)
   Mittelwertsunterschied(e)” oder “Null-Korrelation”, aber
   spezifiziere keine Alternativhypothese
2. Benutze 5% oder 1% als Konvention, um die
   Nullhypothese zu verwerfen
3. Wenn das Testergebnis signifikant ist, nehme Deine
   Forschungshypothese an

Question 2

Hybrid

Was ist die elaborierte Version des Signifikanztest-Rituals?

Answer 2

1. Stelle eine Nullhypothese und eine Alternativhypothese (meist
   unspezifisch, z. B. “größer” oder“ungleich”) auf
2. Benutze 5% oder 1% als Konvention, um die Nullhypothese zu
   verwerfen
3. (Optional: Stelle Überlegungen zur Teststärke [Power] an)
4. Wenn das Testergebnis signifikant ist, nehme Deine
   Forschungshypothese an
5. (Optional: Wenn das Testergebnis nicht signifikant ist, führe das
   „Post-Hoc-Poweranalyse-Ritual“ durch)

Question 3

Was ist das Post-hoc-Poweranalyse Ritual?

Answer 3

• Wenn das Testergebnis nicht signifikant ist, führe eine Post-hoc Poweranalyse durch
• Benutze dazu den empirisch gefundenen Effekt als Schätzung des Populationseffekts
• Finde heraus, dass die Power zu niedrig war, um diesen Effekt (= geschätzter
  Populationseffekt) zu entdecken (bei symmetrischen Prüfverteilungen: Power < 50%)

Das Problem: Der empirisch gefundene Effekte kann stark vom Populationseffekt
abweichen.
–> sinnvoller: Post-Hoc-Poweranalyse mit theoretisch hergeleitetem Effekt
–> Noch sinnvoller: A priori Poweranalyse

Question 4

Was sagt ein Signifikanztest-Ergebnis aus?

Answer 4

Wahrscheinlichkeit des Ergebnisses unter der Bedingung, dass die H0 gilt –> p-Wert

Question 5

Auf welche Frage gibt das Signifikanztest-Ritual eine Antwort?

Answer 5

• Kann das noch Zufall sein?
• p-Wert sehr klein –> kein Zufall mehr (Sternchenstrategie: mind 1 Sternchen sonst Misserfolg)

Question 6

Was sind verbreitete Fehlannahmen bei der Interpretation von p-Werten?

Answer 6

• p-Werte sind Indikatoren für die Größe eines Effekts
• p-Werte erlauben eine Abschätzung der Wahrscheinlichkeit,
  daß die Nullhypothese/Alternativhypothese zutrifft
• p-Wert: Wahrscheinlichkeit, mit der man sich hinsichtlich
  seiner Schlussfolgerung (H0 ist falsch) geirrt hat
  („Irrtumswahrscheinlichkeit“)
• p-Werte erlauben eine Abschätzung der Wahrscheinlichkeit,
  dass ein Ergebnis replizierbar ist

Question 7

Warum ist der p-Wert kein Indikator für die Größe eines Effekts?

Answer 7

Keine Aussage über praktische Bedeutsamkeit
Bei einem bestimmten p-Wert (X):
* X und große SP –> kleinerer Effekt
* X und kleine SP –> größerer Effekt

P-Wert allein sagt nichts über Effektgröße aus, dazu muss man auch n kennen!

Question 8

Warum erlaubt der p-Wert keine Abschätzung der WS, dass die H0/H1 zutrifft?

Answer 8

p betrifft das Ergebnis, nicht die Wahrscheinlichkeit. Die Annahme mit der man in den Test geht, ist dass die WS für die H0 100% ist.

p(Ergebnis I H0) ist nicht p(H0 I Ergebnis)

Question 9

Warum ist der p-Wert keine Irrtumswahrscheinlichkeit?

Mit p kann H0 trotz des signifikanten Ergebnisses richtig sein

Answer 9

Die Irrtums-WS ist alpha, wird vor dem Test festgelegt hat nur dann Bedeutung, wenn die H0 zutrifft (wenn die H1 wahr ist, kann man nur den beta-Fehler begehen)

p = Produkt der Daten
p erlaubt nur WS-Aussagen über die Daten, nicht die Hs

Question 10

Warum erlauben p-Werte keine Aussagen darüber, ob das Ergebnis replizierbar ist?

Answer 10

Das ist abhängig von der Power. Die ist abhängig vom tatsächlichen Populationseffekt, der zwar geschätzt werden kann, aber eigentlich theoretisch hergeleitet werden muss.

Publication Bias –> Überschätzung des Populationseffekts –> Überschätzung der Power in Replikationen

Question 11

Was ist die begrenzte Aussagekraft von richtig interpretierten Signifikanztestergebnissen?

Answer 11

• Bietet nur eingeschränkt Fragemöglichkeiten (nur solche, die zu einem Signifikanztest passen, wie z.B. Ja/Nein Antworten, oder Fragen, die eine mxn Struktur der Welt voraussetzen)
• Liefert nur stark eingeschränkte Antworten/Passung zwischen p-Werten und Theorien/Hs
• keine Aussage über praktische Bedeutsamkeit

Question 12

Was sind Ergänzungen und Alternativen zum Signifikanztest?

Answer 12

• KIs
• Grafische Analyse
• Resampling Verfahren
• Bayesianischer Ansatz
• Experimentelle Einzelfallanalyse
• Effektgrößen und Metaanalyse
• ALM
• Qualitative Methoden
• Präzisere Theorien/Modelle

Question 13

Was sind die Vorteile von Konfidenzintervallen?

Answer 13

• beinhalten dieselben Infos wie Signifikanztests
• bieten eine Schätzung des entsprechenden Populationsparameters (MW des Intervalls)
• Machen darüber noch Aussagen über die Genauigkeit der Schätzung (Länge des Intervalls)
• Aussage immer über das Intervall, nicht über den Wert (Wert liegt darin –> falsch)

Question 14

Was sind die MAGIC Kriterien?

Answer 14

Rolle von Statistik:
M - Größe von Effekten
A - Detailgenauigkeit
G - Breite der Schlussfolgerungen
I - Potenzial für Meinungsänderung
C - Sauberkeit der Methodik, theoretische Kohärenz

Signifikanztests in erster Linie ein Hilfsmittel, das die Glaubwürdigkeit unterstützen kann; oft nicht mehr konsistent mit dem Modus Tollens

Question 15

Welche Faktoren beeinflussen das Ergebnis eines Signifikanztests?

Answer 15

Da SPVs die Grundlage sind, haben alle Faktoren, die die Form und Abstände der Verteilungen beeinflussen, auch Einfluss auf die Power
* Populations-Effektgröße
* n
* alpha und beta Fehler abwägen
* Minimierung des experimentellen Fehlers
* Homogenität der Population

Question 16

Was ist der Inhalt jeder Nullhypothese im Signifikanztest?

Answer 16

Effektgröße = 0

Question 17

Wovon hängt der Test ab?

Answer 17

• alpha
• n
• Effektgröße
• (gerichtete H)

Wenn der Strich für alpha an der gleichen Stelle bleibt, kann ich die Power durch eine größere SP erhöhen –> geringere Streuung –> Verteilungen werden schmaler

Question 18

Was ist eine SPV?

Answer 18

Hypothetische Verteilung, die entstehen würde, wenn man unendlich oft aus der Population ziehen würde und den Kennwert ermitteln würde.

SD der SPV = SE

Question 19

Ist p = alpha?

Answer 19

Nein! Ich vergleiche p mit alpha

Question 20

Was sind die Vorteile von KIs?

Answer 20

• Genauigkeit durch Länge
• MW (Punktschätzer für den Effekt)
• Signifikanz ablesbar

Question 21

Wann ist ein Ergebnis signifikant? (KI)

Answer 21

Wenn das KI nicht die 0 enthält.

Der Wert der H0 darf nicht vom KI überdeckt werden, sonst kommt es auch in Frage.

Question 22

Was bedeutet es, wenn sich KIs nicht überlappen?

Answer 22

signifikant