9. Statistische Tests

Question 1

Wie laufen statistische Tests ab?

Answer 1

• Aufstellung der Forschungsfrage
• Formulierung von Null- und Alternativhypothese
• Entscheidung für einen geeigneten statistischen Test
• Festlegen des Signifikanzniveaus (z.B. 0,05)
• Durchführen der statistischen Testanalyse: Berechnung des p-Werts
• statistische Entscheidung (z.B.: P < 0,05 => Verwerfung der Nullhypothese und Annehmen der Alternativhypothese)
• Interpretation des Testergebnisses

Question 2

Was wäre ein Beispiel für den Ablauf?

Answer 2

Forschungsfrage:
- Unterscheiden sich Personen mit und ohne Hüftarthrose in ihrer Geschwindigkeit?

Nullhypothese:
- Personen mit und ohne Hüftarthrose gehen gleich schnell
Alternativhypothese:
- Personen mit und ohne Hüftarthrose gehen unterschiedlich schnell

Question 3

Welche Entscheidungskriterien gibt es bei der Auswahl eines geeigneten statistischen Tests?

Answer 3

• Outcome?
  
  • Skala?
  • Normalverteilt?
• Gruppen?
  
  • Anzahl?
  • abhängig/unabhängig?

Beispiel:

• Outcome: Gehgeschwindigkeit
  
  • Skala: stetig/kontinuierlich
  • normalverteilt: ja (aus Erfahrung)
• Gruppen
  
  • Anzahl: 2
  • abhängig/unabhängig: unabhängig
    
    • Personen mit Hüftarthrose
    • Personen ohne Hüftarthrose
• statistischer Test: t-Test

Question 4

Was ist der exakte Test nach Fisher?

Answer 4

• geeignet für binäre Daten in unverbundenen Stichproben (2x2-Tafel) zum Vergleich der Behandlungseffekte oder der Nebenwirkungshäufigkeit in zwei Behandlungsgruppen

Question 5

Was ist der Chi-Quadrat-Test?

Answer 5

• ähnlich dem exakten Test nach Fischer (allerdings ungenauer), kann auch mehr als zwei Gruppen sowie mehr als zwei Kategorien der Zielgröße miteinander vergleichen (Voraussetzung: Fallzahl etwa >60, erwartete Anzahl in jedem Feld: >/= 5)

Question 6

Was ist der Student’s t-Test?

Answer 6

• Test für kontinuierliche Daten, untersucht, ob die Erwartungswerte zweier Gruppen gleich sind unter Annahme der Normalverteilung der Daten. Es gibt den Test für gepaarte und ungepaarte Gruppen

Question 7

Was ist ein beta-Fehler und was ist beta?

Answer 7

• man lehnt die Nullhypothese nicht ab, obwohl sie falsch ist
• beta: ist die Wahrscheinlichkeit, die Nullhypothese nicht abzulehnen, obwohl sie falsch ist

Question 8

Was ist ein alpha-Fehler und was ist alpha?

Answer 8

• man lehnt die Nullhypothese ab, obwohl sie wahr ist

- alpha: die Wahrscheinlichkeit, die Nullhypothese abzulehnen, obwohl sie wahr ist

Question 9

Was ist Power?

Answer 9

• Power: Wahrscheinlichkeit, die Nullhypothese abzulehnen, wenn sie falsch ist (bei korrekter Entscheidung)

Question 10

Was ist ein p-Wert?

Answer 10

• p=probability=Wahrscheinlichkeit
• p-Wert: 0-1
• Wahrscheinlichkeit der beobachteten Daten, wenn die Nullhypothese wahr ist
• zeigt, wie extrem das Ergebnis ist
• je kleiner der p-Wert, desto mehr spricht das Ergebnis gegen die Nullhypothese
• wenn p-Wert unter Signifikanzniveau: Nullhypothese wird abgelehnt
• Ergebnis eines statistischen Signifikanztests zur Prüfung einer vorab aufgestellten (Null-) Hypothese
• wenn kleiner als vorab gewähltes Signifikanzniveau alpha, gilt Ergebnis als statistisch signifikant
• statistische Signifikanz nicht gleich klinische Relevanz
• nicht statistisch signifikant bedeutet nicht, dass kein Unterschied vorhanden ist

(- mathematisch korrekt: Wahrscheinlichkeit der beobachteten oder extremer Daten, wenn die Nullhypothese wahr ist und das angenommene Modell richtig ist, und die Stichprobe zufällig ausgewählt wurde, ohne Bias, Confounding etc.)

Question 11

Wie wird es interpretiert, wenn der p-Wert unter dem Signifikanzniveau liegt?

Answer 11

• es gibt einen statistisch signifikanten Unterschied in der Gehgeschwindigkeit zwischen Personen mit oder ohne Hüftarthrose
• Personen mit Hüftarthrose gehen signifikant langsamer als Personen ohne Hüftarthrose

Question 12

Wovon ist der p-Wert abhängig?

Answer 12

• von Fallzahl, Streuung und Gruppenunterschied

Question 13

Was bedeutet “statistische Signifikanz”?

Answer 13

• Wahrscheinlichkeit, dass der beobachtete Unterschied zufällig ist (und nicht aufgrund eines echten Unterschieds in den Gruppen zustande kommt), ist kleiner als das Signifikanzniveau (z.B. 5%)

Question 14

Was bedeutet “klinische Relevanz”?

Answer 14

• der beobachtete Unterschied zwischen den Gruppen ist von Nutzen für den Patienten
• wird von Ärzten und Kliniken bewertet oder eingeschätzt werden

Question 15

Wann ist ein Unterschied statistisch signifikant?

Answer 15

• p-Wert < Signifikanzniveau alpha

Question 16

Wann ist ein Unterschied klinisch relevant?

Answer 16

• leider keine universelle Antwort
• Festlegung schwieriger als statistische Signifikanz
• inhaltlich aber wichtiger!

Question 17

Was ist ein Beispiel für einen Unterschied, der statistisch signifikant , aber nicht klinisch relevant ist?

Answer 17

• Patienten, die Gemcitabin + Erlotinib erhielten, lebten signifikant länger als Patienten , die Gemcitabin + Placebo erhielten
• medianes Überleben:
  
  • Erlotinibgruppe: 6,24 Monate
  • Placebogruppe: 5,91 Monate
  • Unterschied: 9,9 Tage
• > immer die absoluten Zahlen betrachten
• > Was bedeutet ein Unterschied in der Praxis?
• > mit einer genügend großen Stichprobe wird jeder (triviale) Effekt signifikant

Question 18

Wie lässt sich das Thema “statistische Tests” zusammenfassen?

Answer 18

• basieren auf Null- und Alternativhypothese
• Ziel: aus Studiendaten eine Entscheidung über die Gültigkeit oder Ungültigkeit der Hypothese zu treffen
• Ergebnis: p-Wert (Wahrscheinlichkeit der beobachteten Daten, unter der Annahme, dass die Nullhypothese wahr ist)
• Limitationen: Signifikanz =/ Relevanz

Question 19

Was ist die Nullhypothese?

Answer 19

• zumeist Formulierung der Gleichheit (kein Effekt)

Question 20

Was ist die Alternativhypothese?

Answer 20

• Formulierung eines Unterschieds (Effekt)

Question 21

Welche Informationen benötigt man für die Auswahl eines adäquaten statistischen Tests?

Answer 21

• Zahl der zu analysierenden Stichproben
• > Unterscheidung in “1, 2 oder mehr als 2 Stichproben” genügt; korrekte Zahl ergibt sich aus Fragestellung
• Abhängigkeitsstatus der Stichproben
• > ergibt sich aus Studiendesign; bei Vergleich unverbundener Gruppen liegt unabhängige Variable vor
• Messniveau und Verteilung der zu analysierenden Zielvariable
• > Unterscheidung in “binär, nominal, ordinal, stetig oder zensiert” reicht

Question 22

(Quizfrage:) Das Signifikanzniveau alpha…

Answer 22

• …legt man fest

Question 23

(Quizfrage:) Die Auswahl des zu verwendenden statistischen Tests ist unabhängig…

Answer 23

• …vom festgelegten Signifikanzniveau

Question 24

(Quizfrage:) Der p-Wert ist die Wahrscheinlichkeit, dass…

Answer 24

• …sich die Daten wie beobachtet realisieren, falls die Nullhypothese in Wirklichkeit zutrifft

Question 25

(Quizfrage:) Die klinische Relevanz ist umso größer…

Answer 25

• …desto größer der Unterschied zwischen den verglichenen Gruppen ist.