VL 10: Gütekriterien von Multi-Item-Skalen Flashcards
Welches sind die 3 wichtigsten Gütekriterien?
Von zentraler Bedeutung sind die drei Hauptgütekriterien:
• Objektivität
• Reliabilität
• Validität
Was wird bei der Konstruktion einer Skala angestrebt?
Bei der Konstruktion einer Skala wird angestrebt, dass sie bei minimalem Aufwand (Länge, Durchführungs- und Auswertungsaufwand etc.) eine möglichst maximale Qualität aufweist.
Was ist die Objektivität?
Das Ausmass, in dem das Untersuchungsresultat unabhängig ist von jeglichen Einflüssen ausserhalb der untersuchten Person.
Welche Arten der Objektivität gibt es?
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Was ist die Durchführungsobjektivität?
Bezieht sich auf mögliche verzerrende Einflüsse aufgrund
variierender Untersuchungsbedingungen.
Tipp: Die Befragung sollte unter möglichst standardisierten Bedingungen durchgeführt werden, um eine hohe Durchführungsobjektivität zu gewährleisten.
Was ist die Auswertungsobjektivität?
Bezieht sich auf mögliche Fehler, die bei der Umsetzung der unmittelbaren Reaktionen der Befragten in Zahlwerte auftreten können.
Tipp: Möglichst eindeutige Vorgaben zur Dateneingabe und Daten- transformation (Umgang mit fehlenden Werten, Kreuzen zwischen Kästchen, Rekodierungen, Klassifikation offener Antworten etc.)
Was ist die Interpretationsobjektivität?
Bezieht sich auf mögliche Unterschiede bei den Schlussfol- gerungen der numerischen Befragungsergebnisse in Abhängig- keit von der interpretierenden Person.
Tipp: Angabe von Vergleichswerten (Mittelwerte, Streuungen & Konfidenzintervalle) und eindeutigen Skalenbeschreibungen
Was is die Reliabilität?
Die Genauigkeit, mit der eine Skala ein Merkmal misst.
oder auch:
Die Genauigkeit, mit der eine Skala das misst, was sie misst
- unabhängig davon, ob sie das misst, was sie messen soll (siehe Validität).
Welche Arten der Reliabilität gibt es?
- Retest-Reliabilität
- Paralleltest-Reliabilität
- Split-Half-Reliabilität
(- Konsistenzanalyse)
Was ist die Retest-Reliabilität?
Der Fragebogen wird den Untersuchungsteilnehmern nach einem gewissen Zeitintervall erneut vorgegeben.
Die Korrelation der ersten Messung mit der zweiten Messung wird als Index für die Reliabilität des FBs angesehen.
Ist nur sinnvoll bei „stabilen“ Merkmalen und wenn Erinnerungseffekte an die bei
der ersten Messung gegebenen Antworten weitgehend ausgeschlossen sind (die Messung soll ja in der Regel kein „Gedächtnis-Test“ sein).
Was ist die Paralleltest-Reliabilität und was sind deren Vor- und Nachteile?
Zwei möglichst vergleichbare Fragebögen werden zeitgleich vorgegeben.
Die Korrelation der beiden Fragebögen wird als Index für die Reliabilität angesehen.
Vorteil: Erinnerungseffekte (vgl. Retest-Reliabilität) werden ausgeschlossen.
Nachteil: Die Konstruktion eines guten, d.h. wirklich „parallelen“ Verfahrens ist sehr aufwändig und schwierig.
Was ist die Split-Half-Reliabilität
Der Fragebogen wird vorgelegt. Bei der Auswertung werden die Items eines Fragebogens in zwei möglichst äquivalente Teile aufgeteilt.
Die Korrelation zwischen den Antworten auf die beiden Fragebogenhälften wird bestimmt.
Was muss bei der Berechnung der Split-Half-Reliabilität beachtet werden?
Da die Split-Half-Reliabilität im Gegensatz zur Paralleltest-Reliabilität nur auf der Hälfte der Items basiert, zugleich jedoch die Reliabilität mit steigender Itemanzahl wächst, wird hierbei die tatsächliche Reliabilität unterschätzt.
- -> Die Unterschätzung der Reliabilität sollte mittels Spearman-Brown- Formel für Testverdoppelung korrigiert werden: corr rn= 2 x rn/ 1 + rn
- -> Achtung: Vor Berechnung der Split-Half-Reliabilität müssen alle Items in die selbe Richtung des zu erfassenden Merkmals gepolt sein! (Recodierung von Items)
Was ist eine Konsistenzanalyse?
Die Konsistenzsanalyse ist eine Erweiterung der Split-Half-Methode.
Hierbei wird der Fragebogen nicht nur in zwei Hälften unterteilt, sondern jedes einzelne Item als eigenständiger Fragebogenteil („Parallel-Test“) betrachtet und es werden die Zusammenhänge zwischen allen Einzelitems analysiert.
Als Standardmethode zur Berechnung der inneren Konsistenz hat sich der Alpha-Koeffizient nach Cronbach (1951) durchgesetzt. Alpha basiert im Prinzip auf einer „test-längen-korrigierten“ durch- schnittlichen Korrelation zwischen allen Items.
Achtung: Auch vor Berechnung der inneren Konsistenz müssen alle Items in die selbe Richtung des zu erfassenden Merkmals gepolt sein!
Von welchen Faktoren hängt die Höhe des Reliabilitätskoeffizienten ab?
Die Höhe von Reliabilitätskoeffizienten hängt von einer Vielzahl von Faktoren ab, z.B.:
• Itemanzahl: Je mehr Items eine Skala enthält, desto höhere Reliabilitätskoeffizienten sind bei einer Konsistenzanalyse zu erwarten
• Inhaltliche Heterogenität: Wenn die Items inhaltlich recht heterogen sind, sind niedrigere interne Konsistenzen zu erwarten
• Zeitlicher Abstand bei Retest-Methode: Bei geringerem zeitlichen Abstand zwischen den Messungen werden i.d.R. höhere Retest-Reliabilitäten erreicht.
