Gütekriterien 1 Flashcards
Testbatterie - Definition
Kombination aus unterschiedlichen Einzeltests (z.B.: Intelligenztests, die verschiedene Bereiche der Intelligenz erfassen)
Unterschied zwischen Itemvarianz und -trennschärfe
Varianz = Differenzierungfähigkeit eines Items = Streuung (SD) –> Wie gut differenziert das Item die Merkmalsträger?
Trennschärfe = Die Korrelation des Items mit dem Testwert (also allen anderen Items der Skala) –> wie gut repräsentiert das Item die Skala?
Übersicht Gütekriterien: Objektivität, Validität, Reliabilität, Normierung & weitere Gütekriterien
- Objektivität: Wie stark hängt das Ergebnis davon ab, wer die testdurchführung leitet, den Test auswertet und interpretiert?
- Reliabilität: Wie genau oder zuverlässig ist das Messergebnis? Wie stark verändert sich das Ergebnis bei einer Testwiederholung?
- Validität: Wie gut gelingt es genau das Merkmal zu messen, das mit dem test gemessen werden soll (und nicht ein anderes)?
- Normierung: wie gut lässt sich das Testergebnis mit den Ergebnissen anderer Menschen vergleichen?
- Weitere Gütekritieren:
a) Fairness
b) Ökonomie
c) Nützlichkeit
d) Zumutbarkeit/ Soziale Akzeptanz
Objektivität -Definition
Das Ergebniss eines diagnostischen Verfahren kommt unabhängig davon zustande, wer die Untersuchung, die Auswertung und die Interpretation durchführt
Objektivität - Arten
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
Objektivität - 1. Durchführungsojektivität: Definition, Anweisungen im Testmanual & Berechnung
- Definition: Durchführungsbedingungen müssen genau spezifiziert werden –> Durchführung unabhängig von VL immer gleich (Ausschluss des Einflusses von Störvariablen)
- Anweisungen im Testmanual:
a) Zeitvorgaben
b) Benötigte Materialien
c) Umgang mit Fragen und Störungen
d) Standardierte Instruktionen - Berechnung:
a) wird (kann) i.d.R. nicht nummerisch angegeben / bestimmt werden
b) Durchführungsobjektivität darf als hoch/ gegeben angesehen werden, wenn alle Bedingungen festgelegt sind, die sich auf das Testverhalten auswirken können
Beispiel s. F. 14
Objektivität - Auswertungsobjektivität
- Definition: Genaue Abgaben, wie eine Antwort (nummerische Abgabe) zu verstehen ist, müssen vorliegen (= Auswertungsregeln)
- Das Testergebnis hängt nicht von Auswerter ab:
a) richtig oder falsch (z.B.: Leistungstests)
b) hoch oder niedrig (z.B.: Persönlichkeitstests)
c) gegeben oder nicht gegeben (z.B.: klinische Diagnose) - Berechnung:
a) Auswertungsübereinstimmung: kann numerisch bestimmt und somit angegeben werden
b) Auswertungsobjektivität darf als hoch/ gegeben angesehen werden, wenn klare Anweisungen und Hilfsmittel (z.B.: Schablonen, Computertests) zur Auswertung vorliegen - Probleme: insbesondere, wenn Antworte offen sind –> erfordert detallierte Auswertungsregeln (z.B.: WISC-V) s. F. 16
Objektivität - Interpretationsobjektivität
- Definition: Kalre Vorgaben, was individuelle (numerische) Rohwerte bedeuten (–> Normierung)
- Testergebnis unabhängig von Ort, Zeit, VL und Auswerter:
a) Lesitung in einem Test: unterdurchschnittlich, normal, überdurchschnittlich (gemindert, normal, hochbegabt)
b) Persönlichkeitsausprägung: normal vs. extrem
c) Anzahl gegebener Symptome: Störungsbild - Berechnung:
Interpretationsobjektivität darf als hoch / gegeben angesehenw erden, wenn genau beschrieben ist, wie man von einem Rohwert zu einer Aussage über die Merkmalsausprägung gelangt (Normtabellen, Kritierien)
Beispiel s. F. 18/ 19
Reliabilität - Definition
Die Genauigkeit einer Messung; ein Testverfahren ist perfekt reliabel, wenn die damit erhaltenen Testwerte frei von zufälligen Messfehlern sind. Das Testverfahren ist umso weniger reliabel, je größer die Einflüsse von zufälligen Messfehlern sind
= Messgenaugigkeit
Beispiel: mehrere Waagen stimmen in ihre Anzeige überein/ eine Waage zeigt immer das gleich, wenn ich das gleich drauflege
Reliabilität - Reliabilitätskoeffizient
= Korrelationskoeffizient
Wertebereich zwischen -1 und 1
1 = Freiheit von Messfehlern (perfekte Reliabilität)
0 = Testergebnis ist ausschlißlich durch Messfehler zustandegekommen
negativer Wert = es wurde vergessen Ites zu rekodieren oder ähnliches
Reliabilität - Reliabilitätskoeffizient
= Korrelationskoeffizient
Wertebereich zwischen -1 und 1
1 = Freiheit von Messfehlern (perfekte Reliabilität)
0 = Testergebnis ist ausschlißlich durch Messfehler zustandegekommen
negativer Wert = es wurde vergessen Ites zu rekodieren oder ähnliches
s. F. 22
Reliabilität - Methoden der Reliabilitätsschätzung
- Retest-Methode: der gleiche Test wird 2 mal dargeboten
- Paralleltest-Methode: Der Test und eine parallele Version desselben werden verwendet
- Spilt-Half-Test bzw. Testhalbierungsmethode: Ein Test wird in 2 Teile “zerlegt”; es wird die Korrelation der beide Testteile geprüft
- Interne Konsisitenz: Jedes Items wird als Testteil betrachtet
Reliabilität: Methoden der Reliabilitätsschätzung: 1. Retest Reliabilität - Definition, Bestimmung, Annhahme
- Definition: Dasselbe Testverfahren wird an derselben Stichprobe mehrfach durchgeführt
- Bestimmung:
Reliabilität ergibt sich aus der Korrelation der Testwerte der unterschiedlichen Druchgänge (rtt) - Annahme: die wahren Werte der Person haben sich zwischen den Testdruchführungen nicht verändert
s. F. 23
Reliabilität: Methoden der Reliabilitätsschätzung- Retest Reliabilität: Wann anwenden und wovon ist der Reliabilitätsindex abhängig
- Höhe des Reliabilitätsindex ist abhängig von:
a) Stabilität des/ der Merkmals/Merkmalsträger
b) Länge des Messintervalls - Anwenden bei:
a) kruzen Messzeitintervallen (wenige Wochen bis Monate), aber Vorsicht: Erinnerungs- und Übungseffekte
b) Bereite Maße mit wenigen Items zur Erfassung komplexer Merkmalskonstrukte
c) Erfassung relativ stabiler Merkmale
Reliabilität: Methoden der Reliabilitätsschätzung - Paralleltestreliabilität: Definition, Bestimmung und Annahme
- Definition: Parallele Testformen werden an derselben Stichprobe durchgeführt
- Bestimmung:
Reliabilität ergibt sich aus der Korrelation der Testwerte der beiden Tests - Annahme: Beide Tests messen das gleiche Merkmal
s. F. 25