Gütekriterien 1

Question 1

Testbatterie - Definition

Answer 1

Kombination aus unterschiedlichen Einzeltests (z.B.: Intelligenztests, die verschiedene Bereiche der Intelligenz erfassen)

Question 2

Unterschied zwischen Itemvarianz, Itemschwierigkeit und -trennschärfe

Answer 2

Itemvarianz = Differenzierungfähigkeit eines Items = Streuung (SD) –> Wie gut differenziert das Item die Merkmalsträger?

Trennschärfe = Die Korrelation des Items mit dem Testwert (also allen anderen Items der Skala) –> wie gut repräsentiert das Item die Skala?

Itemschwierigkeit = prozentualer Anteil richtiger (bzw. zustimmender) Antworten)
–> Itemschwierigkeit und -varianz hängen quadratisch zusammen und treffen auch Aussagen über die Differenzierungfähigkeit des Items, sind aber nicht dasselbe, da die Varainz niedrig ist bei sehr hoher und sehr geringer Schwierigkeit s.F. 8

Question 3

Übersicht Gütekriterien: Objektivität, Validität, Reliabilität & Normierung

Answer 3

1. Objektivität: Wie stark hängt das Ergebnis davon ab, wer die testdurchführung leitet, den Test auswertet und interpretiert?
2. Reliabilität: Wie genau oder zuverlässig ist das Messergebnis? Wie stark verändert sich das Ergebnis bei einer Testwiederholung?
3. Validität: Wie gut gelingt es genau das Merkmal zu messen, das mit dem Test gemessen werden soll (und nicht ein anderes)?
4. Normierung: wie gut lässt sich das Testergebnis mit den Ergebnissen anderer Menschen vergleichen?

Question 4

Objektivität -Definition

Answer 4

Das Ergebniss eines diagnostischen Verfahren kommt unabhängig davon zustande, wer die Untersuchung, die Auswertung und die Interpretation durchführt

Question 5

Objektivität - Arten

Answer 5

1. Durchführungsobjektivität
2. Auswertungsobjektivität
3. Interpretationsobjektivität

Question 6

Objektivität - 1. Durchführungsojektivität: Definition

Answer 6

Durchführungsbedingungen müssen genau spezifiziert werden –> Durchführung unabhängig von VL immer gleich (Ausschluss des Einflusses von Störvariablen)
s.F. 19 Beispiel

Question 7

Objektivität - Auswertungsobjektivität: Definition

Answer 7

1. Definition: Genaue Abgaben, wie eine Antwort (nummerische Abgabe) zu verstehen ist, müssen vorliegen (= Auswertungsregeln)
2. Das Testergebnis hängt nicht von Auswerter ab:
   a) richtig oder falsch (z.B.: Leistungstests)
   b) hoch oder niedrig (z.B.: Persönlichkeitstests)
   c) gegeben oder nicht gegeben (z.B.: klinische Diagnose)

Question 8

Objektivität - Interpretationsobjektivität: Definition

Answer 8

1. Definition: Kalre Vorgaben, was individuelle (numerische) Rohwerte bedeuten (–> Normierung)
2. Testergebnis unabhängig von Ort, Zeit, VL und Auswerter:
   a) Lesitung in einem Test: unterdurchschnittlich, normal, überdurchschnittlich (gemindert, normal, hochbegabt)
   b) Persönlichkeitsausprägung: normal vs. extrem
   c) Anzahl gegebener Symptome: Störungsbild

Question 9

Reliabilität - Definition

Answer 9

Die Genauigkeit einer Messung; ein Testverfahren ist perfekt reliabel, wenn die damit erhaltenen Testwerte frei von zufälligen Messfehlern sind. Das Testverfahren ist umso weniger reliabel, je größer die Einflüsse von zufälligen Messfehlern sind
= Messgenaugigkeit
Beispiel: mehrere Waagen stimmen in ihre Anzeige überein/ eine Waage zeigt immer das gleich, wenn ich das gleich drauflege

Question 10

Reliabilität - Reliabilitätskoeffizient

Answer 10

= Korrelationskoeffizient
Wertebereich zwischen -1 und 1
1 = Freiheit von Messfehlern (perfekte Reliabilität)
0 = Testergebnis ist ausschlißlich durch Messfehler zustandegekommen
negativer Wert = es wurde vergessen Ites zu rekodieren oder ähnliches
s.F. 27

Question 11

Reliabilität - Methoden der Reliabilitätsschätzung

Answer 11

1. Retest-Methode: der gleiche Test wird 2 mal dargeboten
2. Paralleltest-Methode: Der Test und eine parallele Version desselben werden verwendet
3. Spilt-Half-Test bzw. Testhalbierungsmethode: Ein Test wird in 2 Teile “zerlegt”; es wird die Korrelation der beide Testteile geprüft
4. Interne Konsisitenz: Jedes Items wird als Testteil betrachtet

Question 12

Reliabilität: Methoden der Reliabilitätsschätzung: 1. Retest Reliabilität - Definition, Bestimmung, Annhahme

Answer 12

1. Definition: Dasselbe Testverfahren wird an derselben Stichprobe mehrfach durchgeführt
2. Bestimmung:
   Reliabilität ergibt sich aus der Korrelation der Testwerte der unterschiedlichen Druchgänge (rtt)
3. Annahme: die wahren Werte der Person haben sich zwischen den Testdruchführungen nicht verändert
   s. F. 23

Question 13

Reliabilität: Methoden der Reliabilitätsschätzung- Retest Reliabilität: Wann anwenden und wovon ist der Reliabilitätsindex abhängig

Answer 13

1. Höhe des Reliabilitätsindex ist abhängig von:
   a) Stabilität des/ der Merkmals/Merkmalsträger
   b) Länge des Messintervalls
2. Anwenden bei:
   a) kruzen Messzeitintervallen (wenige Wochen bis Monate), aber Vorsicht: Erinnerungs- und Übungseffekte
   b) Bereite Maße mit wenigen Items zur Erfassung komplexer Merkmalskonstrukte
   c) Erfassung relativ stabiler Merkmale

Question 14

Reliabilität: Methoden der Reliabilitätsschätzung - Paralleltestreliabilität: Definition, Bestimmung und Annahme

Answer 14

1. Definition: Parallele Testformen werden an derselben Stichprobe durchgeführt
2. Bestimmung:
   Reliabilität ergibt sich aus der Korrelation der Testwerte der beiden Tests
3. Annahme: Beide Tests messen das gleiche Merkmal
   s. F. 25

Question 15

Reliabilität: Methoden der Reliabilitätsschätzung - Paralleltest Reliabilität - Anwendung und wann wird Parallelität der Tests angenommen?

Answer 15

1. In der Realität eher selten –> da hoher Aufwand und schwierige Konstruktion
2. eher bei Leistungs als bei Perönlichkeitstests
3. Parallelität wird angenommen, wenn Mittelwerte und Streuung der Testwerte gleich sind (und wenn Paralleltest Reliabilität hoch ist)

Question 16

Reliabilität: Methoden der Reliabilitätsschätzung - Split-Half Reliabilität: Definition, Bestimmung & Annahme

Answer 16

1. Definition: Quasi-parallele Halbtests (Test wird in zwei Hälften geteilt) werden an derselben Stichprobe durchgeführt
2. Bestimmung: Reliabilität ergibt sich aud der Korrelation der Testwerte der beiden Testhälften
3. Annahme: Beide Testhälften messen das gleiche Merkmal
   s. F. 27

Question 17

Reliabilität: Methoden der Reliabilitätsschätzung - Split-Half Reliabilität - Methoden de Testhalbierung

Answer 17

1. Odd-Even-Methode: Items werden abwechselnd den Tests zugeordnet, z.B.: alle gradzahligen Items = Test 1, alle ungeraden Items = Tests 2 (s. F.28)
2. Zeitpartitionierungs-Methode: Testberartung wird in zeitlich zwei gleich lange Abschnitte aufgeteilt (s. F. 29)
3. Methode der Itemzwillige: Anhand von Schwierigkeit und Trennschärfe werden Itempaare gebildet, ein Item pro Paar wird zufällig Test 1, das andere Test 2 zugeteilt

Question 18

Reliabilität: Methoden der Reliabilitätsschätzung - Paralleltest und Split-Half Reliabilität: Vorteil und Problem

Answer 18

1. Vorteile: Keine Erinnerungs- und Übungseffekte
2. Problem: Streng parallele Test(hälften) so gut wie unmöglich

Question 19

Reliabilität: Methoden der Reliabilitätsschätzung - Split-Half Reliabilität - Wovon ist die Halbierungsmethode abhängig, was erfordert eine Testhaldierungsbestimmung und Einsatz

Answer 19

1. Halbierungsmethode abhöngig von:
   a) Homogenität edr Items (Einzeltests eines Gesamttests)
   b) Anzahl der Items (meist nur bei gerader Anzahl möglich)
2. Testhalbierungsreliabilitätsbestimmung erfordert zusätzlich eine Indexkorrektur um eine Testverdopplung (siehe Spearman-Brown-Formel)
3. Einsatz: eher seltene Anwendung
   Fallbeispiel s. F. 32

Question 20

Reliabilität: Methoden der Reliabilitätsschätzung - Interne Konsistenz: Definition, Bestimmung & Annahme

Answer 20

1. Definition: Testverfahren wird einmalig durchgeführt
2. Bestimmung: Reliabilität ergibt sich aus der Korrelation der Werte der einzelnen Items (jedes Item wird quasi als eizelner Testteil betrachtet)
3. Annahme: Alle Items messen das gleiche Merkmal

Question 21

Reliabilität: Methoden der Reliabilitätsschätzung - Interne Konsistenz - häufigstes Maß, Wovon ist die höhe der Reliabilität abhängig & wann zu empfehlen?

Answer 21

1. Häufigstes Maß: Cronbachs alpha
2. Höhe der Reliabilität ist abhängig von:
   a) Homogenität vs. Heterogenität der Items
   b) Testlänge (Anzahl der Items)
3. Zu empfehlen bei:
   a) Maßen mit vielen heterogenen Items zur Erfassung breiter Konstrukte
   b) Wenn nur einmalige Testdurchführung möglich/ökonomisch/sinnvoll ist
   –>Formel s. F. 34 (nicht klausurrelvant)

Question 22

Reliabilität: Methoden der Reliabilitätsschätzung - Interne Konsistenz - Probleme mit Cronbachs alpha und Alternative

Answer 22

1. Probleme: Vorannahmen, die nicht immer zutreffen (essentielle T-Äquivalanz) z.B.: empfinden nicht alle dieselben Items als schwierig oder leicht
2. Alternative: McDonalds Omega:
   a) weniger kompliziert zu bestimmen
   b) weniger strenge vorraussetzungen
   c) Vorraussetzung: T-Kongenerität: Items messen gemeinsames Merkmal, aber wahre Werte hängen unterschiedlich mit dem Merkmal zusammen
   –> Formel s. F. 35 (nicht klausurrelevant)

Question 23

Interpretation Reliabilität

Answer 23

1. Stichprobenabhängigkeit: Alle Reliabilitätsindices basieren auf Korrelationen und sind daher stichprobenabhängig
2. Interpretation: Wie hoch die Reliabilität sein sollte, kann nicht genau festgemacht werden, denn es ist vom jeweiligen Anwendungsfall/ Verfahren abhängig - Daumenregel:
   Rel < .70 = unakzeptabel
   Rel > .70 = akzeptabel
   Rel > .80 = gut
   Rel > .90 = Sehr gut

Question 24

Möglichkeiten zur Reliabilitätssteigerung

Answer 24

1. Einfache Formulierung: Umsicht bei der Konstruktion von Messverfahren –> Prinzip einfache Formulierung von Frage/Aussagen (s.F. 37)
2. homogene Items: möglichst Verwendung homogener Items (aber Vorsicht vor Redundanz)
3. gröere Stichproben
4. Testverlängerung (mehr Items)

Question 25

Möglichkeiten zur Reliabilitätssteigerung: Testverlängerung - Prinzip & Bestimmung

Answer 25

1. Prinzip: je mehr Informationen, umso genauer wird das zu erfassende Objekt gemessen 2. Bestimmung: durch Spearman-Brown-Formel a) Vorraussetzung: homogene Items b) Mittels der Formel kann bestimmt werden, wie die Reliabilität eines Tests mit seiner Verlängerung zunimmt/ Kürzung veringert wird c) Formel: (p + Rel(Y1)) / ((1 + (p-1) * Rel(Y1)) p: Verlängerungsfaktor (wieviel mal so viele Items als vorher?) Rel(Y1): Reliabilität des Tests, der um Faktor p verlängert wird Rel(Y2): Reliabilität des um p verlängerten Faktors s. F. 38-40

Question 26

Weitere Gütekriterien: 1. Fairness

Answer 26

1. Definition: Als fair gibt ein diagnostische Verfahren dann, wenn es Messwerte liefert, die nicht durch eine Gruppenzugehöhrigkeit eines Diagnostikanten in irrelevanter Weise beeinflusst werden --> das Verfahren ist für alle Probanten frei von Diskriminierung (z.B.: Mathematiktest aus Textaufgaben benachteiligt Kinder mit adnerer Muttersprache) 2. Lösung:Gruppenspezifische Normwerte für unterschiedliche Gruppen (z.B.: Geschlecht, Alter, Sprachnievau)

Question 27

Weitere Gütekriterien: Ökonomie

Answer 27

1. Definition: Als ökonomisch gilt ein Instrument, wenn es diagnostische Daten gleicher Qualität zu einem günstigeren Preis (bzw. in kürzerer Zeit) liefert als alternative Instrumente (z.B.: Gruppen- vs. Einzeltests) 2. Problem:Kosten-Nutzen-Erwägungen sind nicht immer eindeutig lösbar

Question 28

Weitere Gütekriterien: Nützlichkeit

Answer 28

1. Definition: ein diagnostisches Verfahren ist dann nützlich, wenn es: a) Informationen liefert, die bereits vorhandene Verfahren nicht liefern können b) hilft, Fehler zu vermeiden, die bei mehrmaliger Verwendung eines bereits vorhandenen Verfahrens zu befürchten wären (z.B.: Testwiederholdungseffekte) 2. Problem: Der Nutzen eines Messinstruentes verringert sich mit der Zahl bereits vorhandener Instrumente für das gleiche Merkmal

Question 29

Weitere Gütekriterien: Zumutbarkeit / soziale Akzeptanz und Eigenschaften zumutbarer Verfahren

Answer 29

1. Definition: Zumutbar gelten und sozial akzeptiert werden solche Verfahren, die im Rahmen der erforderlichen Informationsgewinnung von Seiten der Diagnostiker*innen und Diagnostikand*innen als gewinnbringend angesehen werden. 2. Eigenschaften zumutbarer Verfahren: a) wenig zeitaufwand b) transparente Verfahren werden i.d.R. eher akzeptiert (Achtung weniger Verfälschungssicher!) c) Intelligenztests werden bei der Personaldiagnostik als wenig akzeptabel empfunden

Question 30

Übersicht: Weitere Gütekriterien

Answer 30

1. Fairness 2. Ökonomie 3. Nützlichkeit 4. Zumutbarkeit/ Soziale Akzeptanz

Question 31

Objektivität - 1. Durchführungsojektivität: Anweisungen im Testmanual: Welche sind wichtig?

Answer 31

1. Zeitvorgaben 2. Benötigte Materialien 3. Umgang mit Fragen und Störungen 4. Standardierte Instruktionen

Question 32

Objektivität - 1. Durchführungsojektivität: Berechnung

Answer 32

1. wird (kann) i.d.R. nicht nummerisch angegeben / bestimmt werden 2. Durchführungsobjektivität darf als hoch/ gegeben angesehen werden, wenn alle Bedingungen festgelegt sind, die sich auf das Testverhalten auswirken können Beispiel s. F. 14

Question 33

Objektivität - 2. Auswertungsobjektivität: Berechnung

Answer 33

1. Auswertungsübereinstimmung: kann numerisch bestimmt und somit angegeben werden 2. Auswertungsobjektivität darf als hoch/ gegeben angesehen werden, wenn klare Anweisungen und Hilfsmittel (z.B.: Schablonen, Computertests) zur Auswertung vorliegen 3. Probleme: insbesondere, wenn Antworte offen sind --> erfordert detallierte Auswertungsregeln (z.B.: WISC-V) s. F. 16

Question 34

Objektivität - 3. Interpretationsobjektivität: Darf wann als hoch angesehen werden?

Answer 34

Interpretationsobjektivität darf als hoch / gegeben angesehen werden, wenn genau beschrieben ist, wie man von einem Rohwert zu einer Aussage über die Merkmalsausprägung gelangt (Normtabellen, Kritierien) Beispiel s. F. 23