Gütekriterien 2

Question 1

Objektivität bedeutet, dass

Answer 1

die Testergebnisse eines diagnostischen Verfahrens unabhängig davon sind, wer den Test durchführt, auswertet & interpretiert.
Probleme durch mangelnde Schulung des Testleiters, Abweichung vom standardisierten Vorgehen, fehlende Beispiele zur Kategorisierung offener Antworten im Manual, fehlende Bezugsgruppe, mangelnde Interpretationshilfe

Question 2

Reliabilität

Answer 2

Die Reliabilität zeigt die Zuverlässigkeit an, mit der ein Instrument bestimmte Dimensionen misst. Reliabilität ist dann gegeben, wenn ein Instrument bei wiederholter Messung der gleichen Objekte oder Merkmalsträger unter gleichen Bedingungen die gleichen Messergebnisse anzeigt.
o Paralleltest‐Reliabilität
o Retest‐Reliabilität
o Testzerlegung: Halbierung, Interne Konsistenz

Question 3

Validität

Answer 3

„Unter Validität wird die Übereinstimmung von Testergebnissen mit dem, was der Test messen soll, verstanden. Es handelt sich um ein Urteil darüber, wie angemessen bestimmte Schlussfolgerungen vom Testwert auf das Verhalten außerhalb des Tests oder auf ein Merkmal der Person sind.“
Valide oder gültig ist ein Instrument in dem Maße, in dem es genau das misst, was es messen soll.

Question 4

Formen der Validität

Answer 4

Augenscheinvalidität (keine Form der Validität im engeren Sinne)
Inhaltsvalidität (auch Kontentvalidität)
Kriteriumsvalidität
Konstruktvalidität

Question 5

Augenscheinvalidität

Answer 5

Unter Augenscheinvalidität versteht man die Nachvollziehbarkeit der Testpersonen (bzw. psychologischer Laien) für das, was mit dem Test gemessen wird. Hohe Augenscheinvalidität kann das Vertrauen der Testperson in den Test & damit auch die Mitmachbereitschaft erhöhen. Gleichermaßen ist aber auch die Gefahr der Testverfälschung gegeben.

Question 6

Inhaltsvalidität

Answer 6

Unter Inhaltsvalidität (Kontentvalidität) versteht man, wie repräsentativ die Items eines Tests für das zu messende Merkmal sind.
Das Testitems versteht sich dabei als repräsentative Stichprobe aus dem Itemuniversum, mit dem das interessierende Merkmal erfasst werden kann (Repräsentationsschluss).

Question 7

Kriteriumsvalidität

Answer 7

Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten innerhalb der Testsituation erfolgreich auf ein „Kriterium“ (Verhalten außerhalb Testsituation) geschlossen werden kann. Das Kriterium muss für den vorgesehenen Einsatzbereich des Tests relevant sein.
Die Enge dieser Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).

Question 8

konkurrente Validität

Answer 8

(Übereinstimmungsvalidität): Korrelationen des Tests mit Kriteriumsvariablen, die zum selben Messzeitpunkt gemessen wurden

Question 9

prädiktive Validität

Answer 9

(Vorhersagevalidität): Korrelationen des Test mit zeitlich später gemessenen Kriteriumsvariablen

Question 10

retrograde Validität:

Answer 10

Korrelationen des Tests mit zeitlich vorher gemessenen Kriterien

Question 11

Konfundierung mit dem gleichen Merkmal führt zu

Answer 11

Erhöhung der Korrelation zwischen Prädiktor&Kriterium

Question 12

Je größer der Messfehler, desto

Answer 12

geringer die Korrelation

Question 13

Die Korrelation zwischen zwei Variablen hängt immer auch davon ab,

Answer 13

wie reliabel die beiden Variablen jeweils sind.

Question 14

Wenn ein Test ein Merkmal wenig zuverlässig erfasst (= hoher Anteil von Fehlervarianz an der Testwertvarianz), dann

Answer 14

wird dies die Korrelationen der Testwerte mit anderen Variablen beeinträchtigen (Stichwort: Minderungskorrektur).

Question 15

Messfehler minimiert

Answer 15

Varianzaufklärung

Question 16

Beim Einsatz mehrerer Tests bzw. bei Verwendung mehrerer Prädiktoren:

Answer 16

Güte der Vorhersage des Kriteriums kann dann empirisch z.B. durch eine lineare Regressionsanalyse untersucht werden. Der dabei gefundene Zusammenhang = multiple Validität
Das Ausmaß, indem die Vorhersage des Kriteriums durch die Hinzunahme eines weiteren Tests verbessert werden kann, bezeichnet man als inkrementelle Validität (von lat. incrementare = vergrößern; in multipler Regression: Zuwachs an erklärter Varianz bei der Vorhersage eines externen Kriteriums).

Question 17

Konstruktvalidität

Answer 17

Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll –&nicht ein anderes.

Question 18

keine Einzelkennwerte …

Answer 18

Validierung als Prozess!

Question 19

Konvergente Validität

Answer 19

Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen desselben Merkmals zusammen, das mit einer anderen Methode erfasst wird?
Empfohlen werden Koeffizienten von r >.50.

Question 20

Diskriminante Validität

Answer 20

Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen eines anderen Merkmals zusammen, das mit derselben oder einer anderen Methode erfasst wird?
Empfohlen werden Koeffizienten von r < .40

Question 21

Multi‐Trait‐Multi‐Method‐Matrix

Answer 21

dient zur Überprüfung der konvergenten & diskriminanten Validität
enthält Korrelationen zwischen Testscores für verschiedene Traits, die mit verschiedenen Methoden gemessen wurde
diese Korrelationen werden in Tabelle dargestellt, die MTMM‐Matrix genannt wird
soll verhindern, dass hohe Korrelationen aufgrund gleicher Methoden fälschlicherweise
im Sinne einer hohen Merkmalskonvergenz interpretiert werden
Ziel: Die Korrelationen innerhalb der Merkmale (zwischen Methoden) sollten deutlich größer sein als die Korrelationen innerhalb der Methoden (zwischen Merkmalen)

Question 22

Monomethod‐Blöcke:

Answer 22

enthalten die Korrelationen zwischen Testscores, die mit derselben Methode erfasst wurden

Question 23

Heteromethod‐Blöcke:

Answer 23

enthalten die Korrelationen zwischen Testscores, die mit unterschiedlichen Methoden erfasst wurden

Question 24

Reliabilitätsdiagonale:

Answer 24

Hauptdiagonale der Matrix; Reliabilitäten der einzelnen Testscores (Monotrait‐Monomethod‐Werte)

Question 25

Reliabilitäten sollen

Answer 25

hoch &ungefähr gleich sein

Question 26

Monotrait‐Heteromethod‐Werte:

Answer 26

Validitätsdiagonale = Korrelationen der Testscores derselben Traits, gemessen mit verschiedenen Methoden
= Konvergente Validität

Question 27

Konvergente Validitäten sollen signifikant

Answer 27

von Null verschieden & hoch sein

Question 28

Heterotrait‐Monomethod‐Dreieck:

Answer 28

Korrelationen der Testscores verschiedener Traits, gemessen mit derselben Methode = Diskriminante Validität

Question 29

Konvergente Validitäten sollen höher sein als

Answer 29

Korrelationen verschiedener traits, die mit der selben Methode erfasst wurden

Question 30

Heterotrait‐Heteromethod‐Dreiecke:

Answer 30

Korrelationen der Testscores verschiedener Traits, gemessen mit verschiedenen Methoden

Question 31

Nachteile MTMM

Answer 31

Kriterien nur schwer anwendbar, wenn die Methoden sich hinsichtlich ihrer Reliabilitäten unterscheiden
Gefahr, dass Korrelationsunterschiede nur Reliabilitätsunterschiede widerspiegeln
Methode basiert nur auf der visuellen Inspektion der MTMM‐Matrix
statistische Überprüfung spezifischer Hypothesen selten
keine Erklärung der MTMM‐Matrix durch ein statistisches Modell
ohne Erklärungsmodell keine Trennung möglich von Trait‐ &Methodeneinflüssen &von Variablen, die diese Einflüsse repräsentieren
bessere Modellierung durch Verwendung konfirmatorischer Faktorenanalysen möglich

Question 32

Kofundierung mit unterschiedlichen Merkmalen führt zu

Answer 32

Minderung der Korrelation zwischen Prädiktor&Kriterium

Question 33

Konstruktvalidität in Assessment Center

Answer 33

Umstritten
Konvergente V niedrig & diskriminante hoch
Gleiche ANforderungen in verschiedenen Übungen korrelieren untereinander niedrig während verschiedenen Anforderungen innerhalb einer Übung hoch korrelieren