04 Hauptgütekriterien Flashcards
(81 cards)
1
Q
Was sind die drei Hauptgütekriterien von Tests?
A
- Objektivität
- Reliabilität
- Validität
2
Q
Was sind Gütekriterien?
A
Qualitätsmerkmale psychologisch-diagnostischer Verfahren
3
Q
Was sollte ich als Psychologin beim auswählen von Tests beachten?
A
Testhandbücher lesen und beurteilen, ob die Gütekriterien erfüllt sind oder nicht.
4
Q
Welche drei Arten der Objektivität gibt es?
A
- Durchführungsobjektivität
- Auswertungsobjektivität
- Interpretationsobjektivität
5
Q
Was ist Objektivität?
A
In welchem Ausmass ist die Testung unabhängig von der Person, die die Testung durchführt, auswertet und interpretiert?
6
Q
Wie kann Objektivität sicher gestellt werden?
A
Durch Gewissenhaftigkeit und Organisation
7
Q
Welche drei Arten von Reliabilität gibt es?
A
- (Innere) Konsistenz
- Retest-Korrelation
- Paralleltest-Korrelation
8
Q
Was ist Reliabilität
A
Wie genau kann ein Verfahren ein Messgegenstand erfassen? (Messgenauigkeit)
9
Q
Was ist Validität?
A
Kann das Verfahren das Messen, was es zu Messen beansprucht?
(Wenn z.B. eine Waage 3kg daneben liegt, und das jeden Tag, misst sie zwar Reliabel, das angezeigte Gewicht ist aber dann nicht valide)
10
Q
Welche Arten von Validität gibt es?
A
- Inhaltsvalidität
- Konstruktvalidität
- Kriteriumsvalidität
11
Q
Warum sind die Hauptgütekriterien Hierarchisch?
A
Wenn das erste Kriterium - Objektivität - nicht gegeben ist, kann ein Test auch nicht reliabel und valide sein.
12
Q
Wie kann Durchführungsobjektivität sichergestellt werden?
A
Standardisierte Testvorgabe (z.B. welche Hilfsmittel die Testperson brauchen darf, wie der Raum aussieht, wie sich die Testleitung verhalten und was sie sagen soll).
13
Q
Wie kann Auswertungsobjektivität hergestellt werden?
A
- Methode des lauten Denkens
- Mehrere Personen, die auswerten
- Klarer Auswertungsschlüssel
- Materialien wie Auswertungsschablonen, Auswertungsblätter oder Auswertungsprogramme
14
Q
Wie kann man Auswertungsobjektivität empirisch bestimmen?
A
- Qualitativ: Methode des Lauten Denkens -> Person probiert Auswertung aus und denkt dabei laut
- Korrelation zwischen den Auswertern berechnen
- Varianzanalytische Pläne: Vraianz zwischen den Protokollbogen durch Varianz aller Testwerte)
15
Q
Wie kann die Interpretationsobjektivität hergestellt werden?
A
- Standardisierte Interpretation im Manual
- Verschieden AuswerterInnen kommen zur gleichen Interpretation
16
Q
Welche Validität ist direkt an die eigentliche Validität geknüpft?
A
Inhaltsvalidität
17
Q
Was ist Inhaltsvalidität?
A
Wenn ein test/Fragebogen jedes Item des Merkmals wirklich hinreichend Präzise erfasst. -> die eigentliche Validität
z.B. “Ich gehe gerne auf Parties und bin immer pünktlich da” misst nicht nur Extraversion, sondern auch Gewissenhaftigkeit -> dies soll vermieden werden.
18
Q
Was ist das Problem bei der Inhaltsvalidität?
A
Es gibt keinen statistischen Kennwert dafür, man kann sie nur durch Literatur und Logik oder mithilfe von Experten belegen.
-> Deswegen gibt es auch die Kriteriumsvalidität und die Kontruktvalidität, weil es dort möglich ist. -> Diese Arten bestimmten die Validität aber INDIREKT
19
Q
Was hat einen wichtigen Einfluss auf die Validität?
A
Die Stichprobe -> eine homogene Stichprobe kann die Korrelationen verfälschen!
20
Q
Was ist Augenscheinvalidität? (Zusätzlicher Validitätsbegriff)
A
Wenn der blosse Augenschein eines Tests für einen Laien gerechtfertigt erscheint. -> z.B. für den Getesteten
21
Q
Was ist die Kriteriumsvalidität?
A
Hängt das Konstrukt (z.B. Einstellungsinterview, Intelligenztest), welches das Kriterium vorhersagen soll, Hypothesenkonform mit einem bestimmten Kriterium (z.B. Leistung der Mitarbeiter, Abiturnote) zusammen?
-> z.B. Vorhersagevalidität, Übereinstimmungsvalidität, Retrospektive Validität, Inkrementelle Validität
22
Q
Was ist die Konstruktvalidität?
A
Hängt das Konstrukt mit andern, verwandten Konstrukten zusammen und mit fernen Konstrukten nicht zusammen?
(z.B. vergleich zweier Tests / zweier Abstrakter Konzepte (z.B. Intelligenz(tests)))
23
Q
Was ist Inhaltsvalidität?
A
Ein Test und jedes Item davon misst das zu messende Merkmal (und nur das) hinreichend präzise.
24
Q
Welche drei Arten von Konstruktvalidität gibt es?
A
- Konvergente Konstruktvalidität
- Diskriminante Konstruktvalidität
- Faktorielle Konstruktvalidität
25
Welche vier Arten der Kriteriumsvalidität gibt es?
* Vorhersagevalidität (Übereinstimmung des Konstruktes mit Zukünftigem Ereignis)
* Übereinstimmungsvalidität (Übereinstimmung des Konstruktes mit zeitgleichem Ereignis)
* Retrospektive Validität (Übereinstimmung des Konstruktes mit vergangenem Ereignis)
* Inkrementelle Validität (misst sogar mehr als nur das Kriterium - erklärt mehr als die bisher etablierten Tests, Intelligenz erklärt z.B. nicht nur Schulerfolg sondern auch Berufserfolg)
26
Was ist ein Beispiel der inkrementellen Validität
Konstrukt "Emotionale Intelligenz" gilt als inkrementell valide, wenn das Mass für "Emotionale Intelligenz" über Intelligenz in seiner Standardform und Persönlichkeit im Sinne der Big 5 noch etwas mehr darüber hinaus vorhersagt.
27
Warum ist inkrementelle Validität gerade bei neuen Tests so wertvoll?
Wenn inkrementelle Validität gegeben ist, erklärt ein neuer Test etwas, was bisherige Tests noch nicht erklären konnten.
28
Was ist die Konvergente Validität
Zusammenhang zwischen eigenem Test und anderem Test des **GLEICHEN Gültigkeitsbereiches**.
(z.B. Intelligenz vs. Intelligenz)
-> ab zirka .20 Korrelation wird als ausreichend hoch angesehen bei unterschiedlichen Erfassungsmethoden (z.B. bei fragebogen vs semiprojektive Verfahren).
29
Was ist die Diskriminante Validität?
Zusammenhang des eigenen Tests mit anderem Test eines **ANDEREN Gültigkeitsbereiches**.
(z.B. Intelligenztest vs. Mass, dass Motivation erfasst)
-> Hier werden niedrige Zusammenhänge erwartet
30
Was ist die faktorielle Validität?
Lässt sich die theoretisch angenommene Struktur des Tests auch empirisch finden?
-> z.B. lassen sich Big5 auch in der Faktorenanalyse finden? (Konfirmatorische Faktorenanalyse)
31
Welche Methoden zur bestimmung der Konstruktvalidität gibt es?
* Konfirmatorische Faktorenanalyse
* Nicht Korrelative Ansätze
* MTMM-Matrix
32
Welche nicht.korrelativen Ansätze zur Bestimmung der Konstruktvalidität gibt es?
* Analyse von Gruppenunterschiede (z.B. Depressive vs. nicht Depressive -> unterscheiden sie sich?)
* Extremgruppenvalidierungen (z.B. Erhalten Hochbegabte tatsächlich hohe werte?)
* Prozessanalyse (z.B. lautes Denken -> Wird Konstrukt auch so verstanden, wie es intendiert war)
* Vergleich von Selbst- und Fremdeinschätzungen
* Experimentelle Variation (z.B. Analyse von Stabilität vs. Veränderung von Testwerten, z.B. Stimmungen, je nach Präsentation von Reizen, sollten sich verändern)
33
Was ist die MTMM-Matrix?
* Multi-Trait-Multi-Method
* Aufwendige und elaborierte Zusammenhangsanalyse unter einbezug verschiedener Erhebungs**methoden** (zusätzlich zum vergleich von Konstrukten)
34
Warum und von wem wurde der MTMM-Ansatz entwickelt?
Campell und Fiske (1959) wollten nicht nur konstruktnahe und konstruktferne Tests (trait) vergleicht, sondern auch verschiedene **Methoden** / Bedingungen (Z.b. Fragebogen vs. Interveiw vs. Verhaltensbeobachtung)
35
Was möchte man mit dem MTMM-Ansatz herausfinden?
* Wie hoch korreliert das Konstrukt mit anderen Konstrukten?
* Wie hoch ist der Anteil der Methodenvarianz (welchen Einfluss hat die Methode auf die Korrelation?)
36
Welche Diagonalen gibt es bei der MTMM-Matrix?
* **Mono-Trait-Mono-Method**: Reliabilitätsdiagonale, Cronbachs Alpha
* **Hetero-Trait-Mono-Method** (diskriminante Validität)
* **Konvergente Validität / Mono-Trait-Hetero-Method**
* **Hetero-Trait-Hetero-Method** (nicht eingezeichnet, diskriminante Validität)
37
Was muss in der MTMM-Matrix gegeben sein, damit die Konvergente Validität gegeben ist?
Die Werte in der (konvergenten) Validitätsdiagonale müssen signifikant von Null verschieden und ausreichend hoch sein.
38
Was muss in der MTMM-Matrix gegeben sein, damit die diskriminante Validität gegeben ist?
* Die Werte in der (konvergenten) Validitätsdiagonale müssen höher sein als die Werte im Hetero-Trait/Hetero-Method-Block
* Die Werte in der (konvergenten) Validitätsdiagonale müssen höher sein als die Werte im Hetero-Trait/Mono-Method-Block
* Die verschiedenen Blöcke weisen ähnliche Muster auf.
39
Welche Faktoren können sich mindernd auf die Validität auswirken?
* **Methoden**faktoren (Verschiedene Erhebungsmethoden)
* **Kriterium**skontamination und- defizienz (Kriterium erfasst etwas anderes, als was angestrebt war bzw. etwas das für das Kriterium wichtig ist, wird nicht erfasst)
* Mangelnde Symentrie zwischen Prädiktor und Kriterium (Erfassen ein breites Konstrukt mit enger Eigenschaft)
* Streuungsrestriktion (Stichprobe ist vorausgewählt)
* mangelnde Reliabilität im Kriterium oder Prädiktor (Messgenauigkeit)
40
Was ist Reliabilität?
Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte. (Grad der Messgenauigkeit eines Messwerts.)
41
Welche Arten von Reliabilität gibt es?
* Innere / Interne Konsitenz
* Retest-Reliabilität/Korrelation (Stabilität)
* Paralleltest-Korrelation
42
Zwischen welchen Werten ist der Bereich der Reliabilität und was bedeutet sie?
0 = Varianz der True-Score-Variablen (wahre Werte) sind gleich 0
1 = Varianz der Fehlervariablen gleich 0 -> perfekte Messung
43
Wie kann die Reliabilität bestimmt werden?
* mit mehreren beobachtbaren Variablen, die dasselbe Merkmal erfassen UND
* Messmodellen, die es erlauben zu prüfen, ob die Variablen auch wirklich eine gemeinsame latente VAriable erfassen
44
Welche fünf Messmodelle bietet die klassische Testtheorie?
* Modell paralleler Messungen
* Modell essenziell paralleler Messungen
* Modell tau-äquivalenter Messungen
* Modell essenziell tau-äquivalenter Messungen
* Modell tau-kongenerischer Messungen
45
Aus welchen drei Annahmen ergeben sich die fünf Modelle?
* Messungen weisen unkorrelierte (unsystematische) Messfehler auf (ist eine der Grundannahmen der KTT)
* Die wahren Werte der beiden Messungen hängen zusammen (tau äquivalent, essentiell tau äquivalent, tau-kongenerisch)
* Die Fehlervarianz der Tests sind gleich
46
Welche Arten von Zusammenhängen zwischen zwei Tests gibt es? (TAU)
* tau-äquivalent (perfekter Zusammenhang)
* essentiel tau-äquivalent (Unterschied nur durch EINE additive Konstante, z.B. Trainingseffekt)
* tau-kongenerisch (Vorhersage möglich, aber schwächster Zusammenhang)
47
Was sind parallele Messungen?
* Verwendung **gleicher** Skala
* wahre Werte beider Messungen sind **gleich**
* Fehlervarianzen beider Messungen sind **gleich**
z.B. jede Person erzielt in Test A denselben wahren Wert, wie in Tests B -> beide Messungen sind gleich Messgenau (reliabel?
48
Was haben alle fünf Messmodelle gemeinsam?
Die Fehlervarianzen sind unkorreliert
49
Was sind esseziell-parallele Messungen
* Verwendung **gleicher** Skala
* wahre Werte beider Messungen **unterscheiden** sich um eine additive Konstante
* Fehlervarianzen beider Messungen sind **gleich**
z.B. Es gibt einen Übungseffekt für Test B, d.h. die Leistung in Test B ist um eine Konstante verschoben.
50
Was sind tau-äquivalente Messungen?
* Verwendeung **gleicher** Skala
* wahre Werte beider Messungen sind **gleich**
* Fehlervarianzen beider Messungen sind **nicht gleich**
51
Was sind esseziell tau-äquivalente Messungen
* Verwendung **gleicher** Skala
* wahre Werte beider Messungen **unterscheiden** sich um eine additive Konstante
* Fehlervarianzen beider Messungen sind **nicht** **gleich**
52
Was sind tau-kongenerische Messungen?
* Verwendung **unterschiedlicher** Skala
* wahre Werte beider Messungen **unterscheiden** sich um eine additive oder multiplikative Konstante
* Fehlervarianzen beider Messungen sind **nicht** **gleich**
53
Was ist der Sinn der fünf Messmodelle der KTT?
Sie helfen uns zu verstehen, welches Modell wir haben und entsprechend welche Art der Reliabilitätsbestimmung Sinn macht
(und wie hoch die Reliabilität zu erwarten ist 8?) (Bei tau-kongenerischen Modell ist die Reliabilität tiefer als beim parallelen Modell)
54
Wie geht man bei der Reliabilitätsanalyse vor?
* negativ formulierte Items umkodieren!
* Überblick über die Daten verschaffen, um herauszufinden, welche Reliabilität berechnet werden kann (mit Schwierigkeitsindex, Trennschärfekoeffizinten)
55
Wann wird interne Konsistenz bzw. Testhalbierungsreliabilität angewendet?
Wenn man in einem Test homogene Items hat.
56
Was ist ein Paralleltest?
Mist das gleiche Konstrukt mit unterschiedlichen Items, welche sich aber sehr ähnlich sind (gleiche Schwierigkeit, Mittelwerte etc.)
57
Wann wird die Retestreliabilität angewandt?
Wenn das Konstrukt Stabil ist (Emotionen und Stimmungen würden sich z.B nicht eignen, weil sie fluktuieren)
58
Was ist ein Retest?
Gleicher Test wird zu zwei unterschiedlichen Zeitpunkten angewandt und dann die Ergebnisse korreliert.
59
Was ist beim retest wichtig?
Der Zeitraum zwischen den beiden Tests
* **kleiner Abstand:** Problem der Übungseffekte, wenig Motivation
* **grosser Abstand:** Natürliche Veränderungsprozesse verändern den wahren Wert einer Person tatsächlich (z.B. bei Intelligenz)
60
Was ist der Trennschärfekoeffizient?
Trennschärfekoeffizient macht Aussagen über die Güte einzelner Items (im Gegensatz zur Realiablität, welche sich auf eine ganze Skala bezieht)
61
Welche Arten von Interner Konsistenz gibt es?
* Testhalbierung (1 Korrelation)
* Innere Konsistenz (Jedes Item wird Korreliert, durchschnittliche Korrelation wird berichtet)
62
Wie heisst die Formel, mit der Innere Konsistenz (und nicht Testhälften) gemessen wird?
Cronbachs-Alpha
63
Was ist die Mindestanforderung für die Berechnung von Cronbachs Alpha / Innerer Konsistenz?
Die Tests müssen mindestens tau-äquivalent sein.
64
Was ist die Mindestanforderung für die Berechnung von Spearman Brown / Testhalbierung?
Mindestens parallel
65
Was ist die Mindestanforderung für Paralleltests?
Mindestens parallel
66
Wie heisst die Formel, mit der Testhalbierungskoeffizienten gemessen werden?
Spearman-Brown-Formel
67
Wie kann man die Reliabilität erhöhen?
* Objektivität erhöhen
* Eindeutige Itemformulierungen
* Items mit geringer Trennschärfe entfernen
* Längerer Test misst genauer (vs. Zumutbarkeit, Motivation)
68
Welche Faktoren beeinflussen die Reliabilität?
* Je homogenere Tests, desto höher die Interne Konsistenz
* Hohe Trennschäfte füht zu homogenen Test und damit Interner Konsistenz
* Zeitspanne zwischen den Tests hat Einfluss auf Retestreliabilität
* Je höher der Schnelligkeitfaktor, desto höher die Scheinkonsistenz
* homogene Stichprobe führt zu weniger Varianz und höherer (falscher) Korrelationskoeffizient
* Mehr Aufgaben mit mitteler Schwierigkeit führen zu mehr Reliabilität
* Je weniger Antwortmöglichkeiten desto grösser der Zufallsfaktor desto grösser die Reliabilität
69
Welche Art der Reliabilität ist am besten bei heterogenen Tests?
Testwiederholung
70
Was ist die Faustregel von Lienert und Raatz für die Testzeiten?
Testzeit so wählen, dass 80% der N Pbn alle n Aufgaben in Angriff nehmen können.
71
Was ist der praktische Nutzen der Spearman-Brown-Formel?
Sie zeigt auf, wie lang ein Test sein muss, damit er eine bestimmte Reliabilität aufweist.
72
Wo sind die Einsatzbereiche der Korrelationen in der Testpsychologie?
Für die Berechnung von Kennwerten, z.b.:
* Reliabilität (für Schätzung der Reliabilitätskoeffizienten)
* Validität (Bestimmung der Testvalidität)
73
Wie berechnet man die maximale Korrelation?
Reliabilität 1 x Reliabilität 2 in der Wurzel = max. Korrelation
74
Wird die Reliabilität mit steigender Itemanzahl grösser oder kleiner?
Er wird grösser (sofern die Items hochwertig sind) (aber Ökonomie und Zumutbarkeit können leiden)
75
Wird das Cronbach's Alpha mit steigender Itemanzahl grösser oder kleiner?
Es wird grösser
76
Erhöhen oder Reduzieren Items, die mit anderen Items negativ korrelieren, das Cronbach Alpha?
Sie reduzieren das Cronbachs Alpha.
77
Ist der Wert, den man durch eine Spearman-Brown Korrektur erhält höher oder tiefer als der "Ursprungswert?
Nach oben (ohne würde die Schätzung nur die Testhälfte betreffen)
78
Was wäre ein akzeptabler, was ein guter Reliabilitätskoeffizient gemäss Hofmann?
.60 - .70 sind akzeptabel
.70- .85 ist ausreichend
.85 und mehr sind sehr gut
-> Je nach Autor sind diese Angaben sehr unterschiedlich!! Je nach Situation auch. Dies gilt nur für Gruppen und nicht für Einzelpersonen!
79
Wie hängen Trennschärfe, Homogenität und Reliabilität zusammen?
* Trennschärfe kann als Indikator der Homogenität (in den Items!) gesehen werden.
* Hohe Trennschärfen führen zu einer hohen Homogenität und dadurch einer höheren Reliabilität.
80
Wie lautet die Spearman-Brown-Formel zu Frage: "Welche Reliabilität wird durch Testverlängerung (oder -verringerung) erreicht'?"
81
Wie lautet die Spearman-Brown-Formel zur Frage: "Wie lang muss ein Test sein, damit er eine bestimmte Reliabilität aufweist?
