Testtheorie

Question 1

Klassische Testtheorie - Eigenschaften & Ziel

Answer 1

1. Eigenschaften:
   a) theoretischer Hintergrund: gibt einen theoretischen Hintergrund zur Konstruktion und Interpretation von Testverfahren
   b) Reliabilität: liefert theoretische Begründung der Reliabilität
   c) Messfehlertheorie: macht Annahmen über Messfehler, welche die Messgenauigkeit (Reliabilität) beeinflussen
   d) Grundlage: ist Grundlage der meisten psychologischen Testverfahren
2. Ziel: Bestimmung der Messgenaugikeit und Schätzung des wahren Werts

Question 2

Klassische Testtheorie: Definition Messfehler und Arten von Messfehlern

Answer 2

1. Definition - Messfehler: Messwert weicht vom wahren Wert einer Person ab –> Testergebnisse einzelner Personen mit den gleichen Test variieren zwischen Messzeitpunkten
2. Arten von Messfehlern bzw. Mögliche Gründe:
   a) systematischer Fehler: z.B.: Fähigkeit wird durch ein spezielles Aufbautraining (Übungseffekt) verädnert oder Antwortbias
   b) unsystematischer Fehler: beeinflusst innere (z.B.: Motivation) oder äußere Einflüsse (z.B.: Regen/Wind)
   –> die KKT berücksichtig nur den unsystematischen Fehler

Question 3

Axiome der KTT - Erstes Axiom

Answer 3

1. X = T + e (s.F 17)
   Jeder beobachtete Messwert (X) einer Person setzt sich zusammen aus einem kostanten wahren Wert (T) und einem Messfehler (e). Der Messfehler (e) repräsentiert alle unkontrollierten, unsystematischen Störeinflüsse –> Alle weitere Annahmen leiten sich af dieser ab

Question 4

Axiome der KTT - zweites Axiom

Answer 4

E(e) = 0
Der Erwartungswert E (Mittelwert) des Messfehlers (e) über unendlich viele Messsungen einer Person oder bei Messungen einer unendlich großen Population ist Null

1. Der Messfehler ist bei jeder Person eine Zufallsvariable (unsystematischer Messfehler) und verzerrt das Ergebnis mal in die eine mal in die andere Richung –> bei unendlich häufigen Messungen mittelt sich der unsystematische Messfehler aus
2. So lässt sich der wahre Wert einer Person über unendlich viele Messungen exakt bestimmen –> man versucht den Messfehler z.B.: durch mehrere Messungen (Items) desselben Merkmals zu reduzieren

Question 5

Axiome der KTT - Drittes Axiom

Answer 5

r(T,e) = 0
Es besteht keine korrelativer Zusammenhang (r) zwischen dem wahren Wert (T) einer Person und dem Messfehler (e)

1. Die Fehler sind zufällig (unsystematisch)
2. Der Test misst in allen Bereichen (Merkmalsausprägungen) gleich genau (eine niedrige Ausprägung einer Eigenschaft wird ebenso genau gemessen wir eine mittlere oder hohe Ausprägung)

Question 6

Axiome der KTT - viertes Axiom

Answer 6

r(T2, e1) = 0
Der Messfehler (e) eines Testes 1 weist keinen Zusammenhang (r) mit dem wahren Wert (T) in einem Test 2 auf

1. Die Ausprägung in einem anderen Merkmal hat keinen Effekt auf den Messfehler und andersherum
2. z.B.: Die Messgenauigkeit eines Intelligenztests ist nicht davon abhängig wie depressiv eine Person ist

Question 7

Axiome der KTT - fünftes Axiom

Answer 7

r(e1, e2) = 0
Der Messfehler (e) eines Tests 1 steht nicht im Zusammenhang (r) mit dem Messfehler eines Tests 2
–> wenn die Testwerte beider Tests korrelieren, dann weil die beiden wahren Werte einen Zusammenhang haben

Question 8

Ableitung aus den Grundannahmen der KTT - Definition Reliabilität

Answer 8

1. Definition Reliabilität: Die Reliabilität eines Tests ist der Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X)
2. Verhältnis der Varianzen zweier Messwerte zueinander lässt sich als Korrelation zwischen zwei Testwerten (die dasselbe Konstrukt messen) darstellen
   Rel (X) = Var(T) / Var(X) = r(X, X´)

Question 9

Ableitungen aus den Grundannahmen der KTT: Probleme der Reliabilität und Lösung

Answer 9

1. Problem: wir kennen den wahren Wert T nicht. Woher sollen wir wissen, wie genau der Testwert X dem wahren Wert T entspricht?
2. Lösung: wir nehmen z.B.: die Testwerte von 2 Tests, die beiden den wahren Wert T messen sollen
   a) Beide Tests messen dasselbe Konstrukt (T)
   b) Sie haben den gleichen Erwartungswert (E), d.h. bei unendliche vielen Messungen gilt T = X, da Messfehler = 0

Question 10

Grenzen/ Kriktik der KTT

Answer 10

1. Unüberprüfbarkeit: Die Axiome der KTT sind nicht überprüfbar, da wahreWerte und Messfehler nicht beobachtbar sind
2. Unkorreliertheit nicht immer gegeben: Unkorreliertheit der Messfehler nicht immer gegeben (z.B.: Kopfschmerzen bei der Bearbeitng beider Tests)
3. Nullkorrelation nicht immer gegeben: Nullkorrelation zwischen wahren Wert und Messfehler nicht immer gegeben, da in den meisten Tests mittlere Ausprägungen genauer gemessen werden als Ausprägungen im sehr hohen oder sehr niedrgien Bereich
4. keine Zufallsfehler: nich alle fehler sind Zufallsfehler, auch systematische Fehler sind möglich und beeinflussen die Testergebnisse z.B.: soziale Erwünschtheit kann bei Berarbeitung von Persönlichkeitstests systematisch auftreten

Question 11

Probabilistische Testtheorie (Item-Response-Theorie) - Eigenschaften und Voraussetzung

Answer 11

1. Ergänzung zur KTT
2. Versucht durch strengere Annahmen die Probleme der KTT zu überwinden
3. Modelle beschreiben die Beziehung zwischen manifestem Antwortverhalten und dahinterliegenden latenten Merkmalen
4. heute ausschließlich Fokus auf einen kleinen Teilbereich:
   a) Dichotome
   b) probabilistische latent Trait Modelle
5. zentrale Annahme/ Voraussetzung: Lokale stochatische Unabhängigkeit (Itemhomogenität)

Question 12

Probabilistische Testtheorie (Item-Response Theorie): Lokale stochastische Unabhängigkeit - Definition und Überprüfung

Answer 12

1. Definition: Präzisierung dessen, was unter Itemhomogenität zu verstehen ist –> Alle Items messen dasselbe Merkmal (latente Variable), Antworten sollten hoch miteinander korrelieren
2. Überprüfung:
   a) Konstanthalten: Merkmal (latente Variable) wird auf einer lokalen Stufe konstant gehalten, d.h. man schaut sich nur die Antwort von Personen mit der exakt selben Merkmalsausprägung an. So wird alle Varianz, die das Merkmal in der Antwort verursachen könnte rausgenommen
   b) Korrelation: Dadruch sollten die Korrelationen zwischen den Items verschwinden, denn übrig bleibt nur der (unsystematische) Messfehler –> Bei einer Korrelation, die von Null verschieden ist, messen die Items systemtisch noch ein anderes Merkmal

Question 13

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Definition, Item-Charaktersitk-Funktion, PP und IP & Arten von Modellen

Answer 13

1. Definition: Zusammenhang zwischen manifestem Antwortverhatlen und latenten Variablen wird in einer mathematischen Funktion dargestellt (empirisch überprüft).
2. Item-Charakteristik-Funktion (IC-Funktion): Lösungswahrscheinlichkeit von Items in Abhängigkeit von Modellparametern (Item- und Personenparameter)
3. PP und IP:
   a) Personenparameter PP = Fähigkeit, Einstellungen oder Dispositionen einer Person
   b) Itemparameter IP = Schwierigkeit oder Anforderung eines Items
   –> Für jedes Item kann eine Funktion erstellt werden, die angibt, welche Lösungwahrscheinlichkeit für eine Person zu erwarten ist
4. Arten von Modellen:
   a) Das (dichotome) Rasch Modell (1PL)
   b) Das (dichotome) Birnbaum-Modell (2PL)
   c) Das (dichotome) Rate-Modell von Birnbaum (3PL)
   –> Dichotom, da sich diese nur auf dichotome Items beziehen

Question 14

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rasch Modell (1PL)

Answer 14

1. Die Wahrscheinlichkeit, dass ein Item gelöst wird, setzt sich zusammen aus:
   a) der Merkmalsausprägung der Person
   b) der Schwierigkeit des Items
   –> beide Werte werden auf einer gemeinsamen Skala abgetragen
   s. F. 29!

Question 15

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rasch Modell (1PL) - Lösungswahrscheinlichkeit (p) eines Items (X)

Answer 15

1. Ist der Itemparameter b größer als der Personenparameter: p < .50
2. Ist der Itemparameter b kleiner als der Personenparameter: p > .50
3. Sind Itemparameter b und Personenparameter gleich groß: p = .50
   s. F. 30

Question 16

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rasch Modell (1PL) - Spezifische Objektivität & weitere Vorraussetzungen des Rasch Modells

Answer 16

1. Alle Items haben dieselbe Trennschärfe (Kruven sind parallel und weisen dieselbe Form auf)
2. Schwierigkeitsunterschiede zweier Items kann unabhängig davon festgestellt werden, ob Personen mit niedrigen oder hohen Merkmalsausprägungen untersucht wurden –> egal welche Person ich anschaue, die wahrscheinlichkeit, das leichte Item zu lösen ist immer höher als die Wahrscheinlichkeit das schwere Item zu lösen
3. Unterschiede zwischen zwei Personenparametern können unabhängig davon festgestellt werden, ob einfache oder schwierige Items verwendet wurden –> eal welches Item ich anschaue, eine Person mit einer hohe Ausprägung hat immer eine höhere Wahrscheinlichkeit das Item zu lösen als eine Person mit einer niedrigen Ausprägung

Question 17

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Birnenbaum-Modell (2PL)

Answer 17

1. Verendet ebenfalls die IC-Funktion –> Aber Kurven können unterschiedliche Steigung/ Trennschärfe haben (sind nicht parallel)
2. Zusätzliche Aufnahme des Diskriminierungsparameters (a): gibt an, wie stark sich die Lösungswahrscheinlichkeit in Abhängigkeit der Merkmalsausprägung verändert
   –> ver. Items können unterschiedlic gut zwischen schwachen und stärkeren Merkmalsausprägungen trennen, keine spezifische Objektivität
   s. F. 32

Question 18

Probabilistische Testtheorie (Item-Response-Theorie) Latent-Trait-Modelle: Das (dichotome) Rate-Modell von Birnbaum (3PL)

Answer 18

1. Verwendet zusätzlich zu Schwierigkeitsparameter und Diskriminierungsparameter noch ein Rate-Parameter –> z.B.: bei Multiple-Choice/ Singel-Choice Aufgaben, in denen die richtige Lösung auch durch Raten gefunden werden kann
   s. F. 33

Question 19

Wofür steht PL 1-3

Answer 19

PL = Parameter logistisches Modell
Rasch Modell: 1 PL = Schwierigkeitsparamter
Brinenbaum Modell 2 PL = Schwierigkeitsparameter + Diskriminationsparameter
Brinbaum Rate Modell 3 PL = Schwierigkeitsparameter + Diskriminationsparameter + Rateparameter

Question 20

Wann verwendet man die Item-Response-Theorie?

Answer 20

Bei der Testkonstruktion, die Modelle geben vor, wie ein Item/Test zu konstruieren ist
Wie eine Person in einem Test abschneiden würde, kann man dann an dem Modell ablesen, ist ggf. informativ bei adaptiven Tests