Testtheorien:Klassische &Item Response Theorie Flashcards

(54 cards)

1
Q

Was ist Messen

A

Messen ist die Zuordnung von Zahlen zu Merkmalen von Personen so dass die Zahlen die Relationen dieses Merkmals zwischen den Personen adäquat widerspiegeln

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Konstrukte werden auch als

A

latente Variablen (verborgen) bezeichnet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

beobachtbare/manifeste Variablen

A

Items bzw. Itemantworten

Indikatoren der latenten Variablen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Zentrale Anforderung an eindimensionale Tests bzw.Untertests

A

Die Beantwortung der Items sollte nur von einer einzigen Fähigkeit/Eigenschaft abhängen d.h. Unterschiede in der Atembeantwortung sind mit Unterschieden zwischen den Personen in der latenten Variable erklärbar

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Warum sollten Tests/Untertests eindimensional sein?

A

Misst ein Test 2 Fähigkeiten oder Eigenschaften auf einmal ist eine klare Diagnosenstellung nicht möglich
Bsp:
Kind schneidet in zeitbegrenzten IQ Test schlecht ab
unklar:kind nicht intelligent oder nicht schnell genug?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Vorteil der KTT

A

einfache Anwendbarkeit,nützliches Handwerkszeug

in Praxis bewährt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Zentrale Annahme KTT

A

Jede Person hat einen wahren Wert der den Mittelwert (Erwartungswert) ihrer intraindividuellen Verteilung darstellt
Abweichung kommt durch Messfehler zustande (KTT=Messfehlertheorie)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Messfehler variiert von

A

Messung zu Messung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Axiom 1 KTT

A

Verhältnis wahrer Wert,beobachteter Wert,Messfehler
Jeder Beobachtete Wert (Xi) einer Person (i) in einem Test setzt sich additiv zusammen aus dem wahren Wert der Person (Ti) &einem Messfehler (Ei)
Der Messfehler repräsentiert dabei alle unkontrollierten&unsystematischen Störeinflüsse bei der Messung
Xi = Ti+Ei

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Axiom 2 KTT

A

Erwartungswert des Messfehlers ist Null
Für jede Person stellt der Messfehler eine Zufallsvariable mit dem Erwartungswert (Mittelwert) Null &endlicher Varianz se2 dar, der für alle Pwronen gleich ist:
E(Ei)=0

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Axiom 3 KTT

A

Messfehler ist unabhängig vom wahren Wert
Es gibt keinen Zusammenhang (Cov) zwischen dem Messfehler (E) & dem wahren Wert (T) einer Person (i)
Nov(ei,Ti)=0

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Axiom 4 KTT

A

Messfehler sind unkorreliert
Die Korrelation zwischen den Fehlern zweier Tests ist null:
Nov(Ea,Eb)=0
Messfehler (E) eines Tests A (z.B. eines Konzentrationstests) hängt nicht zusammen mit Messfehler E eines Tests B (z.B. eines Leistungsmotivationstests)
Wenn die Fehlerwerte zweier Tests unkorreliert sind, muss Korrelation der beiden Testwerte allein auf wahren Zusammenhang der Merkmale zurückzuführen sein

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Axiom 5:

A

Messfehler sind unabhängig von wahrem Wert in anderen Tests
Die Messfehler eines Tests korrelieren nicht mit den wahren Werten der Personen in einem anderen Test:
Cov (EA, TB) = 0
Beispiel:
Ausprägung in einem Merkmal B (z.B. Depressivität) hat
keinen Einfluss auf die Messgenauigkeit eines Verfahrens zur Messung von Merkmal A (Intelligenztest).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Die Reliabilität eines Tests ist

A

der Anteil der Varianz der wahren Werte (T) an der Varianz der beobachteten Werte (X):
Beispiel:
Beträgt Test‐Retest‐Reliabilität .80, dann kann man daraus folgern, dass 80% der beobachteten Varianz der Testwerte auf wahren Unterschieden zwischen den Testpersonen beruhen und 20% auf Fehlervarianz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Messpräzision wichtig für Aussagen über

A

die psychometrische Qualität des Testwerts in Bezug auf Einzelfallaussagen &Gruppenaussagen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Messpräzision

A

Psychologische Tests sind nicht perfekt messgenau daher kann das Ergebnis einer Person nicht ohne weiteres interpretiert werden (Messwert=Wahrer Wert+Messfehler(schwanken um den wahren Wert))
Vielmehr wird versucht, die mangelnde Messgenauigkeit bei der Interpretation von Testwerten zu berücksichtigen
Dazu wird ein Bereich angegeben, in dem der wahre Wert eines Probanden mit einer gewissen Wahrscheinlichkeit liegt
KI/Vertrauenintervall

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

das Konfidenzintervall gibt den Bereich an

A

in dem der wahre Testwert einer Person bei einer zuvor festgelegten Sicherheits‐ bzw.Irrtumswahrscheinlichkeit liegt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Bestimmung des Messfehlers

A

Se =Sx *Wurzel 1-rtt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Die Beurteilung einer person erfolgt meist

A

im Vergleich zu einer Normstichprobe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Als Grenzen für über&unterdurchschnittlich wird häufig

A

eine Standardabweichung gewählt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

einfache oder doppelte Minderungskorrektur

A

Korrektur für Reliabilität bei Berechnung von Korrelationen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Nachteile KTT

A

Axiome nicht empirisch prüfbar
Axiome nicht durchgängig plausibel (höhere Messfehler bei höherer Merkmalsausprägung)
Nur zufällige Messfehler werden berücksichtigt, wobei systematische Messfehler in der Praxis häufig vorkommen
Parameter der KTT sind populations‐&stichprobenabhängig
„Nur“ eine Messfehlertheorie, keine Aussage über das Zustandekommen von Messwerten
-Ansatzpunkt der Item‐Response Theorie

23
Q

Kernfrage der Item Response Theorie

A

Wie kommen Antworten auf Items zustande?

24
Q

Um das Antwortverhalten auf die latenten Variablen zurückzuführen, müssen

A

die Items homogen sein, d. h. alle das gleiche Konstrukt messen.

25
Eindimensionalität gegeben, wenn
alle Items auf die gleiche latente Dimension zurückgehen (keine weitere latente Variable mit den Items gemessen wird) – z.B. unterschiedliche Matheaufgaben nur Konstrukt mathemat. Fähigkeit, nicht aber Textverständnis messen
26
Um Homogenität zu ermitteln, muss
lokale stochastische Unabhängigkeit der Items untereinander festgestellt werden
27
Unterschiede zwischen den Personen in latenten Variable sagen Unterschiede
in der Itembeantwortung vorher
28
Prüfung, indem latente Dimension auf bestimmtem Wert konstant gehalten wird (z.B. Personen mit IQ‐Wert = 100) Erwartung bei Konstanthaltung:
Keine Korrelation zwischen den Items | Die Items sind lokal unabhängig
29
Gäbe es dennoch Korrelationen,
wären andere Variablen für das Zustandekommen der Unterschiede im Antwortverhalten verantwortlich und die Items wären nicht lokal unabhängig
30
unbekannte Personenfähigkeit
θ (Theta)
31
unbekannte Itemschwierigkeit
σ (Sigma)
32
Je größer die Differenz (θ − σ) zwischen Personenfähigkeit θ und Itemschwierigkeit σ ausfällt, desto
höher muss die Itemlösungswahrscheinlichkeit ausfallen!
33
Lösungswahrscheinlichkeit für bestimmtes Item (zu überspringende Latte) hängt ab von
A) Fähigkeit/Merkmalsausprägung der Person („hoch springen“) + B) Schwierigkeit des Items (vorgegebene Höhe
34
ein Modell muss Annahmen treffen, welche Parameter an der Itemlösung beteiligt sind, im einfachsten Fall
die Personenfähigkeit θ (Theta) und die Itemschwierigkeit σ (Sigma)
35
ein Modell muss zudem Annahmen darüber treffen, welcher Zusammenhang zwischen diesen Modellparametern besteht
Sprungfunktion Guttman‐Modell (= deterministisches Modell) Linearer Zusammenhang Binomialmodell (= probabilistisches Modell) Logistischer Zusammenhang Rasch‐Modell (= das wichtigste probabilistische Modell)
36
Sprungfunktion Guttman‐Modell
(= deterministisches Modell)
37
Linearer Zusammenhang Binomialmodell
(= probabilistisches Modell)
38
Logistischer Zusammenhang Rasch‐Modell
(= das wichtigste probabilistische Modell)
39
Rasch‐Modelle
Gruppe von probabilistischen Latent‐Trait‐ Modellen, welche neben der lokalen stochastischen Unabhängigkeit über weitere vorteilhafte Modelleigenschaften verfügen. Zu nennen sind vor allem die erschöpfenden Statistiken, die Stichprobenunabhängigkeit der Parameterschätzungen und die spezifische Objekvität der Vergleiche.“
40
Dichotomes Rasch‐Modell
Gegenstand des dichotomen Rasch‐Modells sind Items, deren Antworten nur die Werte 1 oder 0 (z. B. Ja oder Nein, Richtig oder Falsch) annehmen können
41
Itemparameter ist definiert als
die Fähigkeitsausprägung von Personen, wenn die Lösungswahrschein‐ lichkeit eines Items bei p = .50 liegt.
42
Unterschiedliche Trennschärfen sind beim dichotomen Rasch‐Modell
unerwünscht. | Verletzung der spezifischen Objektivität
43
Entscheidender Vorteil des Rasch‐Modells liegt in
spezifische Objektivität...
44
Spezifische Objektivität
dass Vergleiche zwischen Personen gezogen werden können, unabhängig davon, welche Items beantwortet wurden, &dass Vergleiche zwischen Items gezogen werden können, unabhängig davon, welche Personen diese beantworteten. Stichprobenunabhängig
45
Adaptives Testen
Testpersonen erhalten unterschiedliche Items Verwendung von Items, die möglichst viel Information über eine Person liefern Ziel = Steigerung der Messeffizienz (Messpräzision/ Testdauer) Oft nur 40‐60% der Items verglichen mit nicht‐adaptiver Testvorgabe nötig positive Auswirkungen auf Ökonomie &Zumutbarkeit
46
taylored („maßgeschneidert“):
Schätzung des Personenparameters nach jedem Item ‐ nur in computerbasierten Testverfahren realisierbar Beispiel: Frankfurter Adaptiver Konzentrationsleistungs‐ Test FAKT II (
47
branched („verzweigt“):
verschieden schwierige Itemblöcke, festes Vorgehen, Wahl des nächsten Itemblocks abhängig von Zahl der Lösungen im vorhergehenden Block Messeffizienz suboptimal, aber bei Papier‐Bleistift‐ Testung möglich Beispiel: Intelligenztest für Kinder und Jgdl. ‐ Adaptives Intelligenz Diagnostikum AID3
48
Mögliche Kriterien für die Beendigung des Tests
Unterschied zweier aufeinander folgender Schätzungen hinreichend klein Standardfehler der Personenparameterschätzung hinreichend klein bestimmte Maximalzahl von Items dargeboten maximale Testzeit erreicht alle Items im Itempool vorgelegt
49
Item‐Response‐Theorie | Vorteile
Separierbarkeit von Item& Personenparametern ermöglicht empirische Überprüfung von Skalierbarkeit, Eindimensionalität sowie Item‐& Personenhomogenität Ansatz überwindet einige Einschränkungen der KTT (nicht nur Annahme der Itemhomogenität wie in KTT, sondern auch Prüfung, spezifische Objektivität) liefert methodische Grundlage für Adaptives Testen
50
Item‐Response‐Theorie | Imitationen
hoher Aufwand in Testkonstruktion – ausreichende Menge homogener Items muss gefunden werden – vor allem schwierig bei ungenauer Konstruktdefinition Prüfung der Modellkonformität teilweise nicht einfach nach wie vor noch weniger verbreitet Kenntnis beider testtheoretischer Zugänge in jedem Fall sinnvoll &nützlich!
51
Annahme Lokale stochastische Unabhängigkeit
Alle Items messen dieselbe Lanzette Vraibale & deshalb korrelieren sie miteinander
52
Wieviel Informtion liefert ein Item über eine Person (Rasch Modell)
Infomenge abhängig von der Differenz zwischen Fähigkeit&Itemschwirigkeit Maximale Info bei Itemschwirigkeit = Personenfähigkeit D.h je mehr Items für eine Person mit gegebener Fähigkeit eine Lösungswahrscheinlichkeit nahe .50 haben,desto höher die Messgenauigkeit des Tests für Personen mit dieser Fähigkeit —adaptives Testen
53
Start Adaptives Testen
Lösungswahrscheinlichkeit von 0,5 für durchschnittlichen Probanden (Vorinfo kann genutzt werden) Oder Eisbrecher item (0,8 SD unterdes Mittelwert)
54
Adaptives Testen im Test Grundidee
Item gelöst schwieriges | Item nicht gelost leichteres