Item Response Theory Flashcards Preview

Testtheorie > Item Response Theory > Flashcards

Flashcards in Item Response Theory Deck (42):
1

Im Gegensatz zur klassischen Testtheorie, die erst beim Testwert ansetzt, sich jedoch nicht näher damit beschäftigt, wie es zu dem Testwert kommt, setzen Modelle der IRT bereits an der Formulierung des Zusammenhangs von latenter Dimension und manifester Variable an. Von welchen drei Komponenten wird im Allgemeinen davon ausgegangen, dass sie die beobachtete Antwort beeinflussen'?

Eigenschaft der Person also Fähigkeit
Eigenschaft des Items Schwierigkeit
zufällige Einflüsse

2

Nenne drei Typen von Itemcharakteristiken die unterschieden werden.

streng monotone Funktionen
monotone Funktionen
nicht monotone Funktionen

3

Was charakterisiert streng monotone Funktionen?

Bei streng monotone Funktionen nimmt die Lösungswahrscheinlichkeit eines Items mit zunehmender Ausprägung der Person in der latenten Dimension stetig zu oder ab.

4

Was charakterisiert monotone Funktionen?

Bei monotonen Funktionen können Plateaus auftreten, sodass Personen mit ähnlichen Fähigkeiten gleiche Lösungswahrscheinlichkeit haben

5

Was charakterisiert nicht monotone Funktionen?

Nicht monotone Funktionen können sowohl steigen als auch fallen.

6

Was bedeutet lokal stochastische Unabhängigkeit?

Es wird davon ausgegangen, dass in einer Gruppe von Personen mit gleicher Personenfähigkeit (oder gleicher Merkmalsausprägung) die Lösungswahrscheinlichkeit eines Items unabhängig davon ist ob die Person das zuvor vorgegebene Item gelöst hat oder nicht. Für die praktische Anwendung bedeutet dies, dass die Lösungen von Aufgaben nicht aufeinandern aufbauen dürfen bzw. die Reihenfolge in der die Items bearbeitet werden, keine Rolle spielen darf.

7

Was ist die Guttman Skala?

Bei der Itemcharakteristik der Guttman Skala handelt es sich um eine Sprungfunktion, wobei die Itemlösungswahrscheinlichkeit nur die Ausprägungen 0 und 1 annhemen kann. Somit ist das Modell nicht probabilistisch sondern deterministisch

8

Welche wesentlichen Erkenntnisse über die IRT lassen sich anhand der Guttmanskala ablesen, obwohl diese deterministisch´ist

die Schwierigkeit des Items und die Personenfähigkeit kann anhand der selben Skala abgelesen werden. bei der Guttman Skala markiert die Personenfähigkeit, die an der Sprungstelle leigt, dei Schwierigkeit des Items,

zur Modellierung der Lösungswahrscheinlichkeit aller Items wird nur eine Dimension angenommen

anhand des Modells können Vorhersagen gemacht werden, die anahnd der manifesten Items überprüfbar sind. Bei der Guttman Skala handelt es sich dabei um die erlaubten Antwortmuster.

9

Was charakterisiert das Latent Distance Model von Lazarsfeld?

Probabilistische Ansatz.
Sprungfunktion wobei pro Item zwie Lösungswahrscheinlichkeiten modelliert werden. Diese Lösungswahrscheinlichkeiten können bei jedem Item anders sein und müssen aus den Daten geschätzt werden. Dadurch sind alle Antwortmuster möglich, treten aber mit unterschiedlichen Wahrscheinlichkeiten auf.

10

Was ist weiterhin das unrealistische des Latent Distance Model von lazarsfeld?

Die Annhame von konstant bleibenden Itemlösungswahrscheinlichkeiten bei steigender Personenfähigkeit ist unrealistisch. Realistischer erscheint, dass die Lösungswahrscheinlichkeiten mit steigender Personenfähigkeit zunimmt.

11

Welche Funktion wählte Rasch?

Als Itemcharakteristik wählte er die logitische Funktion.

12

Welchen Vorteil hat die logitische Funktion?

Der Wertebereich liegt immer zwischen 0 und 1 und hängt nur von einem Parameter U ab.
U = Ksi - sigma (Fähigkeit - Schwierigkeit)

13

Wann beträgt die Lösungswahrscheinlichkeit 0.5?

Bei Items, deren Schwierigkeit der Personenfähigkeit entsprechen beträgt die Lösungswahrscheinlichkeit 0.5.
Ist die Personenfähigkeit geringer als das Item schwierig ist die Lösungswahrscheinlichkeit kleiner 0.5 ist die Person fähiger als das Item schwierig ist sie größer 0.5

14

Wann ist bei Guttman die Modellkonformität verletzt?

Immer dann wenn eine Proband ein schwierigeres Item lösen konnte und ein leichteres nicht.

15

Wovon ist die Antwortwahrscheinlichkeit im Raschmodell abhängig?

Vom Itemschwierigkeitsparamter sigma.

16

Wovon hängt die Antwortwahrscheinlichkeit im 2PL Modell ab?

Im 2Pl ist die Antwortwahrscheinlichkeit abhängig von vom Itemschwierigkeitsparamter sigma sowie vom Itemdiskriminationsparameter Lambda

17

Wovon höngt die Antwortwahrscheinlichkeit im 3PL Modell ab?

Vom Itemschwierigkeitsparamter, vom Itemdiskriminiationsparameter Lambda sowie vom Rateparameter rho.

18

Wie ist der Itemschwierigkeitsparamter sigma im Raschmodell definiert?

Der Itemschwierigkeitsparamter sigma is definiert als jene Merkmalsausprägung ksi bei dem die Lösungswahrscheinlichkeit für item i (und ebenson die Gegenwahrscheinlichkeit) genau 0,5 beträgt.

19

Was ist die entscheidenede Größe für die Lösungswahrscheinlichkeit im Raschmodell?

Personenfähigkeit - Itemschwierigkeits

20

Was versteht man unter spezifischer Objektivität?

Der Schwierigkeitsunterschied zwischen zwei Items kann unabhängig davon festgestellt werden, ob Personen mit niedrigen oder hohen Merkmalsausprägungen ksi untersucht wurden.

Auch Vergleiche zwischen Personen: Die Unterschiede zwischen zwei Personenparametern können unabhängig davon festgestell werde, ob einfach oder schwere Items verwendet wurden.

21

Wann ergibt sich aus einem Item maximale Information über die Merkmalsausprägung einer Person?

Bei Entsprechung von Schwierigkeit und Fähigkeit.

22

Man will mit einem bestimmten Item Vergleiche zwischen zwei Personen mit der Merkmalsdifferenz o =ksiI -ksiJ vornehmen. Wovon hängen die Unterschiede in den Lösungswahrscheinlichkeiten der beiden Personen beim Item ab?

Deutliche Unterschiede in den Lösungswahrscheinlichkeiten ergeben sich wenn die Itemschwierigkeiten im Bereich der Fähigkeit liegen (hier ist die Information über die Merkmalsausprägung höher) . Weichen jedoch die Itemschwierigkeiten von den Fähigkeiten deutlich ab, so fallen die Unterschiede im Lösungsverhalten viel geringer aus.

23

Wovon ist im dichotomen Raschmodell die Steigung der IC-Funktion abhängig?

Im Raschmodell variiert die Steigung bei gegebener Fähigkeit ksi in Abhängigkeit von der Differenz zwischen Fähigkeit und Itemschwierigkeit. Je größer die Steigung der IC-Funktion desto größer ist die Iteminformationsfunktion.

24

Welche beiden Forderungen betreffen die suffizienten/erschöpfenden Statistiken?

Die Anzahl an gelösten Aufgaben soll die komplette Information der Daten über die Fähigkeit der Person beinhalten.

Die Anzahl an Personen, die ein Item lösen können, soll die gesamte Information der Daten über die Schwierigkeit des Items beinhalten.

25

Was ist die einfachste Methode der Parameterschätzung und worauf basiert sie?

Explizite Methode basiert auf der spezifischen Objektivität.

26

Wie erfolgt die Parameterschätzung im Raschmodell üblicherweise?

Maximum Likelihoodmethode. Hierbei werden die unbekannten Parameter so geschätzt, dass die Likelihood der Daten maximal wird.

27

Was ist die Idee hinter einer Likelihoodfunktion?

Man erhält z.B. aus einem Test Daten. Jetzt möchte man die Wahrscheinlichkeit der beobachteten Daten in Abhängigkeit von den unbekannten Parametern ksi und sigma ermitteln. Prinzipiell kann die Likelihood zwischen 0 und 1 variieren. Durch die Wahl von günstigen Werten für die unbekannten Parameter steigt die Likelihood an, durch ungünstige fällt sie wieder. Je höher die Likelihood für die Datenmatrix in Abhängigkeit der gewählten Werte für ksi und sigma ausfällt, desto wahrscheinlicher ist es die richtigen Werte für die Parameter gefunden zu haben

28

Wie geht man bei Maximum Likelihood Verfahren vor?

Durch systematische Veränderung der Werte versucht man, das erzielbare Maximum der Likelihood (für die Daten in Abhängigkeit von ksi und sigma) zu finden

29

Wovon hängt die Wahrscheinlichkeit der Daten bei Modellkonformität ab?

Dann hängt die Wahrscheinlichkeit der Daten nur davon ab wie viele Personen ein Item gelöst haben bzw wie viele Items von einer Person gelöst wurde.
(Bei Modellkonformität besitzen die Parameter interskalenniveau)

30

Was versteht man unter der Summe-0-Normierung?

Es ist Konvention geworden, die Itemparameter innerhalb eines Tests so zu bestimmen, dass deren Summer 0 ergibt. Wobei hierdurch negative sigmas entstehen, die leichte Items charakterisieren und positve Sigmas schwere Items charakterisieren. Mit der Normierung der Itemparameter liegt auch die Skala der Personenparamter fest also negative Personenparameter sprechen für geringe Merkmalsausprägung und positive Personenparameter sprechen für hohe Merkmalsausprägung.

31

Wie manifestiert sich Modellkonformität?

Modellkonformität manifestiert sich indem die empirisch beobachteten Daten zu den Modellannahmen passen.

32

Wie wird zur Überprüfung der Modellkonformität beim graphischen Modelltest vorgegangen?

Zunächst muss (egal bei welcher Modellkontrolle) Die Probandenstichprobe in einem relevanten Teilungskriterium (z.B. Alter, Geschlecht..) oder nach dem Persönlichkeitsmerkmal selbst in zwei Substichproben aufgeteilt. Dann werden in der der Substichproben getrennte Itemparameterschätzungen vorgenommen. So erhält man jeweils zwei Werte für die Itemschwierigkeit, welche sich bei Modellkonformität nicht oder nur zufällig unterscheiden dürfen. Beim graphischen Modelltrest trägt man die gewonnenen Itemparameterschätzungen in einem Bivariaten Streuungsdiagramm gegeneinander ab. Je näher die beiden Schätzungen an der 45grad Diagonalen zu liegen kommen, desto größer ist die Stichprobenunabhängigkeit und desto eindeutiger die Rasch-Homogenität.

33

Bei Itemschwierigkeiten wir die Summernullnormierung empfohlen. Welche Normierung sollte für die Itemleichtigkeit verwendet werden?

Für Itemleichtigkeiten eignet sich die Produkt-1-Normierung.

34

Wie wird zur Modellkontrolle bei z-Test nach Fischer und Scheiblechner vorgegangen?

Beim zTest nach F und S werden die in zwei Stichproben erhobenen und normierten Itemschwierigkeitsparameter miteinander verglichen. Ist der Betrag des z-Werts größer als der kritische zWert ist das Ergebnis signifikant und das Modell von Rasch gilt für dieses Item nicht.

Da der z-Est pro Item erfolgt besteht Gefahr der Alpha-Überhöhung.
Man kann auch einen Globaltest machen wenn der Chi-quadrat-Wert größer als der kritische ist, ist das Ergebinis signifikant und man muss zumindest das Item mit dem betragsmäßigen größten z-Wert aus dem Test entfernen.

35

Wie wird beim LQT nach Andersen verfahren.

Man vergleicht die Likelihoods zweier Modelle.
Lmodell2 / Lmodell1
–Modell1 muss ein echtes Obermodell von Modell2 sein (d.h. dass Modell2 durch Restriktionen von Parametern aus Modell1 entsteht).
–Modell2 darf nicht durch 0 setzen von Parametern entstehen.
–Modellgültigkeit von Modell1 muss nach gewiesen sein.

36

Was charakterisiert das 2PL von birnbaum?

Itemschwierigkeitsparameter und es gibt
Diskriminationsparameter, in der Folge können sich die IC-Kurven schneiden spezifische Objektivität wird aufgegeben

37

Was charakterisiert das 3Pl von birnbaum?

Itemschwierigkeitsparameter, Diskriminationsparameter und Rateparameter

38

Wie ist das Linear-logistische-Modell charakterisiert?

stellt restriktiveres Modell als Raschmodell dar.
Idee war es die Schwierigkeit eine Raschmodell entsprechenden Items auf die Schwierigkeit jener kognitiven Fertigkeiten zurückzuführen, die aufgrund theoretischer Überlegungen im vorfeld der Lösung des Items zugrunde liegen.

39

Was ist das Partial Credit Model?

Das Raschmodell für ordinale Daten
Dadurch wird für jeden Fähigkeitsparameter die Wahrscheinlichkeit der Antwort in Kategorie X modelliert, jene Stellen ab denen eine andere Kategorie als wahrscheinlichste gilt werden Schwellen genannt.

40

Wie ist das Ratingskalenmodell charakterisiert?

Die Schwellenabstände sind in allen Items gleich.

41

Wie ist das Äquidistanzmodell charakterisiert?

Die Schwellen sind pro Item gleich weit entfernt

42

Wie ist das Dispersionsmodell charakterisiert?

Das Verhältnis der Schwellenabstände ist in allen Items dasselbe.