HC10 Introductie item-responstheorie

Question 1

Kenmerken van Klassieke TestTheorie

Answer 1

• gericht op betrouwbaarheid meten –> RXX en SE
• hoe meet je hypothetisch begrip? –> betrouwbare score T schatten met testscore X

Question 2

Nadelen KTT

Answer 2

• T en X zijn afhankelijk van respondent en test
• geen controle op het model (er is geen manier om na te gaan of X = T + E wel klopt)
• intervalmeetniveau van X oncontroleerbaar
• implausibele aanname: nauwkeurigheid van de meting SE is voor iedereen gelijk

Question 3

Item-responstheorie
- moderne testtheorie

Answer 3

• Alternatief voor KTT
• statistisch model om verschillen in item- en testscores te kunnen verklaren aan de hand van de te gemeten eigenschap

Question 4

Wat doen modellen

Answer 4

• beschrijven fenomeen
• versimpelde weergave werkelijkheid
• passen in meer of mindere maten

Question 5

Onvoorwaardelijke kans

Answer 5

Voldoende score op een van de items
–> onvoorwaardelijke simultane kans = voldoende score op beide items

Question 6

Voorwaardelijke kans

Answer 6

voldoende score op de ene delen door de voldoende score op de ander
–> ook andersom

Question 7

Item-kansen bij dichotome items

Answer 7

• p-waarde: proportie die vraag goed maakt
• dit is een onvoorwaardelijke kans –> P(X = 1)
• maar: niet iedereen heeft precies die kans op goedmaken vragen (ligt aan vaardigheid respondent)

Question 8

Item-kansen en vaardigheidsniveau

Answer 8

• bij bepalen van discriminatie-index D keken we naar phigh en plow
• in de hoogste 30% zitten ook gradaties van kansen
• steeds verder opsplitsen
• wat we willen is de kans op item goed gegeven jouw exacte vaardigheidsniveau –> centraal bij IRT

Question 9

Theta
- latente trek

Answer 9

Geeft iemands vaardigheidsniveau aan (bijv. hoe goed je bent in wiskunde)
- vergelijkbaar met betrouwbare score in klassieke testtheorie
- iedereen heeft eigen waarde op theta
aanname: theta standaardnormaal verdeeld

Question 10

IRT en item-karkateristieke functie

Answer 10

• IRT draait om bepalen van kans op goedmaken vraag gegeven vaardigheidsniveau theta
• de beschijving van de itemkans als functie van theta noemen we de item-karakteristieke functie
• item-karakteristieke functie laat zien hoezeer je vaardigheid uitmaakt voor kans op goedmaken vraag

Question 11

Item-karakteristieke functies

Answer 11

Beschrijving van de kans op goed antwoord gegeven theta
- item-karakteristieke functie voor ieder item anders door moeilijkheid en discriminatie
- als je IKF weet en theta weet, kun je de kans op goedmaken vraag bepalen –> door figuur te lezen

Question 12

Item-karakteristieke functies en IRT modellen

Answer 12

• Hoe kun je IKF bepalen –> IRT model maakt aannames over de vorm van de IKF, hiermee kun je IKF schatten

Question 13

Rasch model formule

Answer 13

P(X = 1|theta) = (e^theta-b)/(1 + e^theta-b)

Question 14

Rasch model
- one parameter logistic model

Answer 14

• slechts 1 item-parameter: beta; itemmoelijkheid
• gebruik de formule

Question 15

Beta in 1-PLM

Answer 15

Moeilijkheid van de test/items

Question 16

Item-informatie bij Rasch model

Answer 16

• Rasch items verschillen onderling in moeilijkheid (beta)
  als theta dicht bij beta ligt is het niveau van de test gelijk aan het niveau van de respondent
  –> theta hoger dan beta is meer kans op goed
  –> theta lager dan beta is minder kans op goed

Question 17

Item-informatie functie

Answer 17

• iteminformatie functie IX(theta) –> hoger = meting theta nauwkeuriger

Question 18

Stappen IRT analyse

Answer 18

• kies je IRT model
• trek een grote steekproef uit de populatie
• schat de item-parameters
• daarna kun je de test gerbuiken om bij personen theta te schatten
• theta niet geobserveerd, dus krijgen we een schatting

Question 19

Bepalen schatting theta

Answer 19

• van iedere persoon weten we welke vragen ze goed hebben
• aan de hand van responspatroon zijn sommige waardes van theta realistischer dan andere
• iemand met theta -2 zal niet vaak vragen met beta 1 goed maken

Question 20

Populatie-onafhankelijkheid Rasch

Answer 20

• moeilijke rekentest (M) en gemakkelijke rekentest (G)
• KTT: TjanG > TineM: zegt niks over rekenvaardigheid van Jan ten opzichte van Ina
• Rasch: thetajanM = thetajanG = thetajan en zo ook voor Ina, we kunnen dan de theta van jan vergelijken met die van Ina

Question 21

Strengheid van Rasch

Answer 21

• alle functies discrimineren in dezelfde mate; geen gok-kans
• daarmee: weinig flexibele item-karakteristieke functie
• gevolg: model past vaak niet

Question 22

Birnbaums twee-paramter model

Answer 22

P(X = 1|theta) = (e^alfa(theta-b))/(1 + e^alfa(theta-b))
- uitgebreid met alfa (discriminatieparameter)

Question 23

Alfa 2-PML

Answer 23

• geeft aan hoe goed item i mensen onderscheidt op latente trek (theta)
• items verschillen nu dus in hoe goed ze discrimineren (alfa>0)
• hogere alfa is beter –> stijlere item-karakteristieke functies (= nauwkeuriger)

Question 24

Item-informatie bij 2PLM

Answer 24

• items verschillen onderling is alfa én beta
• items leveren meeste informatie over theta in de buurt van beta (ook bij Rasch)
• items verschillen in hoe goed ze discrimineren (bij Rasch niet)
• hogere alfa is meer informatie

Question 25

Doel van itemresponstheorie

Answer 25

Testconstructie:
- Schat item karakteristieke functies
- Selecteer beste items
Testafname
- Schat theta voor alle respondenten op basis van itemscore en item karakteristieke functies
- Leid de nauwkeurigheid af van waarmee theta geschat is