HC11 IRT in de praktijk

Question 1

Doel van item-respons theorie

Answer 1

• Testconstructie
• Testafname

Question 2

Testconstructie IRT

Answer 2

• schat het item karakteristieke functies
• selecteer beste items

Question 3

Testafname IRT

Answer 3

• schat theta voor alle respondenten op basis van itemscores en item karakteristieke functies
• leid de nauwkeurigheid af waarmee theta geschat is

Question 4

Nauwkeurigheid van de schatting van T in KTT

Answer 4

• klassieke testtheorie: geschatte T = X; Se voor iedereen gelijk
• iteminformatie functie Ix(theta): hoger –> meting theta nauwkeuriger
• Rasch-item: beta = 0; thetaA = -2, thetaB = 0, thetaC = 3
  –> geschatte theta nauwkeuriger in de buurt van thetaB dan bij A of C (omdat die gelijk is aan beta, dan is het op het zelfde niveau)

Question 5

Test-informatie functie

Answer 5

• Testinformatie functie: Itest(theta) = Ix1(theta) + Ix2(theta) + … + Ixk(theta)
• test met twee Rasch items beta1 = -3, beta2 = -2 en thetaA = -2, thetaB = 0
  –> geschatte theta bij theta = -2 dan bij theta = 0; kleinste bbh-interval rond geschatte theta

Question 6

Nauwkeurigheid van de meting

Answer 6

Standaardfout van geschatte theta voor de test (SEtest(geschatte tetha)) wordt bepaald door de testinformatie en hangt dus ook af van theta
–> SEtestgeschatte theta) = 1 / wortel(Itests)

Question 7

95% betrouwbaarheidsinterval voor theta

Answer 7

geschatte theta +/- 1.96 x SEtest(geschatte theta)

Question 8

Testconstructie op basis van een itembank 1

Answer 8

Itembank: relatief grote verzameling makkelijk toegankelijke items. IKF en items beschrijving bekend
- precies die items kiezen die goed bijdragen aan wat je met de test wilt meten
- wat is de gewenste nauwkeurigheid van geschatte theta voor alle verschillende mogelijke waardes van geschatte theta

Question 9

Testconstructie op basis van een itembank 2

Answer 9

Met IRT is populatie-onafhankelijk meten mogelijk. Met itembanken kunnen verschillende tests samengesteld worden; afhankelijk van doel van test

Question 10

Testconstructie op basis van een itembank 3

Answer 10

• IRT maakt het dus mogelijk om een test op maat te maken
• ander doel –> andere doelinformatiefunctie –> andere testsamenstelling
• zo kunnen we tests ontwikkelen die nauwkeurig meten in een specifieke deelpopulatie (bijv. hoog-/laagvaardige groep)
• populatie-onafhankelijk –> resultaten blijven vergelijkbaar
• nog verder doorgevoerd: iedereen persoonlijke test

Question 11

Adaptieve tests

Answer 11

• iedere respondent krijgt een unieke op maat gemaakte test
• items worden gekozen zodat ze aansluiten bij vaardigheid repsondent
• veel efficiënter meten
• itembank met items die een IRT model voldoen noodzakelijk bijna altijd via de computer: Coputer adaptive testing (CAT)

Question 12

Hoe maak je een adaptieve test

Answer 12

Kies meest informatie item voor theta = 0
–> pas theta aan op basis van antwoord
–> pas theta opnieuw aan op basis van nieuwe antwoorden
–> blijf dit doen totdat theta zo precies mogelijk is met een lage SEtest

Question 13

Voordelen adaptieve test

Answer 13

• nauwkeurige meting bij iedereen
• op individu afgestemd
• objectief
• korte testtijd
• snelle terugkoppeling mogelijk
• prestaties op verschillende tests kunnen vergeleken worden

Question 14

Nadelen adaptieve test

Answer 14

• IRT modellen zijn restrictief
• hoge kosten
• vaak is het moeilijk veel items te construeren voor een construct

Question 15

Multi stage testing

Answer 15

Eenvoudige vorm van adaptief testen
- iedereen krijgt hetzelfde eerste deel van de test
- aan de hand van prestatie eerste deel toewijzing vervolgdeel
- kan met 2 ‘stages’ maar ook met meer
- minder efficiënt dan adaptief, maar wel makkelijk te doen

Question 16

Kenmerken IRT tegenover KTT

Answer 16

• levert een manier om ons meetmodel te toetsen
• erkent dat nauwkeurigheid metingen afhangt van vaardigheid (SEtest(geschatte theta) varieert met theta)
• maakt populatie-afhankelijk vergelijken personen en vergelijken items mogelijk
• maakt adaptief testen mogelijk

Question 17

Kenmerken KTT tegenover IRT

Answer 17

• is simpeler dan IRT
• biedt ook middelen om een goede test op te stellen (betrouwbaarheid en validiteit)
• resultaten verschillen vaak niet zo sterk
• is in meer standaard-software te vinden

Question 18

Betrouwbare score in IRT

Answer 18

• in KTT: betrouwbare score = gemiddelde score van persoon over replicaties (betrouwbare score = verwachte score)
• in IRT dus verwachte score bepalen
  –> som van de verwachte itemscores –> SOMP(X = 1|theta)

Question 19

Betrouwbare score versus theta in IRT

Answer 19

Als we T kunnen bepalen in IRT, waarom werken we dan met theta
- theta is neit afhankelijk van de testkeuze
- theta wel van interval meetniveau, T niet
- theta waarde direct te interpreteren, want we weten gemiddelde is 0 en SD is 1 –> net als Z-score

Question 20

Gebruik van theta in de praktijk

Answer 20

• je kunt theta dus behandelen als z-score
• daarmee is theta te vertalen naar bewerkte score
• IQ-score en M-score en stanines