HC7 Betrouwbaarheid: verbeteren & gevolgen

Question 1

Ontwikkelen goede test

Answer 1

• een test bestaat idealiter uit een groot aantal items
• een toest moet maar één hypothtisch begrip meten
• testverlenging over het algemeen verstandig (Spearman-Brown)
• ls items in kwaliteit verschillen kan juist verwijderen zwakke items beter zijn

Question 2

Item-selectie

Answer 2

Selectie altijd aan de hand van indicatoren van item-discriminatie
- item-restscore correlatie
- gedichotomiseerde item-restscore correlatie
- item-discriminatie index D

Question 3

Item restscore correlatie
- standaard power test

Answer 3

Restscore R = som van alles scores zonder interesse item
- r >.3 is goede score (liefst >.4)

Question 4

Item-restscore correlatie

Answer 4

Correlatie tussen item en scores zonder item

Question 5

Correlatie bij dichotome variabelen

Answer 5

• ook bij twee dichotome variabelen X en Y kunnen we de associatie onderzoeken
• correlatie word anders berekend –> phi
• gaat nog steeds om geobserveerde overeenkomst tussen de twee variabelen
• score 1 op beide variabelen = overeenkomst
• score 0 op beide variabelen = overeenkomst

Question 6

Phi-coëfficiënt

Answer 6

• iedereen valt in een van de vier ellen in een 2x2 frequentietabel
• B en C zijn overeenkomst en A en D hebben geen overeenkomst
  phi = (BxC - AxD)/ wortel(A+B x C+D x A+C x B+D)

Question 7

Gedichotomiseerde item-restscore correlatie (selectietest)

Answer 7

Test om een bepaald percentage respondenten met de hoogste (of laagste) betrouwbare scores te selecteren
- dit doe je door de doelgroep die je zoekt een score van 1 te geven en de rest een score van 0 –> gebruik daarna phi

Question 8

Gebruik van phi voor item-restscore correlatie

Answer 8

Vul de tabel in met aan de ene kant de Itemscore en aan de andere kant de Rdich
>.3 is wenselijk

Question 9

Item-discriminatie index D (dichotome items) formule

Answer 9

D = Phigh - Plow
- Kies de hoogste percentage en kijk hoeveel daarvan het correcte antwoord hebben en doe dit ook voor de laagste percentage

Question 10

Item-discriminatie index D informatie

Answer 10

• Items meoten goed onderscheid kunnen maken tussen mensen die hoog vs. laag op het construct scoren (hoge discriminatie is gewenst)
• Hoge restscore is vraag goed, lage restscore is vraag fout –> dit is gewenst, maar niet altijd het geval
• deel personen op in laag, middel en hoge groep (bijv. 30 - 40 - 30%)
• hoge D is betere discriminatie = betere betrouwbaarheid

Question 11

Gevolgen betrouwbaarheid

Answer 11

Lage betrouwbaarheid heeft invloed op
- correlaties testscore met andere constructen
- effect size schatting
- power van statistische test

Question 12

Attenuatie van correlaties
- attenueren is vertroebelen

Answer 12

• Iedere observatie heeft meetfout (willekeurig)
• Meetfouten vertroebelen/confounden de meting
• Het gemeten construct (T) kan samenhangen met iets anders (Y)
• Geobserveerde (X) zal een zwakkere samenhang tonen door vertroebeling met T
  –> meer meetfout is meer vertroebeling is lagere correlatie X en Y
• lage betrouwbaarheid attenueert de geobserveerde correlaties

Question 13

Attenuatie

Answer 13

Verlagen, vertroebelen

Question 14

Stel T en Y correleren perfect
- Correlatie tussen de x en y

Answer 14

rTY = 1
- correlatie tussen X en Y is wortelRXX
- rxy = rTY x wortelRXX

Question 15

Correlatie tussen X en Y bij niet perfecte betrouwbaarheid

Answer 15

Meetfout in X én Y attenueren de correlatie
rxy = rTxTy x wortelRXX x wortelRYY
- correlatie tussen de twee constructen (rTxTy) daarmee vaak veel hoger dan correlatie tussen de testscores waarmee die constucten gemeten worden rxy

Question 16

Wat zijn Tx en Ty

Answer 16

True score X en true score Y –> dit zijn de werkelijke scores, dus niet ideale/perfecte scores
- ookwel betrouwbare score

Question 17

Corrigeren voor attenuatie in X en Y
- wat is de correlatie tussen de ware score voor X en de ware score voor Y

Answer 17

• in de praktijk zijna lleen correlatie tusen testscores bekend (rxy)
• in de wetenschap willen we vaak de relatie tussen de constructen zelf (rTxTy) onderzoeken
• rTxTy = Rxy / (wortelRXX x wortelRYY)

Question 18

Corrigeren voor attenuatie bij predictieve validiteit
- wat is de correlatie tussen de gemeten waarde van X en de ware score van Y

Answer 18

• vaak wordt een test (X) gebruikt om een toekomstig criterium te voorspellen
• criterium wordt gemeten met een test Y, maar die is onbetrouwbaar
• vraag is dan hoe goed test X het daadwerkelijke criterium TY voorspelt (rxTy)
• rxTy = rxy / wortelRYY

Question 19

Impact van lage betrouwbaarheid

Answer 19

• correlaties vallen door onbetrouwbaarheid dus lager uit
• ook andere effect sizes vallen lager uit (groepsverschillen en regressie-coëfficiënten)
• statistische tests onderzoeken of een effect significant van 0 verschil
• door attenuatie gaat ook statistische power omlaag