HC12 Test fairness en bias Flashcards
Twee vormen van testgebruik
- meten van een psychologisch construct
- voorspellen criterium
Leverde ook twee vormen van validiteit op
- 2 type vertekeningen (bias)
- Begripsvaliditeit/constructvaliditeit (sluit X aan bij construct)
- Criteriumvaliditeit (voorspelt X criterium)
Bias begripsvaliditeit
- iedereen met dezelfde vaardigheid moet dezelfde verwachte testscore hebben
- als dit neit zo is –> vertekening testscore (= construct bias)
Bias criteriumvaliditeit
- aanname: voor mensen met dezelfde testscore krijgen we dezelfde voorspelde waarde op het criterium
- als aanname geschonden: vertekening in voorspeld criterium (= predictieve bias)
Vertekening testscore –> constructbias
- gelijke responsprocessen was één van de vijf pilaren van de begripsvaliditeit
- als mensen niet hetzelfde responsproces doorlopen, kun je hun resultaten niet vergelijken
–> taalproblemen, faalangst, ontbrekende achtergrondkennis
Constructbias bij dichotome items
- wanneer is er géén sprake van construct bias
–> als voor ieder item geldt dat iedereen met dzelfde vaardigheidssniveau/ niveau op de trek dezelfde kans heeft om de vraag goed te veantwoorden - als item goed functioneert is alleen theta een voorspeller van je succeskans
- als naast theta nog andere factoren een rol spelen is er sprake van construct bias
Voorbeeld dichotome item constructbias
- stereotype threat
- Jongens en meisjes met dezelfde wiskunde vaardigheid zouden gelijke itemkansen moeten hebben
- idee is dat stereotype threat de prestaties van meisjes op moeilijke items negatief beïnvloedt
Hoe test je of er constructbias is op een wiskunde test door stereotype threat
- neem de test af bij een grote teekproef uit de populatie
- formuleer hypotheses over bij welke items je een invloed verwacht
- schat de item-karakteristieke functies voor ieder item apart voor jongens en voor meisjes
- onderzoek of de item-karkateristieke functies van de jongens en meisjes op verdachte items verschillen
Uniforme item bias
- als er bias is verwacht je vaak dat een item altijd moeilijker is (gegeven theta) voor één groep dan de andere
- oftewel: item heeft hogere beta voor de ene dan voor de andere groep
- dit noemen we uniforme item bias
–> uniform, omdat over hele range theta de ene grorpe de vraag moeilijke vindt (= lagere kans) dan de andere groep
–> item-karakteristieke dunctie van de ene groep altijd hoger dan van de andere griep
Niet-uniforme item bias
- het kan ook zijn dat een item in een subgroep simpelweg slechter fucntioneert
- oftewel: het item discrimineert slechter in de ene groep
–> discriminatie-parameter verschilt voor de groepen
–> item karakteristieke functies lopen niet even stijl, en snijden elkaar daardoor
-> daarmee niet-uniforme item bias, omdat het voor sommigen waardes van theta een voordeel bied en voor andere waardes een nadeel
Omgaan met item bias
- verwijder het item uit de test/analyses
- corrigeer je schatting van de vaardigheid/eigenschap voor de geconstateerde vertekening
–> 2e is gevaarlijke en niet altijd ethisch (zelfde prestatie is andere conclusie voor verschillende mensen of er is daadwerkelijk iets mis met het item)
Vertekende bias –> predictieve bias
- als we onze test willen gebruiken om iets te voorspellen kan er vertekening optreden
- mogelijk hangt de te voorspellen waarde neit alleen van de testscore af, maar ook van groepslidmaatschap
- personen met dezelfde testscore hebben niet dezelfde verwachte score op het criterium
- kan ook optreden als er geen sprake is van construct bias
- prediciteve bias slaat op relatie tussen testscore en criterium
Voorbeeld predictieve bias
- afname wiskundevaardighedistest bij aanvang testtheoriecursus
- hoge score zou indicatie moeten zijn van goede latere prestaties bij de cursus
- hoge wiskundevaardigheid niet enige invloed op prestatie
Vertekende predictie –> intercept bias
- ik meet alleen wiskundevaardigheid en zie de rest over het hoofd (bijv. ordelijkheid)
- stel: mannen zijn gemiddeld minder ordelijk dan vrouwen
- consequentie: voor een amn en een vrouw met dezelfde score op wiskunde test zal de verwachte score op het criterium verschillen
- dit levert waarschijnlijk intercept bias op
Vertekende predictie –> slope bias
kan ook zijn dat zowel wiskunde vaardigheid als ordelijkheid nodig is voor goede prestatie
- alleen bij hogere score op wiskundevaardigheid als ordelijkheid hoge prestatie tijdens cursus
- interactie-effect wiskundevaardigheid en ordelijkheid
- als mannen minder ordelijk zijn, zal bij hen de prestatie minder toenemen bij hogere wiskundevaardigheid
- in dat geval maakt het vooral hoogwiskundevaardige mensen veel uit of ze man of vrouw zijn
–> resultaat: verschillende hellingen voor de twee groepen: slope bias
