Hoofdstuk 5 OU Flashcards
Het doel van het afnemen van een test (waaronder ook een vragenlijst of een
systematische observatie wordt verstaan) is een zo nauwkeurig mogelijke meting van
een eigenschap van de onderzochte persoon.
Wat is juist
A De testafname hoeft niet gestandaardiseerd te verlopen. Het is mogelijk om de
informatie uit de test goed te interpreteren en tussen respondenten te vergelijken.
B De testafname dient zo gestandaardiseerd mogelijk te verlopen. Alleen dan is het
mogelijk om de informatie uit de test goed te interpreteren en tussen respondenten te
vergelijken.
Antwoord
De testafname dient zo gestandaardiseerd mogelijk te verlopen. Alleen dan is het
mogelijk om de informatie uit de test goed te interpreteren en tussen respondenten te
vergelijken.
Klopt het volgende
Tests met een open-antwoordvorm worden handmatig gescoord
Antwoord ja.
Tests met een meerkeuze-antwoordvorm kunnen op drie manieren worden gescoord,
hoe.
1 Handscoring.
2 zelfscoring
3machinale scoring.
Wat hoort waarbij
A hierbij worden de vragen via een computer afgenomen
B dit bestaat doorgaans uit het leggen van een sjabloon over het antwoordformulier,
waarna de verkregen scores op hetzelfde formulier of een apart scoreformulier worden
genoteerd
C hierbij geeft de onderzochte persoon zijn antwoorden op een doordrukformulier,
zodat de score van een antwoord op het onderliggende formulier direct zichtbaar is
1= b
2= c
3= a
Machinale scoring is aantrekkelijk wanneer zeer veel personen worden getest, zoals bij
schoolvorderingentests, intelligentietests en multiple-choicetentamens. Bovendien is
machinale scoring weinig arbeidsintensief en dus goedkoop en worden er geen
scoringsfouten gemaakt.
Ten aanzien van welke ‘zaken’ kunnen zich problemen voordoen met
standaardisatie?
Ten aanzien van de volgende drie zaken kunnen zich problemen
voordoen met standaardisatie: variatie in de testsituatie (bijvoorbeeld
temperatuurverschillen, schrijfcondities, individuele of groepsgewijze
afname); variatie in de situatie waarin de onderzochte verkeert
(bijvoorbeeld motivatie, coöperatie, onbevangenheid); variatie in het
gedrag van de proefleider (bijvoorbeeld zakelijk, belangstellend, sekse,
leeftijd).
Waarom is standaardisatie van belang en wat is het gevolg van niet-
gestandaardiseerde testafname?
Standaardisatie is van belang indien we iemands testprestatie willen
kunnen vergelijken met de prestaties van anderen op dezelfde
psychologische test. Indien niet getest is onder maximaal gelijke
testcondities en/of er onvoldoende of geen controle is uitgeoefend op
de omstandigheden waarin de proefpersoon getest is en/of benaderd
wordt door de proefleider, zijn variaties in testprestaties niet puur en
alleen toe te schrijven aan verschillen tussen de proefpersonen. Een
deel van de variatie zal toe te schrijven zijn aan verschillen in de
testafnames.
Wat is volgens de auteurs het bezwaar tegen de klinisch-intuïtieve weg?
Waarom of wanneer is het voorstel bezwaarlijk?
Volgens de klinisch-intuïtieve weg kunnen elementen van de testsituatie
(aard en verloop van de interactie tussen onderzochte en proefleider) in
de evaluatie (van de testresultaten) worden verwerkt. Het bezwaar van
Drenth en Sijtsma tegen dit voorstel is dat hierbij subjectieve impressies
en ideeën van de psycholoog een rol zullen gaan spelen. Indien men uit
is op het genereren van hypothesen en/of het zoeken naar wegen voor
verder onderzoek, is de methode aanvaardbaar en nuttig. Wanneer
men echter voorspellende of classificerende uitspraken wil doen, is het
beter om te trachten zo veel mogelijk vergelijkbaarheid en objectiviteit
(bij de testafname!) te bewaren.
Wat wordt geadviseerd en wat wordt afgeraden ten aanzien van de score
bij de open-vraagvorm?
Bij tests die een open-vraagvorm hebben, doen zich gevaren van
subjectiviteit en lage interbeoordelaarbetrouwbaarheid voor. Ter
reductie van deze gevaren is een volledig, duidelijk en ondubbelzinnig
coderingssysteem vereist. Zonder een voldoende
interbeoordelaarovereenstemming is het onmogelijk tot zinvolle
uitspraken en predicties te komen. Ook is validiteitsonderzoek op basis
van onvoldoende betrouwbare variabelen een verspilling van tijd. Van
belang is bij het gebruik van de open-vraagvorm zo veel mogelijk vooraf
de beslissingen omtrent de coderingen te nemen en de
coderingswerkzaamheden zo veel mogelijk te delegeren aan een
belangeloze medewerker. Ad-hoccodering dient om reden van
contaminatie vermeden te worden.
Welke scoringsvormen kunnen onderscheiden worden ten aanzien van
reacties op geprecodeerde items? Welke voor- en/of nadelen zijn aan elke
vorm verbonden?
De voornaamste zorg bij de scoring van meerkeuzevragen betreft
accuraatheid en efficiëntie. Men kan bij de scoring een keuze maken uit
drie mogelijkheden: de handscoring, de zelfscoring en de machinale
scoring. De handscoring is de meest bewerkelijke scoringsmethode. Bij
grotere aantallen testformulieren neemt de tijdsduur en (de correctie
van) het aantal fouten toe. De methode van zelfscoring leidt tot een
aanzienlijk snellere en efficiëntere verwerking dan de methode van de
handscoring. Omdat iedere onderzochte echter de beschikking dient te
hebben over speciale scoringsformulieren, waarvan de corrector
eenvoudig de markeringen kan overnemen, is het per situatie de vraag
of de grotere efficiëntie opweegt tegen de hogere kosten voor het
materiaal. De snelste methode van verwerking is de machinescoring.
Hoe groter de schaal waarop getest wordt en hoe routinematiger de
afname (CITO-toetsen en tentamens), hoe meer machinale scoring
aangewezen is. De modernste scoringsvariant is die waarbij de
testafname op de computer geschiedt en de onderzochte de
antwoorden rechtstreeks in de computer invoert. Moderne
computerprogrammatuur maakt het bovendien mogelijk de
antwoorden onmiddellijk te coderen, een testscore te berekenen en de
onderzochte feedback te verschaffen.
Welke kanttekeningen kunnen gemaakt worden bij het gebruik van
formules voor toevalscorrectie?
Bij correctieformules zijn enkele kanttekeningen te plaatsen. De
formules houden geen rekening met het feit dat er vaak een vloeiende
overgang bestaat tussen het wel en niet weten van het juiste antwoord
op een vraag. Door partiële kennis kan dan ook een reële giskans groter
of kleiner zijn dan de theoretische, blinde giskans. De formules houden
ook geen rekening met het feit dat men een fout antwoord kan geven
op basis van een verkeerd inzicht of onjuiste informatie, gevallen die
niet gelijk zijn aan blind gissen. Voor toeval gecorrigeerde scores geven
een grotere spreiding in scores te zien, waardoor ten onrechte zou
kunnen worden geconcludeerd dat de effectiviteit van meten is
toegenomen. De formules maken de scoring (onnodig) complex,
waardoor de kans op fouten toeneemt. En, tot slot, de formules
verbeteren de predictieve waarde van de testscore niet door de
bijzondere relatie die bestaat tussen de ongecorrigeerde en de
gecorrigeerde testscore.
Op welke vlakken doen zich mogelijkheden en problemen voor als gevolg
van het gebruik van computers voor testafname en scoring?
De computer levert zowel op het technologische als het
wetenschappelijke vlak een bijdrage aan de testpraktijk. Technologische
bijdragen liggen voornamelijk in de administratieve sfeer (afneming,
opslag en administratie van items; administratie van testgegevens;
rapportage). Wetenschappelijke bijdragen liggen bijvoorbeeld in de
facilitatie van het onderzoek naar individuele verschillen en de
mogelijkheid tot adaptief testen (inhoudelijk-psychologische
veranderingen; psychometrische veranderingen). Problemen van
computergebruik houden verband met het feit dat personen anders
kunnen reageren op een conventionele schriftelijke testafname dan op
een afname per computer. Normen behorend bij een conventionele
test kunnen dus niet zonder meer worden overgenomen voor de
computergestuurde testversie.
Wat zijn de voordelen van en de voorwaarden bij adaptief testen?
De voordelen van adaptief testen bestaan daarin dat iedere respondent
een test krijgt voorgelegd die op zijn of haar niveau is toegesneden; de
meting van de eigenschap van een persoon met grotere
nauwkeurigheid plaatsvindt dan bij de klassieke wijze van testen; de
meetwaarden van verschillende personen met elkaar vergeleken
kunnen worden ondanks dat zij tests van verschillend
moeilijkheidsniveau hebben gemaakt. Adaptief testen kan niet
(efficiënt) plaatsvinden zonder een itembank waaruit de computer
items kan selecteren van gevarieerde moeilijkheid. Een dergelijke
itembank dient geheel te voldoen aan de eisen van de item-
responstheorie. (Of voldaan wordt aan deze eisen dient dus eerst langs
empirische weg vastgesteld te worden!)
Wat wordt bedoeld met ‘de ruwe score'?
De basisscore waarin in eerste instantie de testuitslag wordt uitgedrukt,
noemen we de ruwe score (bijvoorbeeld aantal goed, aantal fout, aantal
pogingen). De ruwe score is dus in ieder geval een eerste score die geen
verdere bewerking heeft ondergaan.
Welke typen bewerkte scores kunnen onderscheiden worden?
Het eerste type bewerkte scores is gebaseerd op een vergelijking met
een absolute standaard; het tweede type is gebaseerd op een deling
door leeftijd, schoolklas en dergelijke; het derde type is gebaseerd op
de relatieve positie in een vergelijkingsgroep.
Wat wordt onder een norm verstaan?
Onder een norm verstaan we een referentiekader voor de evaluatie van
de ruwe scores, dat is gebaseerd op de kenmerken van de distributie
van de ruwe scores in een populatie. Deze kenmerken worden geschat
op basis van een representatieve steekproef.
Wanneer is het gewenst en wanneer onnodig om normen te berekenen?
Met het gebruik van normen worden de grenzen van de groep die men
onderzoekt, doorbroken; de toevalligheden van de groep (qua niveau,
qua spreiding) hebben geen invloed op de beoordeling van het individu,
omdat in feite een vergelijking wordt getrokken van deze score met de
scoreverdeling binnen de referentiegroep. Het is onnodig normen te
berekenen of te gebruiken indien men geïnteresseerd is in bijvoorbeeld
de rangschikking van een persoon binnen de onderzochte groep of het
percentage goede antwoorden dat men moet halen om zelfstandig te
mogen werken. Is men voor onderzoeksdoeleinden geïnteresseerd in
de samenhang tussen test- en criteriumscore, dan kan men zich
beperken tot ruwe scores.
