H4: Itemconstructie

Question 1

Wat is een item?

Answer 1

Een item is een stimulus waarop de respondent reageert (p. 117).

Question 2

Wat is de definitie van itemreacties?

Answer 2

Het geobserveerde gedrag

Question 3

Wat wordt uit de itemreacties afgeleid?

Answer 3

Het niveau van de geteste persoon af te leiden op een niet-observeerbare psychologische eigenschap die verondersteld wordt ten grondslag te liggen aan deze reacties.

Question 4

Op welke manieren kan er onderscheid gemaakt worden tussen de items? 3x

Answer 4

1. Van de respondenten gevraagde activiteit, zoals:
   - theoretische opdrachten
   - stellingen over de eigen persoonlijkheid of significante anderen
   - vragen
   - praktijkproeven
2. Antwoordvorm, zoals:
   - open vragen
   - gesloten vragen
3. Uiterlijke verschijningsvorm, zoals:
   - meerkeuzevragen
   - rating scales

Question 5

Welke 2 antwoordvormen zijn er?

Answer 5

1. Open vraag (=opdracht of essayvorm)
2. Gesloten vraag (=geprecodeerd, multiplechoice of meerkeuze)

Question 6

Waarom is het noodzakelijk om de reacties van respondenten te kwantificeren?

Answer 6

Voor systematisch onderzoek naar de kwaliteit van de items en van de test of vragenlijst als geheel

Question 7

Wat is een belangrijk criterium bij het kwantificeren van de reacties van respondenten?

Answer 7

Rangordening: de rangorde in de getallen die worden toegekend moet corresponderen met de psychologische werkelijkheid. Iemand met een score ‘3’ op een rating scale moet in werkelijkheid een hogere positie innemen op de psychologische eigenschap die wordt gemeten, dan iemand die een ‘2’ scoort op de rating scale.

Question 8

Hoe noemen we de basiselementen waar psychologische tests en vragenlijsten uit bestaan?

Answer 8

De basiselementen zijn de items (p. 117).

Question 9

Noem minimaal twee voorbeelden van theoretische opdrachten.

Answer 9

Voorbeelden van theoretische opdrachten zijn de volgende opdrachten: vind de weg door het doolhof, maak deze figuur na met de blokken, draai deze figuur in gedachten naar links (p. 117).

Question 10

Wat wordt vaak met behulp van theoretische opdrachten gemeten?

Answer 10

Met behulp van theoretische opdrachten worden cognitieve capaciteiten en vaardigheden gemeten (p. 117).

Question 11

Wat wordt verstaan onder capaciteiten?

Answer 11

Capaciteiten zijn mentale vermogens met een duidelijk erfelijke component (p. 117).

Question 12

Noem een voorbeeld van een stelling in een psychologische test.

Answer 12

Een voorbeeld van een stelling in een psychologische test is: ‘Ik ben vaak aan het woord tijdens een receptie.’ (p. 118).

Question 13

Wat kunnen we met stellingen meten?

Answer 13

Met stellingen kunnen we persoonlijkheidstrekken, opinies, attitudes en voorkeuren meten (p. 118).

Question 14

Kunnen antwoorden op stellingen goed of fout zijn?

Answer 14

Antwoorden op stellingen kunnen niet goed of fout zijn, ze geven de positie van de respondent aan op de schaal van de veronderstelde eigenschap (p. 118)

Question 15

Wat is de bedoeling van praktijkproeven zoals het simuleren van treinverkeer?

Answer 15

De bedoeling van praktijkproeven is om te onderzoeken of iemand complexe situaties snel kan overzien (p. 118).

Question 16

In hoeveel categorieën kunnen de reacties van respondenten grofweg worden onderscheiden?

Answer 16

De reacties van respondenten kunnen grofweg worden onderscheiden in twee categorieën. Namelijk de respondent bepaalt zelf hoe hij reageert en de respondent kiest uit een aantal geformuleerde reacties (p. 119).

Question 17

Geef andere namen voor de gesloten-vraagvorm.

Answer 17

Andere namen voor de gesloten-vraagvorm zijn geprecodeerde vraagvorm, multiplechoicevraagvorm, meerkeuzevraagvorm (p. 119).

Question 18

Waarom wordt er gedacht dat de open-vraagvorm superieur is aan de meerkeuzevraagvorm?

Answer 18

Er wordt door sommigen gedacht dat de open-vraagvorm superieur is aan de meerkeuzevraagvorm. De reden hiervoor is dat open vragen aan de respondent de mogelijkheid bieden te laten zien wat hij weet of kan, dat hij creatief is, dat hij blijk kan geven van meer dan alleen de direct gevraagde kennis en van diepere inzichten (p. 119).

Question 19

Welke problemen doen zich voor bij het interpreteren en categoriseren van het antwoord van de respondent op een open vraag? 3x

Answer 19

1. Het is tijdrovend.
2. Respondenten begrijpen niet altijd wat er met de vraag wordt bedoeld.
3. Niet alle respondenten zijn in staat hun gedachten op papier te zetten.
   (p. 120).

Question 20

Wanneer verdienen open vragen of opdrachten de voorkeur boven meerkeuzevragen?

Answer 20

Open vragen of opdrachten verdienen de voorkeur boven meerkeuzevragen bij metingen van creatieve taalvaardigheid, bij schriftelijke uitdrukkingsvaardigheid (p. 123).

Question 21

Waarom is het verstandig om bij testconstructie de categorisering van de reacties door minimaal twee beoordelaars te laten geschieden?

Answer 21

Het is verstandig om bij testconstructie de categorisering van de reacties door minimaal twee beoordelaars te laten geschieden om subjectiviteit van de beoordeling beter te kunnen uitsluiten (p. 123).

Question 22

Hoe worden items genoemd met ten minste drie antwoordcategorieën?

Answer 22

Items met ten minste drie antwoordcategorieën worden polytome items genoemd (p. 134).

Question 23

Ligt er aan vaardigheden ook een erfelijke component ten grondslag?

Answer 23

Ja, maar ze zijn voor een groot deel aan te leren.

Question 24

Wat wordt er met ‘vragen’ gemeten?
(Valt onder ‘van de respondent gevraagde activiteit)

Answer 24

Opnies, houdingen en voorkeuren

Question 25

Zijn antwoorden op ‘vragen’ goed of fout?

Answer 25

Antwoorden op vragen kunnen niet goed of fout zijn, maar ze geven en standpunt of houding aan

Question 26

Wat wordt er bij praktijkproeven gemeten?

Answer 26

Capaciteiten of vaardigheden dmv arbeidsproef.
Reacties kWunnen diverse vormen aannemen.

Question 27

Wat zijn de voordelen van een rating scale item? 3x

Answer 27

1. Beantwoording gaat snel, waardoor je meer vragen kan stellen > meer informatie > hogere betrouwbaarheid > betere dekking van bedoelde eigenschap > betere validiteit
2. Geen gelegenheid om op voor het onderzoek irrelevante zaken in te gaan en de kans op het verkeerd begrijpen van de stelling is kleiner
3. Interpretatie van het antwoord speelt geen rol.

Question 28

Wat geldt voor een effectieve open vraag?

Answer 28

Kort en ehelder
Instructie moet duidelijk maken dat de antwoorden kort dienen te zijn

Question 29

Wat zijn de nadelen van gesloten vragen?

Answer 29

1. Test bestaande uit meerkeuzevragen vereist uitvoerig vooronderzoek
2. Kans dat respondenten door louter te raden goede antwoorden geven
3. Slechts eenvoudige cognitieve vaardigheden worden gemeten

Question 30

De vraag of de 2 vraagvormen inderdaad verschillende zaken meten is een empirische kwestie. Wat zegt onderzoek?

Answer 30

Dat in vele gevallen het mogelijk is met meerkeuzevragen hetzelfde te meten als met open vragen, mits de meerkeuzevragen goed geconstrueerd zijn.

Question 31

Van welke antwoordvorm wordt vaak gebruik gemaakt voor prestatieniveautests?

Answer 31

Meerkeuze

Question 32

Wat is de ‘stam’, ‘keyed response’, en ‘afleiders’ bij items voor prestatieniveaus?

Answer 32

Stam: eerste deel van eht item bestaat uit een uitspraak die moet worden aangevuld
Keyed response: goede antwoord
Afleiders: foute antwoorden

Question 33

Items voor prestatieniveau zijn te onderscheiden naar welke 3 principes?

Answer 33

1. Kiezen:
   - eenvoudigste vorm: tweekeuzevorm
   - (in)correcte-antwoordvorm
   - meest/minst juiste-antwoordvorm
   - verschilende-antwoordvorm
   - complexe vormen
2. Rangschikken
3. Toeschrijven

Question 34

Wat is het voordeel van de respondent keuzemogelijkheden laten rangschikken?

Answer 34

Veel informatie wordt verkregen

Question 35

Hoe staat de methode toeschrijven ook wel bekend?

Answer 35

Als matching: uit 2 rijen moet telkens de juiste combi worden gemaakt.

Question 36

Wat is het voordeel en nadeel van de rangschik methode?

Answer 36

V: veel info wordt verzameld

N: keuzes zijn niet onafhankelijk van elkaar gescheiden

Question 37

Wat voor items worden vaak gebruikt in tests voor gedragswijze (persoonlijheidsvragenlijsten en attitudetests)?

Answer 37

Uitspraken waarbij de respondent kan aangeven in welke mate hij het met de uitspraak eens is.

Question 38

De presentatievorm van items voor gedragswijze tests kan sterk variëren. Wat zijn de belangrijkste aanwijzingen en overwegingen hierbij?

Answer 38

1. Presentatievorm en instructie moeten zodanig zijn dat de respondent niet in de verleiding komt om een kruisje tussen 2 keuzemogelijkheden te zetten.
2. Het meest bekend zijn de items met 5 mogelijkheden: Likert-items. Belangrijkste keuze is tussen even of oneven aantal. Voordeel van een even aantal is dat de respondent gedwongen wordt een kleur te bekennen.
3. Mensen zijn doorgaans niet in staat om meer dan 7 nuanceringen te onderscheiden
4. Voor de verbale aanduiding van de opties zijn geen eensluitende adviezen te geven.

Question 39

Zijn reacties van respondenten in eerste instantie kwantitatief of kwalitatief van aard?

Answer 39

Kwalitatief

Question 40

De rijkdom van kwalitatieve informatie ontneemt ons het zicht op…

Answer 40

wat we eigenlijk willen meten.

Question 41

Waarom is het belangrijk dat bij testinformatie de reacties zo veel mogelijk gekwantificeerd dienen te worden?

Answer 41

Omdat daarmee een heel arsnenaal aan statistische technieken ter beschikking komt, waarmee systematiek en samenhang in getallen en gedrag aan het licht kunnen worden gebracht.

Question 42

Kwantificering van kwalitatieve reacties gaat uit van welke veronderstelling?

Answer 42

Dat de antwoordcategorieën van een item geordend kunnen worden op een continuum dat staat voor de psychologische eigenschap die met de test kan worden gemeten.

Question 43

Hoe wordt een item met 2 antwoordcategoreiën genoemd?

Answer 43

dichotoom

Question 44

Hoe worden de aan de antwoordcategorieën toegekende getallen genoemd?

Answer 44

Scroes

Question 45

Een testconstructie-onderzoek kent ruwweg 2 fasen waarin empirisch onderzoek wordt gedaan naar de kwaliteit van items. Welke 2?

Answer 45

1. Vooronderzoek waarbij in een kleine steekproef (20-100 mensen) de reacties van proefpersonen op de eerste versie van de items worden geanalyseerd. Steekproef hoeft niet altijd respresentatief te zijn.
   Dit dient als een grove zeef om de items te identificeren die niet goed functioneren.
2. Hoofdonderzoek: grote, representatieve steekproef (500-2000 mensen). Moet een grote steekproef zijn, omdat de populatie vaak in diverse deelgroepen valt op te splitsen, waarvoor aparte normen dienen worden opgesteld. Alle deelgroepen behoren groot genoeg te zijn om normverdelingen van testscores voldoende nauwkeurig te kunnen schatten. Dit is een gestratificeerde steekproef.

Question 46

Hoe noemt men de deelgroepen?

Answer 46

Strata

Question 47

Hoe worden de testprestaties voor de gehele steekproef en voor relevante deelgroepen weergegeven?

Answer 47

In frequentieverdelingen, waarmee de prestaties van individuen vergeleken kunnen worden (normen).

Question 48

Wat zijn relatieve frequenties?

Answer 48

Frequenteis gedeeld door de steekproefgrootte.

Question 49

Hoe wordt de relatieve frequentie op het goede antwoord genoemd bij dichotome items?

En die op de afleiders?

Answer 49

p-waarde

A-waarden

Question 50

Wanneer heeft een item uit een studietoets goed gefunctioneerd bij dichotome items?

Answer 50

Als de meeste respondenten het goede alternatief hebben gekozen en de afleiders elk ongeveer even vaak werden gekozen.

Question 51

Hoe kan de beoordeling van de kwaliteit van polytome items verlopen?

Wanneer heeft een item goed gefunctioneerd?

Answer 51

Uitgaande van items met 5 antwoordcategorieën met de scores 0, 1 2, 3, 4 , is de relatieve frequentieverdeling van de scores vast te stellen. Een item functioneert goed als een goede spreiding van respondenten over de categorieën plaatsvindt.

Question 52

Beoordeel de juistheid van de volgende twee stellingen.

I Uit het observeerbare gedrag van een persoon wordt het niveau van die persoon afgeleid op een niet-observeerbare psychologische eigenschap.
II Items vragen de respondent activiteiten te verrichten op basis waarvan een psychologische eigenschap wordt beoordeeld.

Answer 52

I en II zijn juist

Question 53

Wat concludeerde Mellenbergh (1971) ten aanzien van open en gesloten vragen?

Answer 53

In vele gevallen is het mogelijk met meerkeuzevragen hetzelfde te meten als met open vragen.

Question 54

De item-restcorrelatie is de correlatie tussen scores op een item en de scores op de rest van de test. Waardoor kan deze waarde worden beïnvloed?

door de mate waarin toets en item hetzelfde meten

door de split-half-betrouwbaarheid van de toets

door de validiteit van het item

door de validiteit van de testscore

Answer 54

door de mate waarin toets en item hetzelfde meten

Question 55

Wat is het verschil tussen vaardigheden en capaciteiten?

Answer 55

Bij ▌capaciteiten denkt men doorgaans aan relatief stabiele mentale vermogens met een duidelijk erfelijke component. Aan ▌vaardigheden ligt ook een
erfelijke component ten grondslag, maar ze zijn voor een belangrijk deel te leren.

Question 56

Omdat bij open vragen altijd de subjectiviteit van de beoordeling een rol speelt, moet in de
fase van de testconstructie de categorisering van de reacties ….

Answer 56

door ten minste twee, onafhankelijke beoordelaars geschieden

Question 57

Overigens moeten de mogelijkheden tot het meten van de hogere mentale functies via open vragen niet worden overschat. Waarom niet? 2x

Answer 57

Ten eerste is er het genoemde probleem
van de onbetrouwbaarheid van de beoordeling.

Ten tweede komt het concluderen uit de open
vragen tot hogere mentale functies in feite vaak neer op subjectief fantaseren

Question 58

Een dringend advies is dat alle items uit dezelfde test dezelfde scores krijgen toegekend. Op
deze wijze wordt voorkomen dat bij statistische analyses items verschillend worden gewogen.
Indien toch wordt besloten items verschillend te wegen, moet dit gerechtvaardigd worden
door ….

Answer 58

een psychologische theorie over de gemeten eigenschap. Die theorie zou dan het relatieve belang van diverse relevante gedragingen moeten aangeven, en daarmee het relatieve
belang van de items die deze gedragingen oproepen. Wat men wel eens ziet is dat gewichten
voor items via statistische analyses uit de gegevens worden afgeleid, maar het is beter te kiezen voor een meer theoretische fundering en daarop gebaseerde operationalisering.

Question 59

Is een frequentieverdeling definitieve bewijs dat het item goed functioneert?

Answer 59

Nee, wel informatief