Hoofdstuk 8 deel4

Question 1

In welke onderzoeken wordt er steeds nagegaan of een bepaalde test geschikt is voor een
specifieke voorspellingsdoel.

Answer 1

Antwoord.
Valideringsonderzoek, de opvatting dat de predicatieve validiteit in hoge mate
situatispecifiek is , heeft aanleiding gegeven tot duizenden validersingzonderzoeken.

Question 2

De opvatting dat de predictieve validiteit in hoge mate situatiespecifiek is, heeft aanleiding gegeven
tot duizenden valideringsonderzoeken. Wat is juist

1 Men gaat ervan uit dat predictieve validiteit niet varieert over wisselende combinaties van
voorspellende tests en te voorspellen criterium.

2Men gaat ervan uit dat predictieve validiteit varieert over wisselende combinaties van
voorspellende tests en te voorspellen criterium.

Answer 2

2

Question 3

Methode Schmidt en Hunter beantwoorden in hoeverre predictieve validiteit daadwerkelijk zo
situatiespecifiek is en in hoeverre gebleken validiteit kan worden gegeneraliseerd:
* Situatiespecificiteit: voor alle combinaties van een specifieke test en gedragingen in een specifieke
functie worden op basis van vakliteratuur de beschikbare validiteitscoëfficiënten verzameld. Deze
worden opgevat als de waarden van een variabele en van deze waarden wordt de standaarddeviatie
bepaald. De standaarddeviatie geeft de variatie in gevonden validiteitscoëfficiënten van een bepaald
type tests over praktische toepassingen. Daarna wordt de standaarddeviatie gecorrigeerd voor
veronderstelde methodologische fouten (steekproeffouten, onbetrouwbaarheid van predictoren en
criteria en beperking van de variatiebreedte of ‘restriction of range’. Wanneer de resulterende

21
standaarddeviatie van de validiteitscoëfficiënten na de correctie gelijk is aan 0, betekent dit dat de
validiteit van de tests niet verschilt over selectiesituaties en dat de hypothese van situatiespecificiteit
verworpen kan worden. Uit onderzoek blijkt dat validiteitscoëfficiënten vaak weinig situatiespecifiek
zijn en generalisatie over organisatie, geografische gebieden, functies en tijdvakken dus mogelijk is.
* Generaliseerbaarheid naar nieuwe voorspellingssituaties: e wordt een schatting gemaakt van de
methodologische fouten (= effectiviteit) die kan worden opgevat als de representatieve validiteit
binnen een specifieke categorie van tests en functies. Op basis van onderzoek naar
validiteitsgeneralisatie blijkt dat de effectiviteit groot genoeg en de resterende variantie klein genoeg
is om in 90%-95% van de nieuwe toepassingen een positieve validiteit te verwachten. Voor tests voor
cognitieve vaardigheden zou er zelf helemaal geen situatiespecificiteit zijn, de validiteit is dan
constant over situaties.

Question 4

Kritiek op de methode van Schmidt en Hunter:

• Ingewikkelde criteria zoals beroepssucces zijn op veel te eenvoudige manieren gemeten. Slecht
  geoperationaliseerde criteria leidt tot te lage validiteiten met te weinig spreiding. Met betere
  metingen zou de mogelijkheid van situatiespecificiteit niet verworpen worden.
• De correctie van de standaarddeviatie van validiteitscoëfficiënten is vaak te groot. Zo blijken de
  methodologische fouten (steekproeffouten, onbetrouwbaarheid van predictoren en criteria en
  beperking van de variatiebreedte) soms meer dan 100% van de variantie te verklaren, met
  uitschieters boven 200%

Question 5

Wat stellen Schmidt, Hunter en Caplan mbt de invloed van kleine steekproeven op de verdeling
van de validiteitscoefficienten vs de effecten van meetfouten in predictor- , criteriumscores en van
variatiebeperking? P365

a invloed van kleine steekproeven is groter

b invloed van grote steekproeven is groter

Answer 5

invloed van kleine steekproeven is groter

Question 6

Hoe kan effectiviteit worden opgevat in het kader van de toetsing van generaliseerbaarheid van
validiteit? P366

Answer 6

De representatieve validiteit binnen een specifieke categorie van tests en functie

Question 7

Welke ondergrens wordt meestal aangehouden voor de validiteit binnen een bepaalde categorie
van tests en functies?
l.

Answer 7

Het tiende percentiel

Question 8

Wanneer is er sprake van situatiespecificiteit? P366
1 Wanneer de standaarddivatie van de validiteitscoëfficiënten na correctie van de methodologische
fouten niet gelijk aan nul.
2 Wanneer de standaarddivatie van de validiteitscoëfficiënten na correctie van de methodologische
fouten niet gelijk zijn aan nul.

Answer 8

2

Question 9

Wat stelt Schmidt op vasis van het empirisch onderzoek naar validiteitsgeneralisatie voor tests van
cognitieve vaardigheden? P366

1 Dat de gecorrigeerde standaarddeviatie niet gelijk is aan nul (geen situatiespecificiteit) en
dus generaliseerbaar is.

Dat de gecorrigeerde standaarddeviatie gelijk is aan nul (geen situatiespecificiteit) en dus
generaliseerbaar is.

Answer 9

2

Question 10

Waar houdt het onderzoek naar predictieve validiteit zich mee bezig.
Antwoord.

Answer 10

De selectie van de voor de voorspelling beste predatoren

Question 11

Hoe kunnen de beste predictor worden vastgesteld.
Antwoord.

Answer 11

Regressienalayse

Question 13

Wat is juist.
1 predicotren die hoog collereren met het criterium en laag met andere predictoren
leveren een unieke bijdrage aan de voorspelling en krijgen een zwaar gewicht

2 predicotren die laag collereren met het criterium en hoog met andere predictoren
leveren een unieke bijdrage aan de voorspelling en krijgen een zwaar gewicht

Answer 13

Antwoord
1

Question 14

Wie voerde het begrip construct validity in.
Antwoord.

Answer 14

Cronhach en Meehl. Dit voerde ze in om de testpsychologie te redden uit het slop van
inhoudsloze correlatierekening.

Question 15

Dit is met oog op het wetenschappelijke onderbouwing van het meten met behulp van
tests een onmisbaar van tentconstructie. Wat men hier doet is door middel van emperish
onderzoek achterhalen wat de test precies meet.

Answer 15

Antwoord.
Bergripsvalidering.

Question 16

Het onderzoek naar predictieve validiteit houdt zich bezig met de selectie van de voor de
voorspelling beste predictoren, dit kan obv regressie analyse. Soms zijn verbanden van tests met
criteria heel duidelijk (bvb numerieke test voor rekenprestaties) en soms niet. Construct validity of
begripsvalidering is een onmisbaar onderdeel van testconstructie, omdat:

Answer 16

• Blind toepassen van een test omdat deze nu eenmaal werkt, zonder te weten waarom, leidt niet
  tot inzichten.
• Blind afgaan op de grootste correlaties impliceert dat men alle predictoren moet onderzoeken,
  wat onmogelijk is.
• Er kan sprake zijn van een unieke of zeldzame situatie, waarvoor niet of nauwelijks een criterium
  vast te stellen is, bvb nieuwe functie waarmee nog geen ervaring is opgedaan. Indien er wel inzicht is
  in de psychologische betekenis van testgedrag, kunnen toch enkele hypotheses geformuleerd
  worden
• Een psycholoog die zonder theorie een motiverende beschrijving probeert te maken van een cliënt
  zal snel vastlopen.
• Betekenisanalyse en begripsvaliditeit bieden de mogelijkheid om het sacrosancte criterium van zijn
  voetstuk te halen en te analyseren. Vooral als men nauwkeurig weet wat een test meet, geeft
  onderzoek naar de relatie van de test met een gegeven criterium veel informatie over de aard en
  betekenis van dat criterium.
  De conclusie is dat predicatieve validiteit en onmisbaar begrip is voor de praktijk van het
  voorspellend testgebruik maar dat een test pas een werkelijk nuttige functie krijg, zowel in
  wetenschappelijk als praktisch opzich als met deze empirische correlaties tevens een begripsanalyse
  gepaard gaat.

Question 17

Betekenis en begripsvaliditeit.
Aan begripsvalidering gaat meestal een process van betekenisanalyse vooraf, In de betekenisanalyse
worden dezelfde fases doorlopen als in de theorievorming en de toetsing van theorieën in algemene
zin:

• Creatieve fase: hypothetische theorie opstellen die het testgedrag kan verklaren. Dit moet
  ondubbelzinnig te onderzoeken zijn.
• Theorie bevestigen (begripsvalidering) door een concrete voorspelling te doen.

Gaat het volgende over de creatieve fase of over de theorie bevestigen.
Er wordt gezoxht naar plausibele verklaringen, hierbij zijn de procedure en de methode niet
voorgeshreven en bindend,

Answer 17

Antwoord,
Creatieve fase,

Question 18

Wat wordt hier beschreven.
Hierbij gaat het om het vinden van een theorie of een theoretisch begrip als verklaring voor het
testgedrag
1begripsvalidering
2.betekeninsanalyse
3.trekvalidering
Nomologische validering

Answer 18

antwoord
betekenisanalyse

Question 19

wat wordt hier beschreven. Hierbij gaat het om het empirisch bevestigen van de bovengenoemde
verklaring.
1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 Nomologische validering

Answer 19

antwoord
begripsvalidering

Question 20

wat wordt hier beschreven. Hierbij is het de vraag in hoeverre het testgedrag verklaard kan worden
met behulp van een persoonlijkheidstrek of een geschiktheid

1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 nomologische validering

Answer 20

Antworod
Trekvalidering hierbij gaat het niet noodzakelijk om een theorie

Question 21

wat wordt hier beschreven. Hierbij wordt het testgedrag verklaard vanuit een psychologische
theorie.
1begripsvalidering
2.betekeninsanalyse
3. trekvalidering
4 nomologische validering

Answer 21

Antwoord.
4

Question 22

De mogelijkheid om testgedrag te relateren aan een nomologisch netwerk is groter naarmate de
psychologie als wetenschap verder vordert en er meer dergelijke nomologische netwerken ontstaan,
bvb een test voor transitief redeneren die gebaseerd is op elementen van 3 verschillende theorieën
over de eigenschap.

De systematische constructie van items obv een volledig gekruist ontwerp, waarin alle combinaties
van de eigenschappen die relevant zijn voor de oplossing van een bepaald probleem in de gebruikte
items gerepresenteerd worden, heeft raakvlakken met de facettheorie voor het in kaart brengen van
attitudes (sociale psychologie).

Answer 22

Nomologische validering is nog jong en testgedrag wordt doorgaans gevalideerd in termen van
trekvaliditeit.

Is eenmaal een trek of nomologisch netwerk gekozen als potentiële verklaring van het testgedrag,
dan start de fase van begripsvalidering: voorspellingen formuleren om te toetsen of de vermoedens
over de test juist zijn, de uitkomsten empirisch toetsen op juistheid van de potentiële verklaring

Question 23

hypothese te bevestigen maar ook om alternatieve hypothesen te verwerpen welke hoort waarbij

A de oorspronkelijk hypothese bevestigen.
B alternatieve hypotheses verwerpen

1 Confirmerende validering:
2 Discriminante validering:

Answer 23

Antwoord
1= Confirmerende validering:a
2= Discriminante validering:b

Question 24

Wat is het verschil tussen begripsvalidering en betekenisanalyse? P371

a Begripsvaliderin gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Betekenisanalyse gaat om het empirisch bevestigen van deze verklaring.

b Betekenisanalyse gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Begripsvalidering gaat om het empirisch bevestigen van deze verklaring.

Answer 24

Betekenisanalyse gaat om het vinden van een theorie of een theoretisch begrip als verklaring voor
het testgedrag Begripsvalidering gaat om het empirisch bevestigen van deze verklaring.

Question 25

zijn deze 4 punten van belang bij bergipsanalyse of betekenisanalyse?

1) De fase is creatief; er wordt gezocht naar mogelijke plausibele verklaringen
2) De voorspelling moet ondubbelzinnig te onderzoeken zijn
3) De voorspelling kan nooit definitief bewezen worden, maar kan enkel de theoretische verklaring
versterken of verzwakken
4) Het verwerpen van alternatieve hypothesen is net zo belangrijk als het accepteren van de
oorspronkelijke hypothese

Answer 25

betekenisanalyse?

Question 26

Wat houdt het volgende in.

Een ruim, theoretisch kader, waarbinnen een groot aantal begrupen en relaties tussen die begrippen
voorkomen, die in het ideale geval alle empirisch gefundeerd zijn. Het voordeel hiervan is dat bij
inbedding van testgedrag in een ….., de betekenis van de test in meer algemene psychologische
termen kan worden begrepen. De constructie van een test voor transitief redeneren en cognitieve
ontwikkeling middels balanstaken en perceptuele classificatie zijn voorbeelden die op deze manier
tot stand zijn gekomen
.

Answer 26

Antwoord
een nomologisch netwerk in? P372

Question 27

Betekenisanalyse . op zoek naar de betekenis. 376.

Er zijn 2 manieren om het testgedrag te analyseren:
* Structuuronderzoek: psychologische analyse van de inhoud van items gevolgd door een analyse van
formele kenmerken van de items en test.
* Relatieonderzoek ter ondersteuning van de testbetekenis (dus als bron van ideeën of hypotheses)
kan 4 vormen aannemen:
* Spreiding en normen kunnen in verschillende groepen bestudeerd worden.
* Experimenteel onderzoek in verschillende condities.

Answer 27

• Factoranalyse: exploratieve methode om informatie die in een groot aantal variabelen vervat zit
  samen te vatten in een kleiner aantal factoren. Een factor is de gewogen somsvan itemscores of
  testscores. Indien de correlatie tussen testscores ongeveer 0 is, zijn de tests onafhankelijk. Bij hoge
  correlaties is tussen de tests in psychologische zin veel overlap, dus de tests meten dezelfde
  eigenschap. Bij factoranalyse worden de gewichten zodanig gekozen dat de informatie in de
  testscores zo goed mogelijk wordt samengevat (bij regressieanalyse worden gewichten zo gekozen
  dat het criterium goed wordt voorspeld).
• Wat kan de test voorspellen? Dit is een wisselwerking tussen betekenisanalyse en predictieve
  validiteit. Voorspellingen geven aanleiding tot zinvolle veronderstellingen over de testbetekenis.
  Zowel structuuronderzoek als relatieonderzoek dragen bij tot de voorlopige formulering van een
  antwoord op de betekenisvraag

Question 28

Alternatieve verklaringen Een test die verondersteld wordt om eigenschap A te meten, mag geen
relatie vertonen met tests of variabelen die eigenschap B meten, waarvan wordt verondersteld dat
deze niet met eigenschap A samenhangt. De waarde van het verwerpen van alternatieve
verklaringen is afhankelijk van:

Answer 28

• De precisie van het experimenteel onderzoek: een onjuiste of slordige opzet kan ervoor zorgen dan
  een alternatief onterecht verworpen wordt.
• De plausibiliteit van de alternatieve verklaring. Het is zinvol om een aantal alternatieven routineus
  te controleren:
• Samenhang met intelligentie.
• Sociaal wenselijkheid als onbedoelde eigenschap, vooral bij persoonlijkheidsvragenlijsten. Wanneer
  een test in grote mate sociaal wenselijkheid meet, kan worden gesteld dat de test niet goed
  functioneert:
• Individuele sociaal wenselijkheid (test attitude of test-taking attitude): kan bevraagd worden of
  door het vergelijken van anonieme/niet-anonieme antwoorden.
• Algemene sociaal wenselijkheid: onderzoeken door een aparte groep van proefpersonen de sociaal
  wenselijkheid van antwoorden te laten beoordelen en op basis hiervan een sociaal
  wenselijkheidssleutel te maken.
• Antwoordtendenties: neiging tot een consistent keuzepatroon in het antwoordgedrag op tests:
• Instemtendentie (aquiescence-set)/tendentie tot ontkennen.
• positievoorkeur.
• Semantische interpretaties.
• Sequentietendentie, bvb even vaak ja/nee
• Snelheidstendentie versus precisietendentie.
• uitvoerigheidstendentie.
• Gistendentie.
• Voorkeur voor formele kenmerken, bvb langste antwoord, wetenschappelijke termen,.

Question 29

Er zijn enkele variabelen waarvan het zinvol is om deze altijd te toetsen als alternatieve verklaringen
van het criterium. Welke zijn dit? P384
1) Samenhang met intelligentie
2) Sociale wenselijkheid, kan vooral een probleem vormen bij persoonlijkheidsvragenlijsten
3) Antwoordtendenties – neiging tot consistent keuzepatroon in het antwoordgedrag
4) Instemtendenties – overmatig eens zijn met stellingen
5) Positievoorkeur – voorkeur voor neutraal of juist extreem antwoorden
6) Semantische interpretatie – interpretatie van keuzeopties (zelden vs soms)
7) Sequentietendentie – bepaalde regels in de volgorde van het beantwoorden
8) Snelheidstendenties vs precisietendenties 9) Uitvoerigheidstendenties
10) Gistendentie
11) Formele kenmerken tendentie – neiging tot kiezen van bijv ingewikkelde of lange antwoorden.

Question 30

Waarvan is er spraken als je ta maken hebt met het volgende
De test de eigenschap met veel ruis meet –
Nauwelijks valide is –
Laag correleert met andere variabelen –
De predictieve validiteit gering is

1lage validiteit
2lage betrouwbaarheid

Answer 30

Antwoord
Een lage betrouwbaarheid

Question 31

Betrouwbaarheid en validiteit.
Wat is juist.

1. Een lage betrouwbaarheid betekent dat een test niet de eigenschap meet. Dit staat los van
   validiteit.
2. 2. Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
      veel ruis. Dit staat los van validiteit
3. 3. Een lage betrouwbaarheid betekent dat een test wel de eigenschap meet, maar dan met
      veel ruis. In die zin is de test weinig valide.

Answer 31

Antwoord.
3.

Question 32

Wat is juist.
1een grote meetfout betekend dat de test laag correleert met andere variable.
2een grote meetfout betekend dat de test hoog colereert met een andere variable.
.

Answer 32

Antwoord
1 de predictive validiteit van een dergelijek rest kan dan ook niet anders zijn dan gering

Question 33

Als een persoon op een weegschaal weegt wordt dit gedaan aan de hand van een afgestemde
weegschaal. Hierdoor kunnen er telkens ander resultaten uitkomen. De weegschaal geeft wel een
aanduiding van het gewicht maar variërend binnen zekere grenzen. Hebben we het hier over
onbetrouwbaarheid van het meetinstrument of onvoldoende validiteit van het meetinstrument.

Answer 33

Antwoord
Onbetrouwbaarheid, maar nog steeds wordt het gewicht geschat en niet het licmaamstemperatuur
dus het is wel valide, het meet wat het moet meten.

Question 34

Campbell en Fiske beschrijven de multitrek-multimethode benadering: er wordt geschat in hoeverre
de variantie van de testscore wordt bepaald door de variantie in de bedoelde trek en juist niet door
zowel de variantie ten gevolge van de gebruikte methode als de variantie in niet-bedoelde trekken

Answer 34

Waarover gaat het volgende.
Belangrijk hier is het idee dat een test voor een bepaalde eigenscha zou kunnen worden vervangen
door een andere test die dezelfde eigenschap presenteert te meten. Dit lukt doorgaans niet perfect
waardoor de variantie in de test resultaten voor een deel is toe te schrijven aan variantie van de

onderzochte groep op de bedoelde en de specifieke eigenschap van verschillende
meetsintrumenten.
Antwoord.
Multitrek- multimethode matrix.

Question 35

som over multitrek multimethode benadering

Answer 35

pagina 390

Question 36

Wat is het nut van de multitrek-multimethode benadering?

Answer 36

Het is een model waarin enederzijds de betrouwbaarheid en anderzijds zowel de confirmerende als
de discriminante validiteit van een test kan worden onderzocht

Taxonomie van validiteit