hoofdstuk 8 deel 3

Question 1

Twee stellingen. welke is juist

I. objectiviteit betekent dat de constructeur geen invloed heeft op de testscore.

II bij een hoge interbeoordelaars correlatie zegt iets over de predictieve validiteit.

Answer 1

**Beide stellingen zijn onjuist

I. Objectiviteit betekent dat de constructeur geen invloed heeft op de testscore:

Eenvoudige uitleg: Objectiviteit heeft te maken met consistentie en eerlijkheid bij het beoordelen van testscores, niet noodzakelijk met het feit dat de maker geen invloed heeft. Zelfs als een test objectief is, kan de maker nog steeds de inhoud en het ontwerp van de test beïnvloeden. Dus, deze stelling is onjuist.
II. Bij een hoge interbeoordelaarscorrelatie zegt iets over de predictieve validiteit:

Eenvoudige uitleg: Interbeoordelaarscorrelatie heeft te maken met de mate waarin verschillende beoordelaars tot vergelijkbare resultaten komen. Het heeft niet direct betrekking op predictieve validiteit, die gaat over de mate waarin een test toekomstig gedrag kan voorspellen. Dus, een hoge interbeoordelaarscorrelatie betekent niet per se dat de test goed is in het voorspellen van toekomstig gedrag. Deze stelling is daarom ook onjuist.

Question 2

‘de mate waarin de test aan zijn doel beantwoordt’.Het doel is altijd de samenhang tussen de testscore en een criteriumscore vast te stellen

validiteit
betrouwbaarheid

Answer 2

validiteit

Question 3

wat is juist

a Bij een criterium denkt men doorgaans aan een praktisch-relevante variabele die in het heden wordt gerealiseerd, zoals school- of beroepssucces of de reductie van neurotische symptomen na psychotherapie.
Een criterium kan echter ook in het verleden liggen, bijvoorbeeld een belangrijke gebeurtenis in de jeugd. Omdat er in beide gevallen sprake is van een voorspelling en het criterium buiten het testge-drag zelf ligt, wordt gesproken van predictieve validiteit

b Bij een criterium denkt men doorgaans aan een praktisch-relevante variabele die in de toekomst wordt gerealiseerd, zoals school- of beroepssucces of de reductie van neurotische symptomen na psychotherapie.

Een criterium kan echter ook in het verleden liggen, bijvoorbeeld een belangrijke gebeurtenis in de jeugd. Omdat er in beide gevallen sprake is van een voorspelling en het criterium buiten het testge-drag zelf ligt, wordt gesproken van predictieve validiteitBij een criterium denkt men doorgaans aan een praktisch-relevante variabele die in de toekomst wordt gerealiseerd, zoals school- of beroepssucces of de reductie van neurotische symptomen na psychotherapie.

Answer 3

b Bij een criterium denkt men doorgaans aan een praktisch-relevante variabele die in de toekomst wordt gerealiseerd, zoals school- of beroepssucces of de reductie van neurotische symptomen na psychotherapie.

Question 4

Een criterium moet altijd praktisch-relevant te zijn, maar kan ook van theoretische aard zijn

Een criterium hoeft niet altijd praktisch-relevant te zijn, maar kan ook van theoretische aard zijn

Answer 4

bEen criterium hoeft niet altijd praktisch-relevant te zijn, maar kan ook van theoretische aard zijn

Question 5

Het is denkbaar dat een test gezien wordt als een middel om een psychologisch begrip te meten. In zo’n geval is men geïnteresseerd in de begripsvaliditeit.

Het is denkbaar dat een test gezien wordt als een middel om een psychologisch begrip te meten. In zo’n geval is men niet geïnteresseerd in de begripsvaliditeit.

Answer 5

A

Question 6

WAT is juit

Beklemtoond wordt dat validiteit een begrip is met een algemeen-wetenschappelijk karakter. Inzicht in de psychologische betekenis van test- en criteriumscore is noodzakelijk om het validiteitsbegrip inhoud te geven.

Beklemtoond wordt dat validiteit geen begrip is met een algemeen-wetenschappelijk karakter. Inzicht in de psychologische betekenis van test- en criteriumscore is noodzakelijk om het validiteitsbegrip inhoud te geven.

Answer 6

a Beklemtoond wordt dat validiteit een begrip is met een algemeen-wetenschappelijk karakter. Inzicht in de psychologische betekenis van test- en criteriumscore is noodzakelijk om het validiteitsbegrip inhoud te geven.

Question 7

Bij deze validiteit gaat het strikt genomen alleen om het succes waarmee toekomstige criterium-scores kunnen worden voorspeld. De mate waarin voorspellingen succesvol zijn, wordt doorgaans uitgedrukt ineen lineaire correlatiecoëfficiënt (symbool r). De vraag naar de reden dat een correlatie een bepaalde waarde heeft, dringt zich op (of behoort zich op te dringen) en leidt aldus tot theoreti-sche bezinning.

a predictive validiteit
b predictieve validiteit

Answer 7

b

Question 8

bij deze validiteit wordt een schatting verkregen door na te gaan in welke mate de voorspellingen, gedaan op basis van de testprestatie, worden bevestigd door gegevens of observaties verzameld op een later tijdstip

a predictive validiteit
b predictieve validiteit

Answer 8

a

Merk op dat predictive validity uitdrukkelijk niet samenvalt met de eerder genoemde predictieve vali-diteit, die ook op paradictie en postdictie betrekking kan hebben.

Question 9

wat is juist

Bij concurrent validity wordt de criteriumscore gelijktijdig met de testscore verkregen.

Bij concurrent validity wordt de criteriumscore niet gelijktijdig met de testscore verkregen.

Answer 9

a Bij concurrent validity wordt de criteriumscore gelijktijdig met de testscore verkregen.

Question 10

is in het geding wanneer bestudeerd wordt of een test het universum van kennisinhouden, vaardig-heden, persoonlijkheidseigenschappen enz. op adequate wijze representeert. Voor het realiseren van deze vorm van validiteit is deskundigheid op het onderhavige vakgebied een vereiste. Deze vorm van validiteit wordt beoordeeld door na te gaan hoezeer testresultaten corresponderen met gelijktijdig beschikbare criteriumgegevens. Het verschil met predictieve validiteit ligt uitsluitend in het moment van verzamelen van gegevens.Content validity is niet te bepalen doormiddel van kwantita-tief onderzoek, omdat het niet mogelijk is het universum volledig te omschrijven. Hoogstens kan men met betrekking tot de representativiteit de mate van overeenstemming tussen beoordelaars uitreke-nen en op basis hiervan een schatting van de content validity maken.

a content validiteit
b construct valditieit

Answer 10

a

Question 12

Deze wordt geëvalueerd door te onderzoeken welke psychologische kwaliteiten de test meet. Dit bestaat uit drie onderdelen:

• A)uitzoeken welke begrippen kunnen worden gezien als een verklaring van de testprestatie
• B)Het afleiden van toetsbare hypothesen uit de theorie waarin het construct een plaats heeft
• C)Het uitvoeren van een empirisch onderzoek om deze hypothese te toetsen.

De definitie van deze vorm van validiteit is iets meer omvattend dan de definitie van begripsvaliditeit. deze vorm van validiteit expliciteert de relatie tussen ene bepaald criterium en de “achterliggende hypothese”. Van deze vorm van validity is sprake wanneer gepoogd wordt de betekenis van testscores te verklaren in termen van psychologische begrippen. Op het eerste gezicht lijkt ook deze vorm van

validiteit niet toegankelijk voor een directe empirische benadering. Men kan echter met betrekking tot het veronderstelde begrip hypothesen opstellen en door toetsingsresultaten aantonen in welke mate een bijdrage tot de deze validity wordt geleverd.
deze validity leunt sterk aan tegen begripsvaliditeit, maar valt er niet mee samen

a content validity
b construct validity
c face validity
d congurent validity

Answer 12

construct valditieit

Question 13

(een test die dezelfde eigenschap pretendeert te meten, neemt de plaats van het criterium in), geeft de mate aan waarin een test correleert met een andere test waarvan wordt aangenomen dat die dezelfde eigenschap meet.

a soortgenootvaliditeit
b synthetische validiteit

Answer 13

a

Question 14

op intuïtieve gronden is min of meer duidelijk dat de inhoud van een bepaalde test van belang is voor de voorspelling van een bepaald criterium) indien naar de subjectieve impressie van de leek of psy-choloog, de relatie tussen test en criterium of de betekenis van de test “zonder meer duidelijk is”, maar vooralsnog niet door empirisch onderzoek wordt gesteund.

a Predictieve validiteit
b incremental validity of incrementele(toegevoegde) validiteit
c face-validity of indruksvaliditeit

Answer 14

face-validity of indruksvaliditeit

Question 15

Benadrukt wordt dat men in de praktijk niet onbezonnen de correlatie tussen testscores en criterium-scores moet vaststellen. Zoals bij de samenstelling van een test een beroep wordt gedaan op theo-retische bezinning en vakkennis, zo dient ook ten aanzien van het criterium eerst te worden nage-gaan welke psychologische begrippen erin zijn vertegenwoordigd, en in welke mate. Een heldere visie op het zogenoemde conceptuele criterium is noodzakelijk alvorens men kan komen tot een duidelijke omschrijving van criteriumgedrag en een hieraan te ontlenen meetbare operationalisatie in de vorm van een criteriummaat.

a Predictieve validiteit
b incremental validity of incrementele(toegevoegde) validiteit
c face-validity of indruksvaliditeit

Answer 15

a

Question 16

mbt predictiebe validiteit

Bij de interpretatie van een correlatie moet men rekening houden met de mogelijke invloed van tallo-ze methodologische en statistische artefacten,die per toepassingsgebied kunnen variëren. Bijvoor-beeld: in onderzoek naar schoolkeuze na het basisonderwijs is het een bekend verschijnsel dat de directeur van de basisschool zijn adviezen kan bijstellen nadat hij de uitslagen van schoolvorderin-gentoetsen heeft vernomen. Als de schoolvorderingentoets wordt gebruikt om te voorspellen welk advies de directeur uitbrengt, is er sprake van contaminatie van test en criterium; het is duidelijk dat contaminatie de validiteitscoëfficiënt flatteert.

Question 17

mbt predictieve validiteit

Een validiteitsonderzoek heeft altijd betrekking op een deelsteekproef omdat van de personen die zijn afgewezen vanwege een lage testscore,geen criteriumscore beschikbaar is. De reden van afwij-zing is dat zij bij toelating vermoedelijk een lage criteriumscore zouden hebben behaald.De toegela-ten en hebben dus een beperkte range van testscores en hierdoor wordt de validiteitscoëfficiënt ge-drukt. Een andere bekende factor die de validiteit lager kan doen uitvallen, is een kromlijnig verband tussen test- en criteriumscore. De klassieke correlatiecoëfficiënt valt te laag uit omdat deze is geba-seerd op de vooronderstelling van een rechtlijnig verband.

Question 18

Betekenis en begripsvaliditeit

Validiteit is primair van belang voor de toegepaste psychologie, maar herhaaldelijk wordt beklem-toond dat validiteits onderzoek een essentiële rol vervult in de empirische onderbouwing van theorieën. In laatste instantie levert validiteitsonderzoek een onmisbare bijdrage aan de construc-tie van een nomologisch netwerk, dat in principe bestaat uit een veelomvattend stelsel van psy-chologische begrippen en de verbanden ertussen. Voor het leveren van een bijdrage aan de ontwik-keling van een nomologisch netwerk is een helder begrip van de betekenis achter een operatio-nalisatie in de vorm van een test noodzakelijk.
De centrale vraag blijft: hoe moeten test- en criteriumgedrag en de relatie ertussen worden ver-klaard? Voor de beantwoording van deze vraag moet onderzoek worden gedaan waaraan men in

de praktijk zelden toekomt. Een tamelijk onduidelijk onderscheid wordt gemaakt tussen structuur-onderzoek en relatieonderzoek. Factoranalyse is een van de bekendste statistische technieken om een complex van verbanden tussen vele variabelen terug te brengen tot een beperkt aantal meeromvattende dimensies.

Question 19

Nogmaals betrouwbaarheid en validiteit
Naast factoranalyse is de multitrek-multimethode-benadering bekend als statistisch hulpmiddel bij het leveren van bijdragen aan het nomologisch netwerk. In essentie komt deze benadering erop neer dat het correlatiepatroon dat ontstaat bij de afname van meerdere tests voor meerdere eigen-schappen, geanalyseerd wordt op consistentie. De voornaamste eis is dat twee tests die dezelfde eigenschap pretenderen te meten, hoger met elkaar correleren dan twee tests die verschillende ei-genschappen pretenderen te meten. Confirmerende validiteit (=metingen van dezelfde eigenschap met verschillende tests moeten hoog met elkaar correleren) en discriminante validiteit (=metingen van verschillende eigenschappen moeten laag met elkaar correleren) zijn voorwaarden voor een verantwoord testgebruik.

Question 20

(=metingen van dezelfde eigenschap met verschillende tests moeten hoog met elkaar correleren

a discriminante validiteit
b confimerende validiteit

Answer 20

b

Question 21

metingen van verschillende eigenschappen moeten laag met elkaar correleren) zijn voorwaarden voor een verantwoord testgebruik

a discriminante validiteit
b confimerende validiteit

Answer 21

a

Question 22

1.Drenth en Sijtsma bepleiten een omschrijving van validiteit waarbij het gaat om de vraag in hoever-re een test aan zijn doel beantwoordt. De vaststelling van de validiteit moet worden gebaseerd op de relatie tussen de test en andere variabelen of tests die alle zijn op te vatten als operationalisering van hypothetische begrippen

Question 23

2.Vanuit een koppeling van de validiteit aan het doel van het testen vloeit een tweedeling voort:
** ten eerste kan het bij het testen primair gaan om de voorspelling van gedrag of een prestatie bui-ten de testsituatie.
** ten tweede kan het bij het testen expliciet gaan om het theoretische begrip zelf waarmee men een verklaring kan geven van het testgedrag.

b.Bij het eerste doel gaat het om de predictieve validiteit en bij het tweede doel gaat het om de be-gripsvaliditeit.

Question 24

.Wanneer het doel van testen toelating, selectie, beroepsadvisering, classificatie of differentiële pre-dictie is, dan is de centrale validiteitsvraag in hoeverre de test daadwerkelijk een juiste voorspelling mogelijk maakt.
Wanneer het doel van testen een theoretische analyse van begrippen, het experiment ter toetsing van theorieën, het begrijpen of beschrijven van de onderzochte in psychologische termen is, dan is de centrale validiteitsvraag in hoeverre de test het bedoelde theoretische begrip dekt.

Question 25

4.Vier soorten validiteit die vaak in de literatuur worden onderscheiden zijn:
predictive validity
concurrent validity
content validity
construct validity

heeft betrekking op de relatie tussen testprestaties en tegelijkertijd verkregen criteriumpresta-ties.
.

Answer 25

b

Concurrente validiteit heeft te maken met de vergelijking tussen de resultaten van een test en de prestaties die op hetzelfde moment worden behaald op een ander criterium. Stel je voor dat je een nieuwe test hebt ontwikkeld om de wiskundige vaardigheden van studenten te meten.

Om de concurrente validiteit van jouw test vast te stellen, zou je de resultaten van de test vergelijken met de werkelijke wiskundeprestaties van die studenten op een recent wiskunde-examen. Als de scores op jouw test sterk overeenkomen met de werkelijke wiskundeprestaties van de studenten, dan wijst dat op een goede concurrente validiteit. Met andere woorden, de test lijkt een accurate voorspelling te doen van de vaardigheden die hij beoogt te meten.

Dus, concurrente validiteit kijkt naar hoe goed de testprestaties correleren of samenvallen met prestaties op een ander criterium op hetzelfde moment. Het helpt om de effectiviteit van de test in het voorspellen van specifieke eigenschappen of vaardigheden te beoordelen.

Question 26

4.Vier soorten validiteit die vaak in de literatuur worden onderscheiden zijn:
predictive validity
concurrent validity
content validity
construct validity

.wordt geëvalueerd door te onderzoeken welke psychologische kwaliteiten een test meet. Bij con-structvalidering gaat het eerst om het uitvinden welke begrippen zouden kunnen worden gezien als een verklaring voor de testprestatie, vervolgens om het afleiden van toetsbare hypothesen uit de theorie waarin het construct een plaats heeft, en tenslotte om het uitvoeren van een empirisch on-derzoek om deze hypothesen te toetsen.
De definitie van …..validiteit is iets meer omvattend dan de definitie van begripsvaliditeit.

Answer 26

d

Question 27

4.Vier soorten validiteit die vaak in de literatuur worden onderscheiden zijn:
predictive validity
concurrent validity
content validity
construct validity

heeft betrekking op de vraag in hoeverre een test een adequate representatie is van het univer-sum van situaties, kennisinhouden of vaardigheden waarover conclusies moeten worden ge-trokken met betrekking tot de onderzochte. Een nadeel van inhoudsvaliditeit is dat het vaststellen ervan vooral een kwestie is van oordelen en niet van empirische toetsing. Onderzoek naar de …-validiteit zou feitelijk neerkomen op een onderzoek naar de begripsvaliditeit.
.

Answer 27

c

Question 28

4.Vier soorten validiteit die vaak in de literatuur worden onderscheiden zijn:
predictive validity
concurrent validity
content validity
construct validity

heeft betrekking op de relatie tussen testprestatie en op een later tijdstip verkregen criterium-prestaties. De …validity komt zeer dicht in de buurt van de …. validiteit maar is dus wel temporeel (tijd) voorspellend opgevat

Answer 28

a

Question 29

a zich op identificeerbare en op zichzelf zinvolle onderdelen van het criterium gedrag in plaats van een complex criterium als geheel. Uit de afzonderlijke geprediceerde elementen wordt dan vervolgens de voorspelling van het gehele criterium gesynthetiseerd.

b validiteit geeft de mate aan waarin een test correleert met een andere test waarvan wordt aange-nomen dat die dezelfde eigenschap meet

c is sprake indien, naar de subjectieve impressie van de leek of de psycholoog zelf, de relatie tussen test en criterium of de betekenis van een test zonder meer duidelijk is.

de verbetering van de voorspellingen (van een criterium met behulp van een test) ten opzichte van de reeds voorhanden zijnde informatie bedoeld.

a face validity of indruksvaliditeit
b De synthetische validiteit richt
c incremental validity
d face validity of indruksvaliditeit
eDe congruent validity of soortgenoot validiteit

Answer 29

a De synthetische validiteit richt
b De congruent validity of soortgenoot validiteit
c face validity of indruksvaliditeit
d incremental validity

*Synthetische validiteit verwijst naar het idee dat we betere voorspellingen kunnen doen over het gedrag van een persoon door te kijken naar specifieke, herkenbare delen van dat gedrag, in plaats van het gedrag als één complex geheel te beschouwen.

Stel je voor dat we willen voorspellen hoe goed iemand zal presteren op hun werk. In plaats van het werkprestatieniveau als één grote, ingewikkelde maatstaf te zien, breken we het op in afzonderlijke, begrijpelijke delen. Bijvoorbeeld, we kijken naar specifieke vaardigheden, gedragingen of prestaties die relevant zijn voor het werk.

Daarna voorspellen we hoe iemand zal presteren op basis van die specifieke elementen, en uiteindelijk combineren we die voorspellingen om een algemene voorspelling te maken over de totale prestatie op het werk. Dus in plaats van rechtstreeks te kijken naar het complexe eindresultaat (het totale werkprestatieniveau), kijken we naar afzonderlijke, zinvolle stukken van gedrag om onze voorspelling te verbeteren. Dat is wat bedoeld wordt met het synthetiseren van voorspellingen op basis van identificeerbare en op zichzelf zinvolle onderdelen van het gedrag*.

Question 30

validiteit gaat het om de vraag hoe goed een criterium is te voorspellen. De criteriuminformatie moet geschat worden vanuit kennis van de predictor. Het schatten van de testprestaties gebeurt bijvoorbeeld door in de regressieformule informatie te gebruiken over de relatie tussen test- en crite-riumscore, verkregen in een eerder onderzoek

predictieve validiteit
conceptuele criterium

Answer 30

predictieve validiteit

Question 31

7.Het conceptuele criterium is een concretisering van het uiteindelijke doel van de testgebrui-ker in termen van zichtbare resultaten. Van het conceptuele criterium wordt een criteriummaat of criteriumscore afgeleid.
b.Een criteriummaat is een expliciete, ondubbelzinnige uitspraak of score die betrekking heeft op het criteriumgedrag of de criteriumprestatie.
Het criteriumgedrag of de criteriumprestatie is een waarneembaar en registreerbaar gedrag dat men relevant acht met het oog op het conceptuele criterium.

Question 32

8.De vraag in welke mate de predictor de criteriumscore kan voorspellen, is pas relevant nadat het criteriumgedrag is gekozen en de criteriummaat is vastgesteld. De predictieve validiteit als een empi-risch proces komt dus altijd pas na het besluit om een bepaalde criteriumprestatie te nemen als con-cretisering van een conceptueel criterium.
9.Evenals voor de test is een zo hoog mogelijke betrouwbaarheid van de criteriumscore gewenst.

Question 33

11.Afgezien van een lage betrouwbaarheid van de test(s) zijn een of meer van de volgende factoren verantwoordelijk voor lage validiteitscoëfficiënten:

** lage betrouwbaarheid van het criterium
** afwijkingen van lineariteit van het verband tussen test- en criteriumscore.

** gebrek aan homogeniteit van de onderzochte groep(voor sommige groepen kan de validiteit hoger zijn dan voor een andere groep)

** externe variabelen die er de oorzaak van zijn dat het criterium in de ene situatie een andere lading dekt in in een andere situatie.

** test- en criteriumscore die in tijd ruim van elkaar verwijderd zijn. Als voorbeeld: de validiteit van een IQ, gemeten op 12 jarige leeftijd , voor de voorspelling van de eindexamencijfers VWO. In de tweede plaats is de intelligentie wel in hoge mate betrouwbaar als tussen twee metingen 1 tot 2 jaar ligt, maar iets minder betrouwbaar wanneer er ongeveer zes jaar tussen ligt. Het is goed denkbaar dat op 18 jarige leeftijd een beroep wordt gedaan op intelligentiefactoren die op twaalfjarige leeftijd niet of nauwelijks aan bod zijn gekomen.

Question 34

12.De volgende methodologische artefacten worden door Schmidt en Hunter genoemd ter verklaring van de grote variatie in validiteitscoëfficiënten:

** steekproeffouten zoals: kleine steekproefgrootte, waardoor toevalsinvloeden verhoudingsgewijs een grote invloed hebben, en min of meer subtiele verschillen in samenstelling van de steekproeven, waardoor deze niet volledig representatief zijn voor de achterliggende populatie.

** onbetrouwbaarheid van test en criterium

** beperking van de variatiebreedte (over een smal interval van test en/of criteriumscore valt de
correlatie lager uit dan over een breed interval).