Taak 6: (stap 4) operationalisaties en meetinstrumenten Flashcards
(33 cards)
operational definition
definitie voor de variabelen in onderzoek,
omvat een specificatie en hoe je het gaat meten.
Meestal uit andere onderzoeken of literatuur. Wanneer je de definitie zelf construeert: checken bij andere experts.
operationalisatie = de vertaling van de definitie van een variabele naar een meetinstrument.
identificeren variabelen
uit onderzoeksvragen en hypotheses
instrument
tool voor meten/ observeren/ documenteren kwantitatieve data.
4 hoofdtypes van soort informatie:
- performance measures
- attitudinal measures
- behavioral observations
-factual information
tabel blz 180
performance measures (metingen van individuele prestaties)
prestaties meten dmv test
te meten door bestaande instrumenten. Genormeerd door eerder gebruik, dus kan vergeleken worden met typische score.
nadeel: meet niet individuele attitude, veel geld, tijd, bias voor bepaalde culturele groepen.
- achievement test (prestatie, vergelijken met grote groep anderen)
- criterion-referenced tests (prestatie, vergelijken met criterium of score)
- intelligentie test
- aptitude test (geschiktheid)
- interest inventory
- personality assessment (karakteristieken identificeren om gedrag te voorspellen en verklaren)
attitudinal measures (metingen van individuele attitudes)
meten emoties bij onderwijs topics
vaak eigen vragen of bestaand instrument.
bedachtzaam zijn op bias/ eerlijkheid
nadeel: levert geen bewijs voor gedrag
behavioral observations
met checklist of scoringslijst
voordeel: identificeren van gedrag van individueel (en dus niet iemands eigen ervaring)
nadeel: lastig te scoren, tijdrovend
en, bij meerdere observanten consistentie in de gaten houden
factual information (feitelijke observaties)
documenten beschikbaar in publieke domein
bv rapporten/ aanwezigheidsrapporten
alleen: data niet door onderzoekers zelf zorgvuldig verzameld.
digitaal data verzamelen
makkelijke, snelle vorm van data verzamelen
- meer valide/ cleaner
- analyses
- interviews digitaal dmv opgenomen vragen
- digitale tools gebruiken om databronnen te vinden
- met juiste toestemming veel digitale info beschikbaar
beperkingen in beschikbare emailadressen/technologie/
representativiteit
Hoe bepalen welke types info je kiest
- Wat probeer ik te leren over de participanten van mijn vragen/hypotheses?
- Welke info is ook realistisch?
- Hoe verhouden de voordelen van data verzamelen zich met de nadelen ervan?
wat is de bedoeling van een meetinstrument?
Op consistente wijze verschillende waarden van een variabele te kwantificeren, dus representeren als getalsmatige datareeks.
Met instrument worden de verschillende elementen van de variabele gemeten. Alle scores gemiddeld of opgeteld en zo tot totaalscore komen voor variabele.
vinden of ontwerpen van juiste instrument
- zelf ontwikkelen
Lastigste en meest tijdrovend, om valide instrument te ontwikkelen. Literatuuronderzoek, veel testen (pilotonderzoek). Zie figuur 5.9 blz 186. - bestaande aanpassen (modifying an instrument)
Hiervoor wel toestemming nodig.
Kan ook delen van verschillende bestaande gebruiken. - bestaande in geheel gebruiken
wat helpt bij zoeken instrument
- Zoeken in gepubliceerde artikelen
citaten/ schrijver/ vragen om testversie - ERIC systeem gebruiken met zoekterm ‘instruments’ en onderwerp
- zoeken naar commerciële testen, (bv Mental Measurements Yearbook of Tests in Print)
Naast wat schrijver beschikbaar heeft, ook zelf op zoek naar literatuur/reviews.
criteria voor kiezen van juiste instrument
- is het de meest recente versie? (niet ouder van vijf jaar)
- geciteerd/aanbevolen door anderen?
- zijn er reviews? (dan vinden mensen het de moeite waard)
- is er info over de betrouwbaarheid/ validiteit?
- bij prestatiemetingen: is het genormeerd?
- past de procedure voor het opnemen van de data bij jouw onderzoeksdoel en vragen? (ook: wie? zelf of door onderzoeker)
- heeft het een geaccepteerde meetschaal? goede antwoordopties. bv categorieën of schaal.
betrouwbaar instrument
stabiel en consistent
ongeveer zelfde scores als je test op ander moment/ andere plek
wanneer toevallige meetfouten afwezig zijn
valide instrument
meten wat je wil meten
wanneer systematische fouten afwezig zijn
focus op de consequenties van het gebruiken van de scores van een instrument
validiteit: meer omvattend/groter dan betrouwbaarheid. Betrouwbaar: scores zijn constistent. Begrippen kunnen deels overlappen.
5 procedures om betrouwbaarheid te testen van instrumenten (tabel blz 189)
- test-retest:
zelfde participanten met interval nog eens testen. Correlatie tussen uitkomst berekenen. Hoge correlatie = betrouwbaar.
(vd 1 instrument, nd: leereffect van maken test of de tijd) - alternate forms reliability: (paralleltestbetrouwbaarheid)
twee testen afnemen die hetzelfde meten, verder alles hetzelfde
(nd: lastig dezelfde te vinden) - alternate forms and test-retest reliability:
twee testen met zelfde part. met interval - interrater reliability:
(interbeoordelaarsbetrouwbaarheid)
bij observeren van gedrag laten doen door 2 of meer observanten, zelfde part. Dan vergelijken. Hoge correlatie = hoge betrouwbaarheid. Vd: bias ontdekken. Nd: trainen van observanten en vergelijken kan lastig zijn. - internally consistent:
(interne consistentie)
dezelfde vraag later in test, zou hetzelfde antwoord moeten komen.
Optie: vragen door de helft en tussen helften de relatie/correlatie bekijken. Dat verdelen kan willekeurig of met (computer)systeem.
bv Kuder-Richardson split half test
(zie volgende kaartje)
coefficient alpha als items gescoord worden op de manier van helemaal mee eens tot helemaal niet mee eens. (dus meerdere items ipv 2)
Kuder-Richardson split half test
wanneer:
- als scores in goed/fout zijn (2 opties)
- snelheid telt niet mee
- items meten een zelfde factor
bv gebruiken Spearman-Brown formule: berekent betrouwbaarheid van je test bij verlenging/verkorting.
gebruik maken van meer vragen = dus meer betrouwbaarheid.
bepalen of de scores van het instrument valide zijn
- zoeken naar bewijs bij eerdere onderzoeken
- goed doel van die studies bekijken
- hun discussie/interpretatie bekijken van het instrument
- bovenstaande evalueren
types van bewijs om validiteit te bevestigen
Standards van Impara: 5 categorieën van bewijs (tabel blz 191)
- bewijs gebaseerd op test content:
Laten de scores van de test zien dat de test content gerelateerd is aan wat de intentie is dat het meet. bv experts vragen
analyseren content - construct
bruikbaar als mogelijkheden van vragen bekend zijn en makkelijk identificeerbaar.
- gebaseerd op response process:
Weerspiegelen de scores van de participanten de juiste antwoorden? bv interviewen van participanten over gebruik instrument
zelfde stimulus/zelfde respons? (observators vragen) - gebaseerd op interne structuur:
statistische procedures om relatie tussen test item en testonderdelen te bepalen. - gebaseerd op relaties tot andere variabelen:
bewijs zoeken door correlatie van testscore met variabele met andere metingen te onderzoeken buiten de test. bv zelfde soort testen/ ander soort testen - gebaseerd op de consequenties van testen.
welke voordelen/nadelen zijn het resultaat van het gebruiken van het instrument? Soms bedoelt en soms niet. bv. voordelen voor positieve behandelingen van therapie, voor werkenden op de juiste werkplek te krijgen.
vragen om instrument te selecteren en evalueren
blz 193
juiste antwoordopties gebruikt?
twee basis types:
- categorische schaal: nominal and ordinal
nominaal: categorieën zonder rangorde
ordinaal: categorieën met rangorde
- continue schaal: interval/quasi-interval en ratio
interval: antwoordopties met gelijke afstand tussen de opties.
Ordinal scale lijkt soms op interval, maar daarbij geen garantie dat afstand tussen de opties gelijk zijn.
Belangrijk om dit verschil te maken i.v.m. gebruik statistiek. interval: parametric test en bij ordinal scale nonparametric test.
Met nauwkeurig bekijken/testen zou ordinal test geschikt kunnen zijn als interval.
ratio scale: weinig gebruikt in onderwijs. Gelijke afstanden vanaf nul.
Kan ook altijd een combinatie gebruikt worden van schalen. Interval geeft vaak de sterkte statistische analyses.
Let op: bij twijfel interval. Die kan altijd teruggebracht worden tot ordinal of nominal, maar andersom niet.
manieren van data verzamelen bij kwalitatief onderzoek
- observaties
- interviews en vragenlijsten
- documenten (bv journal of dagboek/brieven/biografieën/ uitval cijfers van school/portfolio’s)
- audiovisueel materiaal
observaties
meest gebruikt in onderwijsonderzoek
notities (field notes)/tekeningen/foto’s
ongestructureerd
open-ended, van eerste hand
voordeel:
in eigenlijke setting, gedrag, bv ook individuen die zelf niet kunnen verbaliseren.
nadeel:
toestemming nodig, verstandhouding met mensen die geen ervaring hebben van onderzoek, ongemakkelijkheid van geobserveerd worden. Zorgvuldig luisteren en op details letten.
observatierollen
drie meest populaire rollen
- rol van participerende observator
meedoen met activiteiten in de setting
om ervaringen van participanten te zien
opnemen van gegevens tijdens of soms na
miss lastiger qua toegang krijgen - rol van niet-participerende observator
outsider, bv achterin klas
kijken en opnemen van info
kan voor anderen meer comfortabel zijn
minder concreet dan als je zelf meedoet - wisselende observator rollen
meestal eerst niet-participerend
