Week 2 Onderzoekdesigns II

Question 1

between-subjects design

Answer 1

Een onderzoeksdesign waarbij verschillende personen in de verschillende groepen (of condities) zitten

Question 2

within-subjects design

Answer 2

Een onderzoeksdesign waarbij dezelfde personen in de verschillende condities zitten.
Minder deelnemers nodig.
Gevoelig voor het vinden van statistisch significante verschillen tussen groepen; je kan veel duidelijker het effect zien omdat je makkelijker de systematisch individuele verschillen kunt scheiden van het effect van de onafhankelijke variabele.
Het grote probleem is dat de condities in een bepaalde volgorde moeten worden gepresenteerd.
Daarnaast: elke experimentele procedure die een relatief permanent verschil in een individu produceert kan niet gebruikt worden in een repeated measures design.

Volgorde effecten zoals
Oefening
Vermoeidheid
Autonome rijping –> dit kun je niet omkeren, zoals een voor en nameting bij een therapie.
Spontaan herstel (Bijvoorbeeld aantal uren slaap, op een gegeven moment ben je zo moe dat je wel weer goed zal slapen)
Carry-over effecten (invloed van de ene conditie op de andere conditie)
- Differentiële transfer
Invloed van conditie A naar B is anders dan invloed van conditie B naar A. Dit is niet op te lossen en als je denkt dat dit aan de hand is kun je beter een between-subjects design kiezen.
Volgorde-effecten kun je wel oplossen.

Question 3

De onafhankelijke variabele heeft minimaal 2 levels

Answer 3

de experimentele groep en een controle groep

Question 4

posttest-only design

Answer 4

Een onderzoeker die gebruik maakt van een posttest-only design moet (1) twee gelijkwaardige groepen van deelnemers werven, (2) de onafhankelijke variabele manipuleren, en (3) het effect van de onafhankelijke variabele op de afhankelijke variabele meten.
Eerst moet de onderzoeker de deelnemers kiezen en ze in twee groepen verdelen.
De procedures gebruikt moeten gelijkwaardige groepen bereiken zodat eventuele selectieverschillen worden geëlimineerd. De mensen die zijn geselecteerd mogen dan niet verschillen op enige systematische manier. Dit kan door het randomiseren of door dezelfde deelnemers in beide condities te laten deelnemen.
Dan moet de onderzoeker twee levels kiezen van de onafhankelijke variabele. Tenslotte wordt het effect van de onafhankelijke variabele gemeten. Hierbij wordt dezelfde meetmethode gebruikt bij beide groepen, zodat vergelijking mogelijk is. Omdat de groepen gelijkwaardig waren voor de introductie van de onafhankelijke variabele en er geen verwarrende variabelen waren, is elk verschil tussen de groepen toegeschreven aan het effect van de onafhankelijke variabele.

Question 5

pretest-posttest design

Answer 5

Het verschil tussen de posttest-only design en het pretest-posttest design is dat in deze laatste een pretest is gegeven voordat de experimentele manipulatie is geïntroduceerd. Dit ontwerp maakt het mogelijk om vast te stellen dat de groepen inderdaad vergelijkbaar waren in het begin van het experiment. Deze voorzorgsmaatregel is meestal niet nodig wanneer deelnemers random zijn toegewezen aan de twee groepen. Het is mogelijk bij kleine steekproeven dat de groepen niet gelijkwaardig zijn. Dan maakt een pretest het mogelijk om de onderzoeker te laten zien dat de groepen inderdaad gelijkwaardig zijn. Het pretest-posttest ontwerp zorgt ervoor dat we ons gelijk focussen op de verandering van pretest naar posttest. Deze nadruk op verandering is opgenomen in de analyse van de groepsverschillen. Ook de mate van verandering in elk individu kan onderzocht worden. Een pretest is ook handig wanneer er een mogelijkheid is dat deelnemers afhaken van het experiment: vaak wanneer een onderzoek lang duurt.
Ookal zijn de groepen in het begin gelijk, verschillende hoeveelheid slijtage kan ervoor zorgen dat de groepen niet meer gelijk zijn. Het gebruiken van pretests maakt het mogelijk om de effecten van slijtage te beoordelen: je kan kijken naar de pretest scores van de afvallers en weet dan of de scores verschilden van de individuen die het onderzoek hebben afgerond. Dus, met de pretest is het mogelijk om te bekijken of slijtage een aannemelijke alternatieve verklaring is – een voordeel in het experimentele ontwerp.Een nadeel van een pretest is dat het veel tijd kost en ongemakkelijk is te beheren in de context van de bepaalde experimentele procedures die gebruikt worden. Misschien het meest belangrijke is dat een pretest deelnemers gevoelig kan maken voor wat je onderzoekt, waardoor het voor hen mogelijk wordt om uit te vinden wat er onderzocht wordt en (mogelijk) waarom. Dan kunnen ze vervolgens anders reageren op de manipulatie dan wanneer ze geen pretest hadden.
Als bewustzijn een probleem is, dan kan de pretest vermomd worden. Een manier om dit te doen is door het in een compleet andere situatie met een andere onderzoeker af te nemen. Een andere manier is om de pretest te integreren in een set van irrelevante metingen zodat het niet duidelijk is dat de onderzoeker geïnteresseerd is in een specifiek onderwerp.

Question 6

slijtage of sterfte (attrition of mortality).

Answer 6

De factor van afhaken

Question 7

Solomon four-group ontwerp

Answer 7

Het is ook mogelijk om de impact van de pretest te beoordelen direct door een combinatie van beide de posttest-only en de pretest-posttest design. Hierbij krijgt de helft van de deelnemers alleen de posttest, en de andere helft beide de pretest en de posttest.

Question 8

Volgorde-effect

Answer 8

de volgorde van presentatie van de condities beïnvloed de afhankelijke variabele.

Question 9

oefen-effect of leer-effect

Answer 9

volgorde-effect waarbij waarbij prestatie in de tweede taak verbetert simpelweg omdat er geoefend is in de eerste taak

Question 10

vermoeidheid-effect

Answer 10

volgorde-effect waarbij er een verslechtering van prestatie ontstaat van de eerste naar de tweede conditie omdat de deelnemer moe, verveeld of afgeleid raakt.

Question 11

overdraag-effect

Answer 11

volgorde-effect waarbij het effect van de eerste conditie wordt overgedragen om de reactie op de tweede conditie te beïnvloeden

Question 12

complete counterbalancing

Answer 12

Alle mogelijke volgorden van presentatie inbegrepen in het experiment. Hierdoor is het mogelijk om te bepalen in hoeverre de volgorde de resultaten beïnvloed. Bij drie groepen zijn er 6 mogelijk volgorden (3! = 3 x 2 x 1 = 6).

Question 13

Incomplete counterbalancing

Answer 13

Mogelijk door gebruik van de Latin square.

Question 14

Latin square

Answer 14

een gelimiteerde set van volgorden geconstrueerd om er zeker van te zijn dat (1) elke conditie op elke ordinale positie verschijnt en (2) elke conditie elke keer de andere condities voorafgaat en volgt. Het gebruiken van een latin square om de volgorde te bepalen controleert de meeste volgorde-effecten zonder dat je alle mogelijke volgorden moet omvatten.

Question 15

kanssteekproeven

Answer 15

Wanneer het belangrijk is om accuraat de populatie te beschrijven

Question 16

niet-kanssteekproeven

Answer 16

Wanneer je meer geïnteresseerd bent in het testen van hypothesen over gedrag, waarbij je focust op de relatie tussen de variabelen, kun je deelnemers het beste werven via niet-kanssteekproeven zoals de gemakssteekproef.

Question 17

setting the stage

Answer 17

de afhankelijke en de onafhankelijke variabelen moeten geïntroduceerd worden binnen de context van de totale experimentele setting. Hierbij moet je meestal de deelnemers informatie geven die nodig is om de informed consent te ondertekenen. Er zijn geen duidelijke regels voor setting the stage, behalve dat de experimentele setting aannemelijk moet zijn voor deelnemers. Precies hoe de variabele is gemanipuleerd is afhankelijk van de variabele zelf, de kosten, praktisch gezien, en de ethiek van de procedures.

Question 18

Rechtstreekse/directe manipulaties

Answer 18

manipuleren variabelen met instructies en stimulus presentaties. Stimuli kunnen verbaal, geschreven, op video of met een computer worden gepresenteerd. De meeste manipulaties van onafhankelijke variabelen in alle gebieden van onderzoek zijn directe manipulaties.

Question 19

in scéne gezette manipulatie (staged manipulation/event manipulation

Answer 19

Soms is het nodig om gebeurtenissen in scéne te zetten tijdens een experiment om de onafhankelijke variabele te manipuleren. Deze worden voor 2 redenen ingezet: ten eerste kan het zo zijn dat de onderzoeker een psychologische staat wil creëren in de deelnemers, zoals frustratie of boosheid. Ten tweede kan het nodig zijn om een situatie te simuleren die in de echte wereld voorkomt. De in scéne gezette manipulatie hebben vaak een medeplichtige in dienst.

Question 20

sterkte van manipulatie

Answer 20

Een algemeen principe om te volgen is om de manipulatie zo sterk mogelijk te maken: de sterkte van manipulatie is van belang. Een sterke manipulatie maximaliseert de verschillen tussen de twee groepen en vergroot de kans dat de onafhankelijke variabele een statistisch significant effect heeft op de afhankelijke variabele. Een sterke manipulatie is vooral belangrijk in de vroege stadia van onderzoek, wanneer de onderzoeker vooral geïnteresseerd is in het demonsteren dat een relatie écht bestaat. Wanneer deze relatie bekend is, kan verder onderzoek worden gedaan met minder sterke manipulatie om een meer gedetailleerd beeld te krijgen van de relatie.
Het gebruik van de sterkste manipulatie moet gematigd worden door 2 overwegingen. De eerste bevat de externe validiteit van een onderzoek: de sterkst mogelijke manipulatie kan een situatie met zich meebrengen dat zelden, of nooit voorkomt in de echte wereld. De tweede overweging is ethiek: een manipulatie zou zo sterk mogelijk moeten zijn binnen de grenzen van ethiek. Een sterke manipulatie van angst zou bijvoorbeeld niet mogelijk kunnen zijn vanwege de schade die het kan opleveren.

De kosten is ook een factor in de keuze hoe je een onafhankelijke variabele gaat manipuleren. Een manipulatie met bijvoorbeeld een medeplichtige, veel apparatuur etc. kost veel geld. Een rechtstreekse manipulatie met geschreven of verbale manipulatie is daarbij vaak goedkoper.

Question 21

Zelfrapportage

Answer 21

meting van de afhankelijke variabele. Kan gebruikt worden om attitudes, de mate waarin je iemand aardig vindt, oordeel over iemands persoonlijke karakteristieken, voorgenomen gedrag, emotionele staat, attributies over waarom iemand goed of slecht presteerde op een taak, vertrouwen in iemands oordeel, en veel meer aspecten te meten van menselijke gedachtes en gedrag.
De meest voorkomende beoordelingsschalen zijn degene met beschrijvende eindpunten.

Question 22

Gedragsmatige metingen

Answer 22

Meting van de afhankelijke variabele. Directe observaties van gedrag. Net zoals bij zelfrapportages zijn er bijna een eindeloze hoeveelheid gedragingen die je kan meten. Vaak moet de onderzoeker de hoeveelheid aangeven van het geobserveerde gedrag:
- mate van gedrag – hoe vaak het gedrag voorkomt in de gegeven tijd
- reactietijd – hoe snel een reactie voorkomt na een stimulus
- duur – hoe lang een gedraging aanhoudt
De keuze over welk aspect van het gedrag je moet meten hangt af van welk aspect het meest theoretisch relevant is voor het onderzoek van een specifiek probleem, of welke meting logisch volgt van de manipulatie van de onafhankelijke variabele.
Soms is de gedragsmatige meting niet echt gedrag maar een intentie of een keuze.

Question 23

Fysiologische metingen

Answer 23

Meting van de afhankelijke variabele. Metingen van reacties van het lichaam. Veel metingen zijn beschikbaar: zoals galvanische huidreactie (GSR), elektromyogram (EMG), en elektro-encefalogram (EEG).

De meeste onderzoeken bevatten meer dan 1 afhankelijke meting. Een variabele kan namelijk gemeten worden op verschillende manieren. Als de onafhankelijke variabele hetzelfde effect heeft op meerdere metingen van dezelfde afhankelijke variabele, wordt ons vertrouwen in de resultaten vergroot. Het is ook handig om te weten of dezelfde onafhankelijke variabele wel een bepaalde meting beïnvloed maar niet de andere.
Onderzoekers kunnen ook geïnteresseerd zijn in het bestuderen van het effect van een onafhankelijke variabele op verschillende gedragingen.

Question 24

sensitiviteit

Answer 24

De afhankelijke variabele zou gevoelig genoeg moeten zijn om verschillen te detecteren in groepen. Dit is vooral belangrijk wanneer menselijke prestaties worden gemeten. Soms is een taak zo makkelijk dat iedereen het goed doet ongeacht de condities die gemanipuleerd zijn door de onafhankelijke variabele. Dit resulteert in het plafond effect – de onafhankelijke variabele lijkt geen effect te hebben op de afhankelijke meeteenheid alleen omdat de deelnemers snel het maximale prestatieniveau bereiken. Het tegenovergestelde probleem ontstaat wanneer een taak zo moeilijk is dat bijna niemand goed kan presteren – dit is het vloer effect.

Question 25

vraagkenmerken (demand characteristics

Answer 25

dit is elk kenmerk van een experiment die misschien deelnemers informeren over het doel van het onderzoek. De zorg is dat wanneer deelnemers verwachtingen vormen over de hypothese van het onderzoek, zij daarna alles doen wat nodig is om de hypothese te bevestigen. Een manier om dit te controleren is om misleiding te gebruiken – laat deelnemers denken dat het experiment een ding bestudeert terwijl het eigenlijk iets anders bestudeert.

Question 26

placebogroep

Answer 26

We weten soms niet of een verbetering is veroorzaakt door de inhoud van een medicijn of door de verwachtingen van deelnemers over het effect van het medicijn – placebo-effect. Om dit te controleren, kan een placebogroep worden toegevoegd. Deze deelnemers krijgen ook een pil of injectie wat een inhoud bevat die geen effect heeft op de persoon. Het is belangrijk hierbij ethiek in de gaten te houden: de groep mensen waarbij de behandeling niets deed, moeten zo snel mogelijk na het experiment de échte behandeling krijgen.

Question 27

verwachtingseffect

Answer 27

Experimentatoren weten vaak het doel van het onderzoek en kunnen hierdoor verwachtingen ontwikkelen over hoe deelnemers zouden moeten reageren. Deze verwachtingen kunnen vooroordelen in resultaten veranderen. Ten eerste kan de experimentator onbedoeld de deelnemers in de ene conditie anders behandelen dan in de andere conditie. Ten tweede kan het ontstaan bij het opnemen van de gedragingen van de deelnemers; er kunnen subtiele verschillen zijn in de manier waarop een experimentator gedragingen interpreteert en opneemt.

Question 28

Om het verwachtingseffect te minimaliseren, zijn er verschillende manieren.

Answer 28

Een eerste manier is dat experimentatoren goed getraind moeten zijn en zouden moeten oefenen met het consistent gedragen bij alle deelnemers. Een tweede manier is om alle condities tegelijkertijd te laten lopen zodat het gedrag van de experimentator hetzelfde is voor alle deelnemers. Dit is echter alleen uitvoerbaar bij bepaalde omstandigheden. Een derde manier is om de procedures te automatiseren. Het is mogelijk om onafhankelijke variabelen te manipuleren en reacties op te nemen door computers te gebruiken; hiermee is er een kleinere kans dat de verwachtingen van de experimentator invloed hebben op de resultaten.
Een laatste manier is om experimentatoren in te zetten die de hypothese niet weten. In een enkelblind experiment is de deelnemer onbekend over of er een placebo of een echt medicijn wordt gebruikt; bij een dubbelblind experiment weet de deelnemer en ook de experimentator niet welke van de twee wordt gegeven.

Question 29

proefonderzoek

Answer 29

de onderzoeker doet een test doet met een kleine hoeveelheid deelnemers. Deze test laat zien of deelnemers de instructies begrijpen, of het totale experiment aannemelijk is, of er verwarrende vragen worden gesteld et cetera. Soms worden de deelnemers gevraagd over wat zij vinden van het experiment, bijvoorbeeld via een denk-hardop methode.

Question 30

manipulatie check

Answer 30

een poging om direct te meten of de manipulatie van de onafhankelijke variabele het bedoelde effect heeft op de deelnemers. Deze check geeft bewijs voor de construct validiteit van de manipulatie. De manipulatie check bevat een zelfrapportage, een gedragsmatige meting of een fysiologische meting.

Question 31

nabespreking

Answer 31

Dit is een mogelijkheid voor de onderzoeker om met de deelnemers te spreken over ethische en leerzame implicaties van het onderzoek. Het kan ook meer informatie geven over wat de deelnemers dachten tijdens het onderzoek. Zulke informatie kan belangrijk zijn bij het interpreteren van de resultaten en het plannen van verdere onderzoeken.

Question 32

peer review

Answer 32

het ingediende stuk wordt geëvalueerd door twee of meer deskundige recensenten wie bepalen of het stuk geaccepteerd is voor publicatie of presentatie bij de ontmoeting

Question 33

Er zijn verschillende controlemaatregelen mogelijk om van een within-subjects design een zuiver experiment te maken.

Answer 33

1. Randomisatie van de volgorde
   a. Intra-group
   Procedure: de volgorde wordt voor elke deelnemer opnieuw at random bepaald.
   Gevolg: in de groep worden alle condities gemiddeld ongeveer dezelfde fase gegeven.
   b. Intra-subject
   Procedure: elke deelnemer krijgt elke conditie heel vaak, in een random volgorde.
   Gevolg: Bij elke deelnemer worden alle condities gemiddeld ongeveer dezelfde fase gegeven.
   Voordeel: Je kunt per deelnemer een conclusie trekken.
2. Counterbalancen
   a. Intra-group
   Procedure: er wordt een ‘’gebalanceerde’’ lijst van volgorden gemaakt. Elke deelnemer krijgt at random 1 van de volgorden op de lijst.
   Gevolg: In de groep worden alle condities gemiddeld in precies dezelfde fase gegeven.
   b. Intra-subject
   Procedure: Elke deelnemer krijgt de condities in meerdere, uitgekiende volgorden.
   Gevolg: Bij elke deelnemer worden alle condities gemiddeld in precies dezelfde fase gegeven.
   Nadeel: dit werkt alleen goed als rijping, vermoeidheid en oefening lineair toe- of afnemen.

Question 34

Stappen Latijns vierkant

Answer 34

1. Het vierkant bevat net zoveel rijen en kolommen als condities.
2. Gebruik letters van het alfabet om de condities een naam te geven.
3. Eerste rij Latijns vierkant: A B L C L-1 D L-2.
4. De tweede en verdere rijen gaan door voor elke positie van de rij een letter op te tellen A –> B. F –> A.
5. Bij een oneven aantal condities moet je een tweede vierkant maken en deze te spiegelen verticaal. In iedere rij staat precies omgekeerde volgorde als die in het andere vierkant.
6. Wijs elk van de condities van je onderzoek at random toe aan een van de letters. Daarna bepaal je voor elk van de proefpersonen at random welke volgorde de proefpersoon krijgt. Zorg er daarbij voor dat je evenveel proefpersonen per volgorde hebt.

Question 35

Mixed design

Answer 35

Mixed design: combinatie van between-subjects design en within-subjects design
Vooruitgang = nameting – voormeting
Vaak gebruikt bij therapieën om te kijken of deze werkzaam was.
Een mixed design met meerdere groepen met een voor- en een nameting wordt zuiver wanneer het voldoet aan de eisen van een between-subjects design.
Combinatie van between en within

Onafhankelijke variabele 1: conditie (A vs. B)
Onafhankelijke variabele 2: tijd (voor vs. na)
Afhankelijke variabele: meting

Of (anders opgeschreven, maar inhoudelijk hetzelfde)
Onafhankelijke variabele: conditie (A vs. B)
Afhankelijke variabele: Vooruitgang = nameting – voormeting

Mixed design: vooruitgang = nameting – voormeting