Hoorcollege 8A: Experiment

Question 1

1. Beschrijf de onderzoeksstrategie ‘Experiment’.

2. Leg de manipulatiecheck uit.

Answer 1

1. Je hebt controle over de onafhankelijke variabel, X = manipulatie: experimentele ingreep of stimulus. Afhankelijke variabele: gevolg- of effectvariabele Y. Je manipuleert X en kijkt wat voor effect het heeft op Y. Je zet proefpersonen in en gecontroleerde situatie (lab, of veldexperiment: dit is natuurlijker dan lab, in het veld, in het echt). Vergelijk Y na experimentele- en controle-conditie. Je kijkt of de situatie veranderd is voordat de situatie was veranderd. De groepen moeten wel vergelijkbaar zijn, want dan kan je niet zeggen dat het ligt aan de groep waarom de afhankelijke variabele anders geworden.

> > > Je verwacht twee situaties:

• stimulus > effect
• geen stimulus > geen effect.

2. Manipulatiecheck= heeft de manipulatie de bedoelde uitwerking? Is de manipulatie (op de juiste manier) uitgevoerd? Manipulatiecheck kan zijn: is het licht uit? En niet of we beter leren, niet perse of de manipulatie leidt tot het verwachte effect. Of dat de respondent in de gaten heeft ‘dit is een man of een vrouw’. Want anders worden ze niet beinvloed door het geslacht bij feedback geven. Manipulatie checkt of het experiment goed uitgevoerd zijn, niet of de conclusies juist zijn naar wat wij verwachten. Dus het gaat er niet om dat de manipulatie effect heeft, maar puur of mensen begrijpen wat ze moeten doen. Heb je de onafhankelijke variabele (X) succesvol gemanipuleerd?

Question 2

1. Aan welke eisen/voorwaarden moet je onderzoek voldoen als je wil spreken van causaliteit?

Answer 2

1. Causaliteit vaststellen: (drie eisen voor causaliteit)
2. Is er samenhang tussen X en Y?
   - covariatie= (statistisch) verband tussen X en y, je wil dat er een samenhang is tussen X en Y. Als je geen samenhang kan vaststellen, is er ook geen causaliteit. Dan hoef je niet meer verder te kijken naar de volgende voorwaarde.
3. Kan dat wel door X komen?
   - chronologie= X moet wel vooraf gaan aan Y. X moeten we meten en vaststellen voordat we Y meten of vaststellen. Bij cross-sectie gaat X en Y tegelijkertijd gemeten, terwijl bij een experiment Y pas wordt gemeten na manipulatie van X. Dus tijd is een inherent onderdeel van je design als je causaliteit wilt vaststellen. (Bij een cross-sectie, kan je geen causaliteit vaststellen, want daar weet je niet of X daadwerkelijk invloed heeft op Y).
4. Komt het niet door iets anders? (!!!)
   - uitsluiten alternatieve verklaringen= covariatie tussen X en Y mag niet veroorzaakt wordten door Z. Is er niet iets anders dat Y veranderd?
   »> Schijnverband: samenhang tussen X en Y, maar geen oorzakelijke verband (geen causaliteit). Z beïnvloedt zowel X en Y. Door X te manipuleren (en niet Z) kan dat schijnverband uitgesloten worden. Als we X veranderen en Y veranderd niet, is er sprake van een schijnverband (Z). We verwachten dat als we X veranderen ook Y zal veranderen.

Question 3

Hoe kun je ervoor zorgen dat je alternatieve verklaringen kunt uitsluiten?

Answer 3

Door groepssamenstelling. Causaliteit betekent dat er geen alternatieve verklaringen mogelijk zijn waarom iets als resultaat is. Individuen zijn niet gelijk, of niet gelijk te maken, iemand kan niet van een man naar een vrouw worden. Dus wat we willen doen is groep individuen samenstellen zodat de groepen wel vergelijkbaar zijn. Maar wel op basis van toeval, zodat de onderzoeker geen invloed heeft gehad, want dat kan ook een storende factor zijn (de invloed van de onderzoeker). Wanneer de groepen gelijk zijn kun je ze toewijzen bij de condities, en dan kun je dus beargumenteren dat het echt komt door de manipulatie waarom Y zo’n resultaat heeft en niet door de verschillen in de groepen bijvoorbeeld.

> > > Voorbeeld: We kunnen geslacht niet manipuleren. Wat we wel kunnen is ervoor zorgen dat de invloed van geslacht ongeveer neutraliseren, dat doen we door groepen respondenten dus op groepsniveau kijken en niet op individueel niveau. Op groepsniveau zijn die variabelen ongeveer gelijk verdeeld. In een experiment kijken we vooral naar de uitslagen op groepsniveau, wat heeft deze groep gemiddeld gescoord en die groep? Wat al die individuen samen gescoord hebben.

> > > Het doel is een gelijke samenstelling van de experimentele en de controlegroep. De voorwaarde is dat de invloed van de onderzoeker weggenomen wordt.

Question 4

Groepen gelijk maken doe je door aselecte toewijzing, at random.
> Op welke verschillende manieren kun je ervoor zorgen dat de groepen gelijk zijn?

Answer 4

Verschillende manieren om ervoor te zorgen dat de groepen gelijk zijn:
1. Aselecte toewijzing aan condities (loting)= aselecte random proces, de onderzoeker zelf mag geen invloed hebben op de toewijzing van respondenten in steekproef.
Verwachting: samenstelling groep is dan gelijkwaardig. Gemiddeld zijn die kenmerken gelijk. Dus gewoon ‘dobelsteen: respondenten met een even getal naar controle groep en andersom met oneven getal’.
»> Maar het gevolg kan zijn dat alle vrouwen dan een even getal krijgen, de groepsverdeling is nooit gelijk aan elkaar dan op gebied ‘geslacht’. Dus is het dan beter om een paarsgewijze matching/precisiematching te doen:
2. Precisiematching: Paarsgewijze matching (met loting) (het toeval helpen= random toewijzing > gelijke groepen, maar altijd kans op vertekening: toevalsprocedure)=Je maakt paren en vanuit die paren deel je de ene respondent bij de experimentele en de andere respondent bij de controle groep. Op basis van een aantal kenmerken (eigenschappen) zoek je een identiek (hetzelfde) persoon uit (vooraf door onderzoeker bepaald). Een paar (2 vrouwen): dobbelsteen: ene vrouw heeft even en de ander oneven en dan de twee vrouwen ieder bij een andere groep indelen. Dus binnen paren aselect toewijzen, geen invloed van onderzoeker nog steeds aselect.
(Ongeveer hetzelfde als gestratificeerde steekproef) : representatieve verdeling op kenmerk. Bij survey selecteren we mensen en bij experiment wijzen we mensen toe per toeval aan een (experimentele of controle) groep).
»> Maar een paarsgewijze matching kent zijn grenzen. Want als je meer dan 1 variabele/kenmerk verwacht dat van invloed kan zijn op de afhankelijke variabele, bijv. ook opleiding erbij, dan is het lastig om precies 1 iemand te vinden met die 2 kenmerken ‘vrouw en hoge opleiding’ zodat je die 2 als paar kunt toewijzen. Dan moet je een hele grote groep respondenten hebben om meerdere mensen te vinden die gelijkwaardige kenmerken met elkaar hebben. Dus maken we gebruik van een gerandomiseerd blokontwerp.
3. Gerandomiseerd blokontwerp (Globale matching: groepsgewijs)= Tussenweg: blokken samenstellen, daaruit toewijzen. we willen kijken naar mensen met bepaalde kenmerken en die stoppen we bij elkaar. Omdat je nu met meerdere kenmerken tegelijkertijd rekening moet houden, geslacht, opleiding en leeftijd. Deel je de respondenten in subgroepen van leeftijd, geslacht en opleidingsniveau en uit die subgroepen/blokken binnen de groep respondenten wijs je ze toe aan de ene helft experimentele en de andere helft bij de controle groep. Dus kijk je naar jonge mannen met een lage opleiding en dan daarbinnen toewijzen bij EX of CO.
Zo zijn beide groepen vergelijkbaar voor de kenmerken die jij vooraf hebt bepaald, zoals geslacht, leeftijd en opleiding.

Question 5

1. Bespreek het manier van toewijzing bij homogeneralisering.
2. Waarom wil je at random (aselect) de individuen bij groepen toewijzen?

Answer 5

1. Homogenerisering & check achteraf: matching is moeilijk bij meerdere match-kenmerken.
   > Alternatief= homogeneralisering: alle respondenten uit homogene (vergelijkbare) groep. Ik ga niet mensen met hele verschillende kenmerken onderzoeken, ik ga mensen nemen die zoveel mogelijk op elkaar lijken, bijvoorbeeld ik kies alleen mannen ipv vrouwen, niet oud maar jong, niet laag maar hoogopgeleid. Dan heb je een groep die sterk vergelijkbaar met elkaar zijn bij EX en CO en dan van die grote homogene groep wijs je natuurlijk aselect deze jonge hoogopgeleide mannen in de EX of CO groep.
   > Nadeel: representativiteit (externe validiteit niet sterk, maar beperkt). Want nu heb je wel een experiment gedaan voor mannen die hoogopgeleid zijn, maar je kan dan niks zeggen over vrouwen of laagopgeleiden (populatievalditeit zwak).
   > Check: Vooraf en achteraf kenmerken/variabelen meten, en kijken zijn die kenmerken in die verschillende groepen gelijk aan elkaar, zowel voor EX en CO? Een frequentieverdelings-controle=groepssamenstelling check. Dus ook vaststellen of de kenmerken anders of veranderd zijn na stimulus.
2. Vergelijkbare groepen leidt tot een hogere (interne) validiteit. X leidt echt tot Y, en niet door iets anders. Hierdoor is de interne validiteit heel hoog. Want je meet letterlijk datgene wat je wilde meten. We willen andere verklaringen uitsluiten. We kunnen mensen niet manipuleren op hun kenmerken, zoals geslacht, maar je kan geslacht proberen te neutraliseren zodat de groepen ongeveer gelijk zijn aan elkaar. Door externe, alternatieve factoren of persoonlijke factoren uit te sluiten, stellen we de interne validiteit vast.

Question 6

1. Welke drie soorten experimenten heb je?

2. Welke soorten zuivere experimenten heb je?

Answer 6

1. a) Zuivere experimenten= (aselecte toewijzing van de individuele proefpersonen aan de condities). (WEL een Random toewijzing, is alleen mogelijk bij een zuiver experiment)
   b) Quasi experimenten= Geen aselecte toewijzing individuele proefpersonen aan condities.
   c) Pre-experimenten= Geen controle-mogelijkheid (er gebeurde iets en kijken wat er ging gebeuren).
2. Zuivere experimenten:
   - Voor-en nameting en controlegroep.
   - Alleen nameting en controlegroep
   - Viergroepen ontwerp van Solomon

Question 7

Leg de drie soorten zuivere experimenten 1 voor 1 uit.

Answer 7

Drie soorten zuivere experimenten:
A. Voor- en nameting en controlegroep= R= randomisatie, dus zuiver experiment. O2: gemiddelde waarde van de groep anders is dan de gemiddelde waarde van O1. Observatie 1 en observatie 3 moeten gelijk zijn aan elkaar. Anders kunnen verschillen in groepen een factor zijn in de resultaten. Dat de experimentele groep sowieso al wat ‘wilder’ is met drinken, en drinken ze meer. Terwijl controlegroep niet veel drinkt bij wijze van spreken. Vooraf verwacht je geen verschil, maar na de stimulus (X) verwacht je wel degelijk een verschil tussen de groepen. Dus O2 en O4 (en ook O2 en O1) zijn niet meer gelijk. Bij O3 en O4 verwacht je geen verschil, nog steeds gelijk aan elkaar. Als dit wel het geval is dan is er sprake van pre-test sensatisatie: Mensen worden beïnvloed door de test die ze vooraf hebben gemaakt, beïnvloed door de voormeting. Oplossing= de pretest/voormeting weglaten. Dan heb je alleen een nameting en controle groep bij B:

B. Alleen nameting en controlegroep= Mensen kunnen beinvloed worden door het feit dat ze in de voormeting zaten = pretest-sensabilitie, oplossing is pretest/voormeting weglaten. Nadeel: Je kunt niet gaan kijken of X ook echt tot Y leidt. Als je O1 weglaat, kun je dan niet meer zeggen dat de experimentele groep met de X hetzelfde is. Je wil namelijk kijken of mensen beinvloedt worden door de manipulatie en niet door de meting (pretest sensabilatie). Je weet dan niet dat O1 en O2 hetzelfde zijn. Omdat je geen voormeting hebt gedaan weet je niet of de groepen in het begin gelijk aan elkaar waren. Het kan namelijk ook zo zijn dat omdat de groep anders is, de resultaten anders zijn. Dus doe je C: viergroepen ontwerp van Solomon:

C. Viergroepen ontwerp van Solomon= Pretest is lastig, dus kan je deze ontwerp van solomon uitvoeren. Zo kun je EN uitsluiten dat mensen worden beinvloed door de meting. Je kunt O2 en O5 vergelijken > allebei experimentele ingreep en de ene wel pre-test en andere geen pre-test, dus dan is het verschil de pre-test (Interactie-effect). O4 en O6 vergelijken > verschil tussen groepen? Dan komt dat door de voormeting (pretest sensability). Nadeel: duurder, meer mensen, meer moeite.
»> Ecologische validiteit > in het echt heb je geen pre-test die kan manipuleren met de manipulatie. Interne validitiet > je wilt wel een pre-test doen want anders krijg je verkeerde conclusies (groepen niet zelfde, komt het door de groepen of manipulatie?).

Question 8

1. Leg Quasi experiment uit.

2. Leg pre-experiment uit.

Answer 8

1. QUASI experiment =
Geen R (random toewijzing, niet bepaald door ons, niet op individueel niveau), maar wel een controle conditie (wel een controlegroep) (de groepen zijn in principe vergelijkbaar). Je hebt een experimentele conditie en een controle conditie. We selecteren respondenten niet random toe, maar groepsgewijs toe. We hebben bestaande groepen en die kunnen we niet individueel samenstellen, dus we manipuleren de ene groep en de andere groep niet (controle groep). Bv. Werkgroepen toewijzing in de experimentele of controle groep, wg 1 wel manipulatie en wg 2 niet, niet op individueel niveau, wat je wel bij Random toewijzing hebt. Je doet een voormeting en vergelijkt de groepen of ze gemiddeld gezien gelijk zijn. En dan X. En dan doe je een nameting om te kijken of ze verandert zijn of niet.

*Stippellijn betekent dat de groepen niet te vergelijken zijn (met elkaar), bv. oneven geslachtsverdeling kan leiden tot confounds (alternatieve verklaringen).

2. PRE-experiment=
   Pre-experiment heeft geen random toewijzing & geen controle conditie. Je hebt geen voormeting en geen controle groep. Dus je hebt alleen maar een experimentele groep. Pre-experiment geschikt voor op landniveau kijken, om te kijken wat er gebeurt na de manipulatie.
   »>Verschil door experimentele ingreep of externe factor (niet op kamers gaan, kan komen door leenstelsel maar kan ook dat de generatie liever thuis wil wonen omdat het huis groter is of mensen willen niet ver reizen meer dus blijven ze dichtbij thuis studeren)? Geen R en geen controleconditie.
   »> Verschil door experimentele ingreep of al bestaand?

Question 9

Welke bedreigingen van de interne validiteit zijn er?

Is de interne en externe validiteit hoog of laag bij een experiment?

Answer 9

Bedreigingen van interne validiteit:

1. Tussentijdse extern voorval = je laat mensen een opdracht uitvoeren, er gebeurd iets, iemand valt flauw of het licht valt uit, dingen die je niet kunt controleren. En dat iemand flauw valt heeft dan invloed op Y. Iets anders kan Y beïnvloeden.
2. Rijping of groei = van nature verandering: ze reageren anders als ze ouder worden. Hoe langer jouw experiment duurt, andere antwoorden komen van oudere respondenten.
3. Testeffect = kan pretest sensabitlity, mensen voelen dat ze worden onderzocht, ze zullen dan anders reageren als er geen test voor was. Mensen zijn doorgaans geneigd om consistent antwoord te geven.
4. Instrumentatie = onbetrouwbare meetmethode veroorzaakt verschil in meting voor en na. Ik vraag op je gelukkig bent, in cijfer en later in nameting in smiley’s. je hebt twee verschillende meetmethodes gebruikt. Niet te vergelijken.
5. Selectie = samenstelling groepen niet gelijk: veroorzaakt in verschil y. Bijvoorbeeld: 75% vrouwen en maar 25% mannen > niet echt representatief.
6. Uitval = groep voor je manipulatie is niet te vergelijken met na de manipulatie, want mensen doen niet meer met je experiment mee.
7. Verspreiding van ingreep (interactie tussen groepen)= controlegroep vormt geen controle meer. Informatie-uitwisseling van groepen. Twee groepen spreken met elkaar. De tweede groep hoort wat de eerste groep moest doen. En dan wordt de tweede groep beinvloed en gaat anders reageren.

> > >

• Interne validiteit: uitsluiten van alternatieve verklaringen (sterk bij experiment), maar externe validiteit niet echt goed (je controleert de situatie, gevoelig voor situatie van respondenten). Hoge interne validiteit in het lab: in gecontroleerde omgeving. Maar in veldexperimenten is de interne validiteit wel lager, omdat er in de praktijk, in een natuurlijke omgeving allemaal storende factoren aanwezig kunnen zijn die van invloed kunnen zijn voor de afhankelijke variabele (Y).

• Externe validiteit:
  Kleine groep respondenten. Als je verwacht dat wat je aan het onderzoeken bent voor meerdere mensen geldt, kan je die claim wel maken. Populatievaliditeit: zijn alle respondenten in jouw steekproef/groep die representatief zijn voor de populatie? Ecologische validiteit: mensen reageren anders door in de situatie die jij hebt gemanipuleerd. Een experiment kan aantonen dat iets werkt in een gecontroleerde situatie, maar daarmee kan niet met zekerheid gezegd of het ook in de praktijk werkt.