HC7 Flashcards
(69 cards)
Welke typen evaluatieonderzoek zijn er en wat houdt het in?
- Vooraf: ex ante –> op basis van beleidsstukken bepalen of interventie in potentie effectief kan zijn. Wat weten we uit de literatuur? Voor welke personen is deze interventie effectief?
- Proces: Er wordt gekeken terwijl de interventie al gaande is of de interventie ook goed wordt uitgevoerd
- Effect: ex post, impact: Is het effectief? Heeft het gevolgen die we ook beogen?
Waarom moeten we evalueren?
- Potentiële effectiviteit
- Verwerven van nieuwe kennis
- Verbeteringen aanbrengen
- Verantwoording afleggen
Wat zijn de stappen bij evaluatieonderzoek?
- Wat is het probleem?
- Wat is de interventie?
- Wat is het beoogde effect?
- Wordt dit effect bereikt (kwantitatief)?
- Hoe komt dit (kwalitatief)?
- Zijn er rivaliserende verklaringen?
- Zijn er neveneffecten?
Wat zijn de 4 basisvragen van evaluatieonderzoek?
- Wat is het doel van de interventie?
- Is het doel van de interventie bereikt?
- Is de interventie de oorzaak van het effect?
- Zijn er neveneffecten?
Wat is de hamvraag van de evaluatie in de praktijk?
Is de verandering in gedrag toe te schrijven aan de interventie?
Wat is de onderzoeksdesign van kwantitatief en wat van kwalitatief onderzoek?
- Kwantitatief: Experimenteel onderzoek
- Kwalitatief: Realist evaluation
Waar beoogt interne validiteit op?
Er zijn geen rivaliserende variabelen die het beoogde effect kunnen beïnvloeden
Experimenten zijn onder te verdelen in 3 soorten. Welke?
- Zuiver experiment
- Quasi-experiment
- Pre-experiment
Bij welke experimenten heb je de meeste controle als onderzoeker en wat zegt dit over de causaliteit?
Bij zuivere experimenten heb je de meeste controle als onderzoeker. Daardoor kun je ook de beste uitspraken doen over causaliteit. Bij pre-experimenten heb je het minste controle
Wat is een pre-experiment?
Een experiment is een pre-experiment als er geen enkele of slechts één vergelijkingsbasis is voor het gedrag na toediening van de experimentele stimulus bij een experimentele groep, OF een voormeting OF een controle groep. Bovendien wordt er geen gebruik gemaakt van randomisatie. Er is geen mogelijkheid om causale conclusies te trekken
Er zijn twee soorten pre-experiment. Welke? En hoe ziet dit er schematisch uit?
- Eén groep, voor- en nameting
Tijdstip t1 t2
Groep 1 O1 X O1 - Vergelijking van twee groepen, alleen een nameting
Bij beide kan je niks over oorzaak-gevolg relaties zeggen
Tijdstip t1 t2
Groep 1 X O1 Experimentele groep
Groep 2 O2 Controle groep
Wat is een quasi-experiment?
Je streeft naar vergelijkbaarheid in achtergrondkenmerken bij bestaande groepen, maar het is niet mogelijk om onderzoekseenheden aselect toe te wijzen aan de experimentele en controlegroep. Er is een voor- en nameting met beide groepen. Groep 1 en 2 zijn niet zomaar verwisselbaar, want er is geen randomisatie toegepast. Dit wordt veel gebruikt bij medicijnen testen.
Hoe ziet een quasi-experiment er schematisch uit?
Tijdstip t1 t2
Groep 1 O1 X O1 Experimentele groep
Groep 2 O2 O2 Controle groep
Wat is een zuiver experiment?
Er is naast een experimentele groep minstens één controlegroep bij het onderzoek betrokken. Daarbij moeten de proefpersonen op basis van toeval worden toegewezen aan de experimentele groep, dan wel de controlegroep, dus wel aselect.
Er zijn drie soorten zuiver experiment. Welke?
- Achteraf meting met controle groep
- Voor- en nameting met controlegroep
- Solomon vier-groepen ontwerp
Hoe ziet een zuiver experiment met achteraf een meting met controlegroep eruit?
Tijdstip t1 t2
Groep 1 R X O1 Experimentele groep
Groep 2 R O2 Controle groep
R = randomiseren
Wat is het voordeel en het nadeel van achteraf meting met controle groep?
Voordeel geen voormeting: voormeting kan geen effect hebben.
Nadeel geen voormeting: we kunnen niet controleren of random toewijzing afdoende is geweest. Scores kunnen bij begin van onderzoek hoog of laag zijn geweest.
Hoe ziet voor- en nameting met controlegroep (klassiek experiment) er schematisch uit?
Tijdstip t1 t2
Groep 1 R O1 X O2 Experimentele groep
Groep 2 R O3 O4 Controle groep
Wat is het voor- en nadeel van voor- en nameting met controlegroep?
Voordeel: als er ondanks randomisatie verschillen zijn op voormeting, kun je dat controleren; voormeting levert meer informatie op. Minder proefpersonen toetsen.
Nadeel: Voormeting kan een sterk storend effect hebben
Hoe ziet een Solomon vier-groepen experiment er schematisch uit?
Tijdstip t1 t2
Groep 1 R O1 X O2 Experimentele groep
Groep 2 R O3 O4 Controle groep
Groep 3 R X O5 Experimentele groep
Groep 4 R O6 Controle groep
Wat zijn de voor- en nadelen van de Solomon vier-groepen ontwerp?
Voordeel: Zowel effect van experimentele ingreep, als effect van voormeting meten
Nadeel: Meer tijd en geld nodig
Wat is het doel van experimenten?
Zo veel mogelijk de storende factoren (factoren die een schijnbaar causaal verband tussen twee variabelen veroorzaken) uitschakelen –> alleen dan causale uitspraken mogelijk en dit hangt samen met de interne validiteit
De Maryland Scientific Methods Scale (MSMS) heeft 5 niveaus. Welke en welke niveaus worden acceptabel geacht?
- Experimentele en controlegroep, alleen nameting (pre-experimenteel design)
- Alleen experimentele groep, voor- en nameting, zonder controlegroep (pre-experimenteel design)
- Experimentele en controlegroep, voor- en nameting (quasi-experimenteel design)
- Experimentele en controlegroep, voor- en nameting, gecontroleerd voor andere variabelen (quasi-experimenteel design)
- Experimentele en controlegroep, voor- en nameting, waarbij groepen at random in één van de twee groepen worden ingedeeld (experimenteel design)
Wat zijn de voordelen van MSMS?
- Alleen genoegen nemen met ‘hard evidence’
- Overzicht creëren: wat weten we nu concreet over effectiviteit?