HC7 Flashcards

(69 cards)

1
Q

Welke typen evaluatieonderzoek zijn er en wat houdt het in?

A
  • Vooraf: ex ante –> op basis van beleidsstukken bepalen of interventie in potentie effectief kan zijn. Wat weten we uit de literatuur? Voor welke personen is deze interventie effectief?
  • Proces: Er wordt gekeken terwijl de interventie al gaande is of de interventie ook goed wordt uitgevoerd
  • Effect: ex post, impact: Is het effectief? Heeft het gevolgen die we ook beogen?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Waarom moeten we evalueren?

A
  • Potentiële effectiviteit
  • Verwerven van nieuwe kennis
  • Verbeteringen aanbrengen
  • Verantwoording afleggen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Wat zijn de stappen bij evaluatieonderzoek?

A
  1. Wat is het probleem?
  2. Wat is de interventie?
  3. Wat is het beoogde effect?
  4. Wordt dit effect bereikt (kwantitatief)?
  5. Hoe komt dit (kwalitatief)?
  6. Zijn er rivaliserende verklaringen?
  7. Zijn er neveneffecten?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wat zijn de 4 basisvragen van evaluatieonderzoek?

A
  1. Wat is het doel van de interventie?
  2. Is het doel van de interventie bereikt?
  3. Is de interventie de oorzaak van het effect?
  4. Zijn er neveneffecten?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Wat is de hamvraag van de evaluatie in de praktijk?

A

Is de verandering in gedrag toe te schrijven aan de interventie?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Wat is de onderzoeksdesign van kwantitatief en wat van kwalitatief onderzoek?

A
  • Kwantitatief: Experimenteel onderzoek
  • Kwalitatief: Realist evaluation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Waar beoogt interne validiteit op?

A

Er zijn geen rivaliserende variabelen die het beoogde effect kunnen beïnvloeden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Experimenten zijn onder te verdelen in 3 soorten. Welke?

A
  • Zuiver experiment
  • Quasi-experiment
  • Pre-experiment
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Bij welke experimenten heb je de meeste controle als onderzoeker en wat zegt dit over de causaliteit?

A

Bij zuivere experimenten heb je de meeste controle als onderzoeker. Daardoor kun je ook de beste uitspraken doen over causaliteit. Bij pre-experimenten heb je het minste controle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wat is een pre-experiment?

A

Een experiment is een pre-experiment als er geen enkele of slechts één vergelijkingsbasis is voor het gedrag na toediening van de experimentele stimulus bij een experimentele groep, OF een voormeting OF een controle groep. Bovendien wordt er geen gebruik gemaakt van randomisatie. Er is geen mogelijkheid om causale conclusies te trekken

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Er zijn twee soorten pre-experiment. Welke? En hoe ziet dit er schematisch uit?

A
  • Eén groep, voor- en nameting
    Tijdstip t1 t2
    Groep 1 O1 X O1
  • Vergelijking van twee groepen, alleen een nameting
    Bij beide kan je niks over oorzaak-gevolg relaties zeggen
    Tijdstip t1 t2
    Groep 1 X O1 Experimentele groep
    Groep 2 O2 Controle groep
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Wat is een quasi-experiment?

A

Je streeft naar vergelijkbaarheid in achtergrondkenmerken bij bestaande groepen, maar het is niet mogelijk om onderzoekseenheden aselect toe te wijzen aan de experimentele en controlegroep. Er is een voor- en nameting met beide groepen. Groep 1 en 2 zijn niet zomaar verwisselbaar, want er is geen randomisatie toegepast. Dit wordt veel gebruikt bij medicijnen testen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Hoe ziet een quasi-experiment er schematisch uit?

A

Tijdstip t1 t2
Groep 1 O1 X O1 Experimentele groep
Groep 2 O2 O2 Controle groep

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Wat is een zuiver experiment?

A

Er is naast een experimentele groep minstens één controlegroep bij het onderzoek betrokken. Daarbij moeten de proefpersonen op basis van toeval worden toegewezen aan de experimentele groep, dan wel de controlegroep, dus wel aselect.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Er zijn drie soorten zuiver experiment. Welke?

A
  • Achteraf meting met controle groep
  • Voor- en nameting met controlegroep
  • Solomon vier-groepen ontwerp
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Hoe ziet een zuiver experiment met achteraf een meting met controlegroep eruit?

A

Tijdstip t1 t2
Groep 1 R X O1 Experimentele groep
Groep 2 R O2 Controle groep
R = randomiseren

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Wat is het voordeel en het nadeel van achteraf meting met controle groep?

A

Voordeel geen voormeting: voormeting kan geen effect hebben.
Nadeel geen voormeting: we kunnen niet controleren of random toewijzing afdoende is geweest. Scores kunnen bij begin van onderzoek hoog of laag zijn geweest.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Hoe ziet voor- en nameting met controlegroep (klassiek experiment) er schematisch uit?

A

Tijdstip t1 t2
Groep 1 R O1 X O2 Experimentele groep
Groep 2 R O3 O4 Controle groep

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Wat is het voor- en nadeel van voor- en nameting met controlegroep?

A

Voordeel: als er ondanks randomisatie verschillen zijn op voormeting, kun je dat controleren; voormeting levert meer informatie op. Minder proefpersonen toetsen.
Nadeel: Voormeting kan een sterk storend effect hebben

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Hoe ziet een Solomon vier-groepen experiment er schematisch uit?

A

Tijdstip t1 t2
Groep 1 R O1 X O2 Experimentele groep
Groep 2 R O3 O4 Controle groep
Groep 3 R X O5 Experimentele groep
Groep 4 R O6 Controle groep

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Wat zijn de voor- en nadelen van de Solomon vier-groepen ontwerp?

A

Voordeel: Zowel effect van experimentele ingreep, als effect van voormeting meten
Nadeel: Meer tijd en geld nodig

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Wat is het doel van experimenten?

A

Zo veel mogelijk de storende factoren (factoren die een schijnbaar causaal verband tussen twee variabelen veroorzaken) uitschakelen –> alleen dan causale uitspraken mogelijk en dit hangt samen met de interne validiteit

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

De Maryland Scientific Methods Scale (MSMS) heeft 5 niveaus. Welke en welke niveaus worden acceptabel geacht?

A
  1. Experimentele en controlegroep, alleen nameting (pre-experimenteel design)
  2. Alleen experimentele groep, voor- en nameting, zonder controlegroep (pre-experimenteel design)
  3. Experimentele en controlegroep, voor- en nameting (quasi-experimenteel design)
  4. Experimentele en controlegroep, voor- en nameting, gecontroleerd voor andere variabelen (quasi-experimenteel design)
  5. Experimentele en controlegroep, voor- en nameting, waarbij groepen at random in één van de twee groepen worden ingedeeld (experimenteel design)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Wat zijn de voordelen van MSMS?

A
  • Alleen genoegen nemen met ‘hard evidence’
  • Overzicht creëren: wat weten we nu concreet over effectiviteit?
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
wat zijn de nadelen van MSMS?
- Externe validiteit: Mate waarin iets te generaliseren is, is nogal beperkt - Interventie als black box - Waarom werkt het wel of niet?: Beperkt toezicht op hoe het komt, dat wordt in dit type onderzoek niet getoetst
26
Wat houdt realist evaluation in?
We gaan terug naar de beleidstheorie. Het gaat er niet om of het werkt, maar onder welke condities werkt het? Er is aandacht voor mechanismen --> CMO-model
27
Wat is het CMO-model?
- Context - Mechanism - Outcome - Hoe en waarom een interventie werkt in een specifieke context - Doel: blackbox van interventie ontrafelen
28
Wat is de black box van sociale interventies?
- Vaak onvoldoende inzicht in de precieze mechanismen die interventie in werking zetten - Mechanismen zijn niet universeel, maar contextgebonden - Mechanismen kunnen elkaar ook tegenwerken --> voor- en nadelen - Combinatie van kwalitatief en kwantitatief onderzoek
29
Een voorbeeld van die black box is CCTV. Wat is het effect van beveiligingscamera's op winkeldiefstal?
Dit kan verschillende effecten hebben: - De camera's zijn duidelijk zichtbaar en dit zorgt ervoor dat dieven niet daar gaan stelen - CCTV geeft werknemers meer zelfvertrouwen om mensen die ze zien stelen aan te spreken en tegen te houden - CCTV zorgt ervoor dat de werknemers minder goed opletten, omdat er camera's zijn, waardoor er juist meer wordt gestolen
30
Wat zijn de voordelen van realist evaluation?
- Het helpt te begrijpen waarom effecten zich voordoen - Het kan omgaan met veranderingen in de interventies
31
Wat zijn de nadelen van realist evaluation?
- Uitvoering dataverzameling vereist - Resultaten worden minder gewaardeerd in termen van wetenschappelijkheid --> omdat het niet als 'hard evidence' wordt gezien Want beleidsmakers willen vaak alleen weten of iets werkt, niet hoe en wanneer
32
Wat is kwalitatief onderzoek?
In kwalitatief onderzoek richt de vraagstelling zich op onderwerpen die te maken hebben met de wijze waarop mensen betekenis geven aan hun sociale omgeving en hoe ze zich op basis daarvan gedragen. Er worden onderzoeksmethoden gebruikt die het mogelijk maken om het onderwerp vanuit het perspectief van de onderzochte te leren kennen met het doel om te beschrijven en waar mogelijk te verklaren.
33
Wat is het paradigma, waarheidsidee, rol theorie-empirie, kennisideaal, data, rol theorie en selectie van data van kwantitatief onderzoek?
Paradigma: Positivisme Waarheidsidee: Objectief Rol theorie-empirie: Deductief Kennisideaal: Objectieve outsider Data: Cijfers Rol theorie: Theorietoetsend Selectie data: Random steekproef
34
Wat is het paradigma, waarheidsidee, rol theorie-empirie, kennisideaal, data, rol theorie en selectie van data van kwalitatief onderzoek?
Paradigma: Constructivisme Waarheidsidee: Subjectief, betekenisgeving Rol theorie-empirie: Inductief Kennisideaal: Subjectieve insider Data: Tekst Rol theorie: Theorievormend Selectie data: Theoretische selectie
35
Theorievorming staat centraal in kwalitatief onderzoek. Hoe is dat gebeurt?
In de jaren '60 werd de deductieve benadering dominant (hypothese toetsen). Er kwam toen een ontwikkeling van 'grounded theory': een theorie die is gemaakt als kritiek op eeuwige verificatie. Het kwalitatieve uitgangspunt is dat een theorie op inductieve wijze rijst uit de data --> we testen de data en we kijken daarna wat de theorie daarvoor kan zijn
36
Kritiek op de grounded theory leidde tot verschillende vormen van grounded theory. Dit heeft een voordeel en een nadeel. Welke?
- Voordeel: Constante vergelijking is een belangrijk element --> terwijl je bezig bent met data verzamelen ga je kijken of je al patronen kan zien en die ga je tijdens het onderzoek formuleren, maar het wordt telkens aangepast, omdat je nog bezig bent met de data verzamelen - Nadeel: Tegenwoordig speelt theorie ook voor het onderzoek een rol in het relevant maken van de vraagstelling/empirisch onderzoek --> anders willen mensen hun geld er niet aan verspillen
37
Dan is de vraag, waarom geen zuivere inductie benadering? En wat is de oplossing?
Zuiver inductieve benadering is vaak niet mogelijk en niet wenselijk. De oplossing is dan een combinatie van deductie en inductie
38
Inbedding van de vraagstelling in theorie/academisch debat voor het onderzoek is cruciaal, want:
- Het onderbouwt de wetenschappelijke relevantie - Het bakent de open onderzoeksvraag (enigszins) af
39
Wat zijn de eisen van de wetenschappelijke relevantie?
- Onderwerp: het is interessant - Kenniscumulatie: dat weten wij nog niet - Maatschappelijke relevantie: het is een maatschappelijk probleem
40
Bij het formuleren van een theoretisch relevante onderzoeksvraag zijn er 4 posities t.o.v. bestaande literatuur. Welke?
1. Theoretische vernieuwing 2. Theoretische elaboratie en verdieping 3. Problematisering en bekritisering van de theorie 4. Contextualisering van de theorie
41
Wat houdt theoretische vernieuwing in?
Veranderende samenleving - nieuwe sociale verschijnselen, zoals cybercrime en zware georganiseerde criminaliteit
42
Wat houdt theoretische elaboratie en verdieping in?
Een bestaande theorie gebruiken als theoretische context voor empirische gevalsstudie, bv. het begrijpen van de opkomst van jihadisme vanuit de strain theorie (Merton)
43
Wat houdt problematisering en bekritisering van de theorie in?
- Aanval openen op (het liefst invloedrijke) theorie - Strategische case studies, bv. rationele keuze theorie - Falsificatie
44
Wat houdt contextualisering in?
Contextualisering: welke theorie is wanneer, waar en onder welke omstandigheden op wie van toepassing
45
Waarom moet er bij een theorie selectie en afbakening zijn?
Theorie geeft richting aan het onderzoek aan de hand van attenderende begrippen --> Theorie fungeert als zoeklicht; gespreksthema's voor interview; aandachtspunten voor inhoudsanalyse
46
Op welke manieren kan er een steekproef gedaan worden bij kwantitatief onderzoek?
- Probability sampling: Iedere participant heeft een gelijke kans om in een steekproef te komen, steekproef is representatief voor de populatie - Systematiek - Representativiteit --> vijf soorten - Aselect, systematisch, gestratificeerd, cluster, getrapt
47
Wat zijn de soorten steekproef die gedaan kan worden bij kwalitatief onderzoek
- Non-probability sampling --> theoretische selectie - Soorten: quota, sneeuwbal, gemak - Saturatie bepaalt de omvang --> Als er niets nieuws meer uit het onderzoek komt, dan ben je klaar: saturatie
48
Wat zijn de uitgangspunten van de methodiek over de steekproeven?
- Allen zijn geldig - Welke methode geschikt is, hangt af van de probleemstelling/doelstelling van het onderzoek - Elke methode kent mogelijkheden en beperkingen - Waar mogelijk, moet er gestreefd worden naar triangulatie --> meerdere methoden inzetten om je onderzoeksvraag te verklaren
49
Wat is een case study?
Een gedetailleerde, intensieve studie van een afgebakende onderzoekseenheid (individu, organisatie, netwerk, zaak etc.) zoals die zich in de sociale werkelijkheid manifesteert
50
Wat zijn de kenmerken van een case study?
- Meerdere waarnemingstechnieken en databronnen --> mixed-methods onderzoek, triangulatie - Enkelvoudig (n+1) of meervoudig - Diepgaande, intensieve studie uitgestrekt over tijd - Vaak inductief, minder deductief - 1. Verkennend, 2. Beschrijvend (theorievormend), 3. Verklarend of 4. Theorie toetsend (falsificatie) - Veel belang gehecht aan sociale interacties en betekenisgeving aan deze interacties
51
Wanneer wordt er een case study gedaan?
- Bij niet geregistreerde populaties, zoals prostitutie, drugsgebruikers of drugshandelaren - Bij moeilijk bereikbare groepen, zoals: - Extreme vormen van deviantie (bv. terrorisme, genocide, hooliganisme) - Onderzoek naar sociale instituties zoals gevangenissen of politiekorpsen - Witteboordencriminaliteit
52
Wat is het algemene doel van case studies?
Een casus zeer gedetailleerd uitdiepen om o.a. de mechanismen te achterhalen
53
Wat zijn de succespunten van de criminologische gevalsstudie?
- Zeer multidisciplinair - Door dark number is triangulatie nodig - Vaak de beste optie door ethische en praktische problemen - Interesse in extreme gevallen
54
Wat zijn de dilemma's van gevalsstudies?
- Afbakening: wat is de onderzoekseenheid --> vragenalgoritme: wie, wat, waar, wanneer? - Theoretische selectie: vertekening van de case (geen kritische selectie), vergelijkbaarheid van cases is beperkt, interne validiteit vs externe validiteit - Problemen met rapportage vanwege hoeveelheid informatie
55
Wat houdt etnografie in?
Een methodologische benadering van groepen beschrijven
56
Wat zijn de kenmerken van etnografie?
- Natuurlijke setting - Doel: begrijpen - Thick description - Flexibiliteit - Exploratie/holisme/context - Theorievorming
57
Wat houdt participerende observatie in?
Participerende observatie is het proces waarin een onderzoeker een veelzijdige en relatief lange relatie met een gemeenschap tot stand brengt en onderhoudt in een natuurlijke setting met het doel wetenschappelijke kennis over die gemeenschap te ontwikkelen
58
Wat zijn de kenmerken van participerende observatie?
- Langere tijdsperiode, zeer tijdsintensief - Dagelijks leven - Obtrusive of unobtrusive - In combinatie met andere methoden - Wetenschappelijke kennis - theoretische aanleiding - Subjectieve betekenisgeving centraal: dus hoe kunnen we gedrag vanuit die groep begrijpen (verstehen) - Verkrijgen van gedetailleerde informatie (thick description)
59
Wanneer kies je voor participerende observatie?
- Als er weinig kennis is over het onderwerp - Deviante en verborgen groepen - Discrepantie kennis - Gedetailleerde informatie
60
Wat zijn de onderzoeksmogelijkheden van participerende observatie?
- Hooligans - Sektes - Drugscircuit - Daklozen - Politie - OM
61
Wat is er belangrijk bij participerend onderzoek?
- Vertrouwen --> je moet een goede introductie geven van wat je gaat doen, uitleggen wat je gaat doen, zelfpresentatie en langzaam starten --> zorg dat je een vertrouwensband opbouwt - Gatekeepers --> goede vertrouwensband krijgen met iemand uit de groep die je meeneemt in de groep
62
Er is een schaal van de rollen in participerende observatie: van totale participant tot totale observant. Je wil niet de twee uiterste hebben. Er tussenin zit observerende participant en participerende observant. Leg uit wat beide inhoudt.
- Observerende participant: Je wordt geaccepteerd in bepaalde sociale groepen. Je loopt er al wat langer rond - Participerende observant: Dit is meer aan het begin van je onderzoek. Dit is te vergelijken met een meeloopdag op school
63
Wat doe je allemaal tijdens het verblijf/onderzoek?
- Observeren - Participatie garanderen - Informatie inwinnen - Dataregistratie - Ordenen data - Analyseren van data - Raadplegen van externe bronnen
64
Hoe gaat het observeren in zijn werk?
- Observatie van plaats, actoren, activiteiten etc. Je hebt gestructureerde observatie: Hier ga ik op letten, voorafgaand al maken. Je hebt ook ongestructureerde observatie: Ik kijk wel wat ik zie, ik ga er moet een open blik in. Dit is wel moeilijker, want het is dan wel veel. Welke informatie moet je dan gebruiken? Beste is een tussenweg hierin - Volgorde: Beschrijvend (kijken wat er allemaal gebeurt) --> gefocust --> selectief - Niet slechts een simpele observatie, maar ook interpretatie --> wat zegt dit nou eigenlijk, wat betekent dit voor de onderzoeksvraag die ik wil beantwoorden --> gaat van thin naar thick description
65
Wat wordt er in de fieldnotes geschreven?
- Dagelijkse notities (kleine gesprekjes, gevoelens, emoties) - Zeer gedetailleerd beeld - Eerste interpretaties
66
Wat zijn de afwegingen voor participerende observatie? en leg uit
- Mate van participatie --> er kunnen nog wel eens criminele dingen gebeuren, je moet dan zelf bedenken wat je daarmee wilt doen - Over of covert: wel of niet kenbaar maken dat je onderzoek doet, kernregel is dat je altijd kenbaar maakt dat je onderzoek doet. Het is voor je eigen veiligheid en voor ethische redenen - Over-rapport/gevaar van 'going native': Je wordt te veel een onderdeel van de groep. Je kan dan niet meer objectief dingen beschrijven. Je kan vrienden krijgen - Verlaten van het veld: Op een gegeven moment moet je weggaan. Dat kan best ingewikkeld zijn en dat kan afhankelijk zijn van de mate van participatie
67
Wat zijn de ethische aspecten?
- Afstand tot de onderzoeksgroep - Gevaarlijke informatie: Dat je dingen ziet die illegaal zijn, daar wil je niets van weten, want dan moet je er iets mee. Daarom is het altijd handig om te zeggen dat je onderzoeker bent, omdat je dan kan zeggen dat je daar niets over wilt weten - Veiligheid: als onderzoeker en voor de samenleving
68
Er zijn veel nieuwe online methoden. Welke?
- Online survey, e-interviews, focusgroepen - Online dagboek voor respondenten - Locatie tracking voor deelnemers aan een onderzoek - Sociale media - Virtuele etnografie: bv. observatie internetfora, online communities - Dark web
69
Wat zijn aspecten van virtuele etnografie?
- Anonimiteit: eerlijker online? Je kan meer informatie verzamelen dan dat je wellicht offline krijgt - Vertrouwen opbouwen is lastig: je weet niet wie iemand is. Zij weten niet wie jij bent, maar je weet ook niet of ze eerlijk zijn - Openlijke rol als onderzoeker is moeilijker - On-/Offline identiteit: mensen doen zich anders voor online dan offline, ik weet niet of de persoon die dit online zegt, het ook offline doet