H13 Flashcards
(13 cards)
Programma
Verzameling procedures ingesteld door organisatie zijn ingevoerd om diensten aan haar leden (bijv. patiënten, klanten, cliënten) te verlenen of te verbeteren
Programma evaluatie
Bepalen van effectiviteit en waarde
Accountability (verantwoording)
Algemeen belang om te weten of middelen verstandig worden geïnvesteerd en of programma’s werken, door beschikbare informatie (gegevens) als documentatie te gebruiken.
Elementen Evaluatie onderzoek: (4)
1) Nemen van ‘gegevensgestuurde beslissingen’
2) Erkennen en vieren van programma’s die werken
3) verbeteren programma’s die niet goed werken
4) Elimineren van programma’s die niet genoeg kunnen worden verbeterd om ze effectief te maken
Evaluatie onderzoek:
- Vorm van applied research, gericht op specifiek programma/beleid
○ Verschilt van fundamenteel/basic onderzoek in de mate waarin het rechtstreeks van invloed kan en wil zijn op het leven van mensen - Doel: Beschrijving en evaluatie van een bestaand sociaal beleid of programma
- Heel breed (klein, groot, profit, non-profit)
○ Kunnen experimenteel, quasi-experimenteel of niet-experimenteel zijn
○ Omvatten kwalitatieve (bijv. interviews) als kwantitatieve (bijv. metingen) methoden - Ook wel programmaevaluatie genoemd
○ Wordt niet als onderzoek beschouwd
○ Nadruk niet ligt op het zoeken naar generaliseerbare gedragswetten, maar op hoe goed programma werkt en wat er kan worden gedaan om de effectiviteit te verbeteren
○ Institutional Research Review Boards hoeft niet altijd goedkeuring te geven, behalve bij publicatie - Wordt veel gebruikt
- Evaluatie:
1) Bepalen of vaststellen van de waarde
2) Bepalen van de betekenis, waarde of conditie
Politieke zorgen evaluatie onderzoek: (4)
1 Kortere tijdspanne dan basisonderzoek
- Complexe problemen kunnen niet onmiddellijk opgelost worden
- Beslissingen op basis van aantoonbare, directe resultaten
- Druk snelle resultaten
- Lastig bij tegenstrijdige resultaten: keuze moeten maken
- Niet kunnen wachten op langdurige resultaten
2 Belang en concurrerende criteria
- Niet alleen belang van wetenschap
- Evaluatie kan gevolgen hebben voor sommige mensen
§ Voor sommige voordelig, sommige nadelig
§ Keuze moeten maken tussen mensen
- Verschillende perspectieven geven verschillende resultaten
3 Ideologische gevolgen
- Gemak van verkrijgen gegevens, is niet altijd de beste
- Problemen hoeven niet opgelost te worden. Oorzaak neem je niet weg
- Last van inbraak. Oplossing: betere sloten. Dit lost het daadwerkelijke probleem niet op
4 Deelname klanten en andere belanghebbende
- Iedereen vindt andere resultaten relevant
Criterium voor programma-evaluatie voor cliënttevredenheid
1) Cliënten hebben meer informatie en groter belang dan buitenstaanders
2) Cliënten die een keuze maken, zijn meer tevreden
3) De keuze is een geïnformeerde keuze
Stappen in evaluatieonderzoek (4)
1) Constructen identificeren en operationaliseren
* Identificeren belangrijkste problemen, de belangrijkste elementen en de verwachte resultaten
* Wat is het programma? Wie zijn de stakeholders? Wat zijn relevante uitkomsten?
* Stakeholders spelen een rol, is anders dan bij gewoon onderzoek
2) Planning evaluatiedesign
* Plannen en implementeren van evaluatie design met positieve en negatieve punten
* Welke metingen, wanneer en hoe?
* Succes (summatief) of proces (formatief)
3) Verzamelen en analyseren gegevens
* Kwalitatief/kwantitatief
4) Evaluatie en conclusie
* Met bevindingen identificeren wat goed gaat en waar verandering nodig kan zijn
Begrijpelijke manier, ook niet-onderzoekers
Evaluatie onderzoek Vergelijkingen ander onderzoek, overeenkomsten (2), verschillen (4)
Overeenkomsten:
- Gebruik constructen, operationalisaties
- Verzameling en analyse van data (empirisch)
Verschillen
- Nadruk op probleem, applied-resear
- Gebrek aan controle
- Niet ideale vergelijkingsgroep
- Samenwerking met veld
–> Verassingen
Categorieën evaluatieonderzoek: (2)
1) Summatief (uitkomstevaluatie)
* Gebruikt om te beslissen of programma’s moeten worden voortgezet, stopgezet of gewijzigd
* Kwantitatief onderzoek
§ Gebruik van experimentele, quasi-experimentele en surveyonderzoeksontwerpen
§ Gebruiken statistische analyse van kwantitatieve gegevens
* Einde van het programma om succes te meten
2) Formatief (procesevaluatie)
* Beheerders helpen hun programma’s te ontwikkelen, te verfijnen en te verbeteren (feedback)
* Definiëren het programma en beschrijven hoe het werkt
* Formatief, omdat het in het begin plaats vindt en dan nog verbeterd kan worden
* Kwalitatief onderzoek
§ Casuïstiek en observatie- of interviewgegevens in plaats van statistieken om een punt te maken
§ Technieken gebruikt die lijken op observatiemethoden
Stadia van uitvoeren evaluatie (6)
1) Maak conceptueel/logisch model
* Identificeert de verschillende programma-elementen en toont de verwachte onderlinge verbanden
* Ander conceptueel model, dan bij hoorcollege 2
2) Ontwikkelen evaluatievragen en bepalen meetbare resultaten
* Stakeholders soms lastig te identificeren
* Mensen die programma niet gebruiken, maar wel zouden moeten
3) Ontwikkelen evaluatieontwerp
* Overwegingen
a) Kwantitatief, kwalitatief of mixed method
b) Onderzoeksdesign
c) Meetinstrumenten
d) Steekproefkader en hoe deze getrokken wordt
* Mixed method verzamelen van zowel kwantitatieve als kwalitatieve gegevens
4) Dataverzameling
* Onopvallend verzamelen
* Reguliere activiteiten minimaal verstoren
5) Data-analyse
6) Verschaffen van informatie
* Rapport maken
* Onderzoek beschreven met samenvatting hiervan
Onderdelen logisch/conceptueel model (evaluatieonderzoek) (4)
a) Project inputs (geld en middelen)
b) Activities (basis van manipulaties)
c) Outputs (beschrijving activiteiten)
d) Short/long-term outcomes
Ontwikkelen evaluatievragen en bepalen meetbare resultaten (evaluatieonderzoek) - Stappen (4)
a) Identificeren stakeholders (belanghebbende) en publiek
b) Formuleren en selecteren relevante vragen
c) Definiëren uitkomsten in meetbare termen
d) Vaststellen hoe impact wordt bepaald (size effect)
Weinig kennis bij studenten over evaluatieonderzoek omdat: (5)
- Universiteiten richten zich meer op basis van disciplines en afdelingen in plaats van problemen
- Toegepast werk minder voorspelbaar in termen van tijd en resultaten, hierdoor onaantrekkelijk voor studenten
- Bevindingen zijn meer praktisch dan conceptueel belang, waardoor ze moeilijker te publiceren zijn
- Kiezen eerder andere instrumenten
- Theorie vaak ondergeschikt en dit sluit niet aan bij afstudeeropdrachten
