Evaluationsforschung Flashcards
1
Q
Was ist eine gute Eva?
A
- schlechte Fragestellung = schlechte Eva
- Fragestellung muss präzise sein
- Evabedarf muss bestehen
- allg. Gütekriterien beachten
- Evastandards einbeziehen
2
Q
Allg. Gütekriterien nach Jäger
A
- Komplexität d Evagegenstandes
- Gültigkeitsbereich d Fragestellung
- Objektivierbarkeit (Dokumentierbarkeit, Erkennbarkeit, Bestimmbarkeit)
- Transparenz
3
Q
Evastandards
A
- nach amerikanischem Vorbild
- DeGEval
1. Nützlichkeit
2. Fairness
3. Durchführbarkeit
4. Genauigkeit
4
Q
Evastandard: Nützlichkeit
A
- Identifizierung der Beteiligten
- Auswahl& Umfang der Infos
- Rechtzeitigkeit der Eva
5
Q
Evastandard: Durchführbarkeit
A
- angemessene Verfahren
- diplomatisches Vorgehen
- Effizienz v Eva
6
Q
Evastandard: Fairness
A
- Schutz der indiv. Rechte
- unparteiliche Durchführung
- Offenlegung v Ergebnissen
7
Q
Evastandard: Genauigkeit
A
- Beschreibung d Zwecke/Vorgehens
- sys. Fehlerprüfung
- begründete Bewertung/Schlussfolgerungen
8
Q
3 Zielsetzungen v Evastudien
A
- Zustandseva
- Veränderungseva
- Wirksamkeitseva
9
Q
Zustandseva
A
- Wie zufrieden sind Mitarbeiter*innen?
- Fühlen sich Bewohner*innen sicher?
- Welches Wissensniveau hat die Klasse?
Ziel= Optimierungen ermitteln
10
Q
Veränderungseva
A
- wie hat sich Gewalt an dt. Schulen verändert?
- Wie hat sich das „wir-Gefühl“ verändert?
Ziel=Veränderung/Entwicklung beschreiben& bewerten
11
Q
Wirksamkeitseva
A
- War die Therapie erfolgreich?
- War die Weiterbildung erfolgreich?
- Konnte Konflikt beigelegt werden?
(Transfererolg, Nachhaltigkeit, Nebenwirkung?)
Ziel=Kausalität prüfen
12
Q
Unterscheidung Wirksamkeit & Wirkung
A
Wirksamkeit = Output
- erreicht Maßnahme ihre Ziele?
Wirkung= Wirkmodell
- wie/wieso sollte Maßnahme wirken?
13
Q
Welche 4 Evaansätze gibt es?
A
- ergebnisorientiert
- theorieorientierter
- akteurorientiert
- systemischer
14
Q
Ergebnisorientierter Evaansatz
A
- konkrete kriteriumsbezogene Fragestellung (Akzeptanz Maßnahme/tech. Gerät)
- konzentriert sich auf wenige ergebnisbez. Merkmale
- Unterscheidung nach Evakriterium:
1. wirksamkeitsorientiere Evamodelle
2. effizienzorientiere Evamodelle
15
Q
wirksamkeitsorientiere Evamodelle
A
Kriterium: Effektivität
- im Feld& Labor
- Nachweis, dass Maßnahme Wirkung entfaltet & Effekt erzielt
Bsp.: Unterrichtsmethoden
16
Q
effizienzorientiere Evamodelle
A
Kriterium: Effizienz
- Kosten& Nutzen ermitteln
Bsp.: AIDS-Präventonskampagne
- Evamodelle: Kosten-Nutzen-Analyse, Kosten-Effektivitäts-Analyse
17
Q
systemischer Evaansatz
A
- ganzheitliche Betrachtung d Maßnahme
- Evagegenstand untersuchen auf Prozesse und Umfeldbedingungen
- Evamodelle: Multi-Facetten-Modell, CIPP-Evamodell
18
Q
systematischer Evaansatz: CIPP-Evamodell
A
- Context-Eva (Was soll getan werden?)
- Input-Eva (Wie sollte es)
- Process-Eva (Wurde es)
- Product-Eva (War es erfolgreich?)
19
Q
Theorieorientierter Evaansatz
A
- Wirkmechanismen d Maßnahme untersuchen & modellieren
20
Q
Akteurorientierter Evaansatz
A
- Interessen der Beteiligten im Mittelpunkt
- Evamodelle: klientenorientiertes & stakeholderorientiertes Modell
21
Q
Unterschied zw. klientenorientiertes & stakeholderorientiertes Modell
A
klientenorientiert:
- auf spez. Gr zugeschnitten
stakeholderorientiert:
- möglichst alle gleich einbeziehen
22
Q
Phasen der Evaforschung
A
- INITIIERUNG (Ziele festlegen, Ausschreibung)
- KONZEPTION (Evabedigungen, Konzept, Standards, Vertrag)
- PLANUNG (Fragen& Hypos, Untersuchungs-& Projektplanung)
- REALISIERUNG (Datenerhebung, Analyse, Interpretation)
- ABSCHLUSS (Berichte, Metaeva, Publikation d Studie)
23
Q
Phasen der Evaforschung: Problem der verdeckten Ziele
A
- Überprüfung ohne detailliertes Ziel
- Verantwortungsdelegation
- Durchsetzungshilfe (Erwartungen bestätigen, unerwünschtes verhindern)
24
Q
Evaluation vs. Evaforschung
A
Eva= Bewertung
- unabhängig v methodischen Regeln
- auch Einzelurteile
Evaforschung= Bewertung eines Evagegenstandes anhand v begründeten Kriterien &zuvor gestgel. Zielen
- Verwendung wiss. Forschmethoden &-techniken
- anwednungsbez. Teil d. Sozialforsch
25
Abgrenzung Evaforsch zu Grundlagenforschung
```
Grundlagenforschung= Entwicklung & Überprüfung wiss. Theorien
Evaforsch= operiert meist stärker theorieanwendend als theorieentwickelnd
```
26
Zeitpunkte der Eva
- vorher:
Diagnose1 (Wie ist es?) - Retrognose (Wie war es?)
- Intervention
- nachher:
Prognose(Wie wird es sein?) - Diagnose 2 (Wie ist es?)
27
Eva-Kriterien
- Wirksamkeit
- Transfererfolg
- Kosten-Nutzen-Bilanz(Effizienz)
- Bedarf
- Nachhaltigkeit
- Akzeptanz
28
Arten von Eva-forsch: Rahmenbedingungen
Eva im Feld vs. im Labor
parteilich vs. objektiv
geschlossen vs. offen
vertraulich vs. öffentlich
29
Arten von Eva-forsch: Ausrichtungen
- Makro-Eva
- Mikro-Eva
- Programmeva
- Input-Eva
- Complience-Eva
- Output-Eva
30
Arten von Eva-forsch: Zeitpunkte
- vor Maßnahme
- währenddessen
- nach Maßnahme
31
Arten von Eva-forsch: Durchführungsmodi
intrinsisch vs. extrinsisch
intern vs extern
formativ vs summativ
vergleichend vs nicht-vgl
32
Metaevaluation =
Eva der Evastudie durch Metaanalyse
33
Warum sollen Fragebögen eingesetzt werden?
Vorteile gg-über Interview:
- Vermeidung v. Interviewereffekten
- überlegtere Antworten
- höhere Motivation, wenn Zeitpunkt frei wählbar
- Kosten-& Zeitersparnis
34
Welche Aufgabe haben die Befragten und durch welche Maßnahmen kann ich sie unterstützen?
Aufgaben:
- Frage verstehen
- relevante Infos abrufen
- auf Infobasis Urteil bilden
- Urteil gg-falls in Antwort einpassen
- privates Urteil gg-falls editieren vor Weitergabe
Maßnahmen:
- temporal landmarks
- vorweg Frage stellen, die Erinnerung fördert
- Itemformulierung (neg. Formulierungen)
- Tempo-Instruktion
- Anonymität
- soziale Erwünschheit bedenken
35
Operationalisierung von Merkmalen: latent vs manifest
```
latent:
- theor. Konstrukt
- nicht direkt beobachtbar
- theor. Bedeutung ist erklärbedürftig
(Intelligenz, Emotionen)
manifest:
- unmittelbar beobachtbar
- leicht feststellbar
- theor. Bedeutung eindeutig/bekannt
(Körpergröße, Alter)
```
36
psychometrische Skala =
Satz von Item, die als Indikatoren dazu dienen, gemeinsam ein latentes Merkmal zu messen
37
Vor- und Nachteile von Einzelitems & psychometrische Skalen
Einzelitems
- Vorteil: max. Ökonomie
- Nachteil: weniger messgenau
psychom. Skalen
- Vorteil: mehrere ähnliche Items messen 1 Merkmal/reliablere&validere Daten
- Nachteil: aufwändiger
38
Grobkonzept des Fragebogens
1. FB-titel
2. FB-instruktion
3. inhaltliche Fragenblöcke
4. stat. Angaben
5. FB-Feedback
6. Verabschiedung
39
Fragetypen
1. offen vs geschlossen
2. Selbstauskunft vs Testen von Leistungen
3. Aussage, Frage oder Bewertung
40
10 Gebote der Frageformulierung
- einfach, unzweideutig
- kurz, nicht komplex
- keine hypothetischen Fr
- keine doppelte Verneinung
- keine Unterstellungen
- Infos abfragen über die viele verfügen
- präzise Zeitangaben
- klare Definitionen geben
41
besondere Fragetypen
1. Quantifizierungen (vage vs exakt)
2. Einfluss d Vgl-richtung (Ausgangsbasis bekommt mehr Gewicht)
3. Fiktive Fragen (bsp: Politiker*innen)
4. Heikle Fragen (mögl. am Ende, Anonymität betonen)
42
typische Fehler bei Fragebogenkonstruktion
1. mangelnder Bezug zw Forschungsfrage & FB-items
2. Merkmale d Zielgruppe nicht beachtet
3. Items selbst entwickelt, obwohl etablierte/psychom. Skalen vorhanden
4. Skalenniveau zu niedrig
5. häufiger Wechsel d Antwortformats
43
Ratingskalen: Skalenmarken
1. verbale M.
2. numerische M.
3. symbolische M.
4. grafisches Rating (selbst kreuzen,Schieberegler)
5. Ankerbeispiele
44
Ratingskalen: Anzahl von Stufen
1. gerade vs. ungerade
2. optimale Stufenanzahl (5-7/9)
- zu wenige: undifferenzierte Urteile, max. Ordinalskalliert
- zu viele: mühsam
45
Ratingskalen: Welches Skalenniveau ist anzustreben und warum?
Entscheidungskriterium: Gleichabständigkeit
- Ratingskalen meist als intervallskaliert aufgefasst
- bei Zweifel: als ordinalskaliert betrachten
46
Semantisches Differential
- spezieller Typ d. psychom. Skala
- 20-30 Ada-paare
- Einschätzung auf bipolarer Ratingskala
- Ziel: Messung der konnotativen Bedeutung beliebiger Objekte/Begriffe
- Ergebnis: Profilverlauf für Urteilsobjekt
- Bsp.: m/w
47
Urteilsfehler beim Einsatz von Ratingskalen
1. Antworttendenzen
| 2. Inhaltliche Verzerrungen
48
Urteilsfehler beim Einsatz von Ratingskalen: Antworttendenzen
- Tendenz zur Mitte
- Tendenz zu Extremwerten
- Tendenz zur ersten passenden Kategorie
- "Mustermalen"
- Antwortfehler durch Negationen
- fehlende Antworten
49
Urteilsfehler beim Einsatz von Ratingskalen: Inhaltliche Verzerrungen
- unsystematische Fehler
- sys Urteilsfehler
(Halo-effect,Milde-Härte-Fehler, Primacy-Recency, Attributionsf., Self-Serving-Bias)
- sys Urteilverzerrungen
(soz. Erwünschtheit, Selbsttäuschung)
50
Unterschied zw sys Urteilsfehler & sys Urteilsverzerrungen
- Urteilsfehler: "wahre" Ausprägung unwillentlich unter-/überschätzt
- Urteilsverzerrungen: mehr o weniger bewusst
51
Likert-Skala
- am häufigsten verwendet
- mehrere Items messen dasselbe Merkmal
- 5-stufige Ratingskala
- ein- oder mehrdimensional
- Skalenniveau: intervall
Skalenkonstruktion:
1. ITEM-KONSTRUKTION (ca. 100 Items, pos Items= hohe Ausprägung)
2. SKALEN-PRETEST (Itemschwierigkeit,
Trennschärfe,Korrelation, Kl.TestTheorie)
3. ITEM-SELEKTION (10-20 Items, hohe Trennschärfe, untersch Itemschwierigkeiten, Faktorenanalyse)
4. FINALE PSYCHOM. LIKERT-SKALA (Ausfüllanweisung, Angabe von neg. Items)
52
Guttman-Skala
- Items: Zustimmung o Ablehnung
- strikt gestaffelt nach Itemschwirigkeit (modellkonformes Antwortmuster)
- Gesamtscore: bejahte Items
- aufwändiger als Likert-Skala
- Reproduzierbarkeit= modellkonform: Bestimmung mit Liste d Zustimmungen
Gesamtscore: Summe d bejahten Items
+ eindeutig zu interpretieren, viele geprüfte Skalen
- sehr aufwändig
53
Thurstone-Skala
- mehrere Aussagen messen selbes Merkmal
- Zustimmung o Ablehnung
- Gesamtscore: Gewichtungsfaktoren der bejahten Items
Konstruktion:
- Erstellung Item-Pool
- Experten-Rating als Gewichtungsfaktor
Kritik: Willkür der Experten, kaum Rolle in Praxis
54
Def.: Thurstone-Skala=
umfasst Zustimmungsitems (ja/nein), die dasselbe Merkmal erfassen und anhand von Expertenurteilen gewichtet werden.
55
Def.: Likert-Skala=
wird aus einem Item-Pool (ca. 100 Items) entwickelt, die dasselbe Merkmal erfassen.
56
Def.: Guttman-Skala=
umfasst Zustimmungsitems (ja/nein), die dasselbe Merkmal erfassen und strikt in ihrer Schwierigkeit gestaffelt sind.
57
Warum ein Pretest?
Pretests dienen der Revision bzw. Optimierung des FB -> ungünstige Items selektiert, psychom. Kennwerte bestimmt, Dauer schätzen
58
Qualitativer Pretest:Arten
```
BEOPRETEST
- 1-malige Befragung unter realistischen Bed
- Beo von Auffälligkeiten
- billig, schnell, aber grob, schlechte Fragen fallen nicht auf
BEHAVIOR CODING
- strukturierte Verhaltensbeo
- Identifizierung v Fr-mängeln
- objektiv, reliabel, aber Ursachen unaufgeklärt, aufwändig
RANDOM PROBE
- Fr-verständnis überprüfen
- Zufällig (10%) abfragen
- Zusatzfragen=Probes (Bsp. nennen)
QUAL INTERVIEW
- Feedback in eigenen Worten
- Ideen, Hinweise, infos zu FB
INTENSIV-INTERVIEW
- Begründung von Antworten
- falschen Fr-verständnis aufklären
FOKUSGRUPPEN
- Frage für Frage durchgehen
```
59
Kognitive Verfahren: Arten
```
LAUTES DENKEN
SYS PROBING
- Zusatzfragen zu best Items
SORTIEREN
- Begriffe kategorisieren
PARAPHRASIEREN
CONFIDENCE RATINGS
- Verlässlichkeit der Antwort bewerten
```
60
Quantitativer Pretest
UNGÜNSTIGE ITEMS IDENTIFIZIEREN
- Varianz, Boden-/Deckeneffekte
PSYCHOM KENNWERTE BESTIMMEN
- Faktorenstruktur, Trennschärfe, Itemschwierigkeit, Reliabilität -> Itemanalyse
61
Itemanalyse: Ziel
problematische Items entdecken & durch Modifikation/Eliminierung die Testgüte erhöhen
62
Itemanalyse: Schritte
```
1. ERMITTLUNG V ITEM-KENNWERTEN
(Itemschwierigkeit, Itemvarianz, Trennschärfe)
2. FAKORENANALYSE
(Dimensionalitätsprüfung)
3. TESTWERTBESTIMMUNG
```
63
Itemschwierigkeit: Def & Ziel
- zu leichte Items: alle ja
- zu schwere Items: alle nein
Ziel: diskriminieren zw Personen, die Item lösen o nicht
64
Itemschwierigkeit: Interpretation
- Wertebereich 0-100
- kleine Werte= schwer
- große Werte= leicht
65
Itemschwierigkeit: korrigierte Schwierigkeit
- bei Leistungstests
| - ???
66
grafische Kontrolle d Boden/Deckeneffekte
```
Bodeneffekte= linkssteil (schwerer Test)
Deckeneffekte= rechtssteil (leichter Test)
```
67
Trennschärfe=
gibt an wie gut Item die Fäh misst, die Skala messen soll
| Wie gut repräsentiert Item Skala?
68
Trennschärfe: Berechnung
- Korrelation v Item mit Summe der übrigen Items (Part-whole-Korrektur)
- -1 ≤ rit ≤ 1
69
Trennschärfe: Interpretation
Faustregeln:
- ungeeignet: nahe 0
- mittelmäßig: pos zw .3-.5
- hoch: >.5
- neg Items -> Umpolung?
70
Trennschärfe: Itemselektion anhand der Kennwerte
- hohe Var = hohe Differenzierungsfäh
- Pi=50: differenzieren am besten
- breites Merkmalsspektrum: .20≤Pi≤.80
- min. .30
- nahe 0/neg: Item entfernen
- nahe 0: kann auf Mehrdimensionalität hinweisen
71
Dimensionalität=
gibt an, ob Test mit Items ein globales oder mehrere Teilkonstrukte erfasst.
72
Dimensionalität: explorative Faktorenanalyse
EINDIMEN TEST
- Item-Interkorr kann auf 1 Faktor reduziert werden
- Items laden hoch auf diesen Faktor
73
Testwertbestimmung
- Kriterien Itemseltektion (Schwierigkeit, Trennschärfe, Varianz, Dimen)
- Eindimen (hohe Trennschärfe=1-dimen)
74
Haupt-/Nebengütekriterien:
Hauptgütekrit:
Objektivität, Reliabilität, Validität
Nebengütekrit:
Ökonomie, Nützlichkeit, Fairness, Normierung, Skalierung, Zumutbarkeit, Unverfälschlichkeit
75
Gütekriterien: norm- vs kriteriumsorientiert
normorientiert:
- Vgl mit Bezugsgr
kriteriumsorientiert:
- Vgl mit markanten Merkmalsausprägungen
76
Gütekriterien: Objektivität
```
= unabhängig von Ort, Zeit, Auswerter
DURCHFÜHRUNGSOBJ
- Standardisierung, um Störeinflüsse zu minimieren
- Konstanz d Fragen/Aufgaben
- Angabe der Dauer
- Festlegung d Instruktion
AUSWERTUNGSOBJ
- Kodierung der Antworten
INTERPRETATIONSOBJ
- klare, anwednerunabhäng Regeln für Testwertinterpretation
```
77
Allg. Gütekriterien: Nebengütekriterien
```
ÖKONOMIE
- wenig finanz. Ressourcen
NÜTZLICHKEIT
- praktische Relevanz/ Nutzen
ZUMUTBARKEIT
- zeitl, phys & psych für Vpn
FAIRNESS
- keine sys Benachteiligung
UNVERFÄLSCHLICHKEIT
- faking vermeiden
- soz. Erwünschtheit beachten
SKALIERUNG
NORMERUNG
```
78
Reliabilität=
Grad der Genauigkeit mit dem das geprüfte Merkmal gemessen wird
(Messgenauigkeit, Zuverlässigkeit)
79
Reliabilitätskoeff=
Ausmaß der Reliabilität eines Tests
- 0≤Rel≤1
- Rel=1: frei v Messfehlern
- Rel=0: Ergebnis nur durch Messfehler
80
4 Methoden der Reliabilitätsschätzung
4. Interne Konsistenz (Chronbachs Alpha)
1. Retest-Reliabilität
2. Paralleltest-Reliabilität
3. Testhalbierungs-Reliabilität (Split-half)
81
Interpretation Cronbachs α
```
hoch, wenn:
- Items pos korrelieren
- Itemanzahl zunimmt
negativ, wenn:
- Items neg korrelieren
- Reliabilität = 0
- Kodierungsrichtung falsch
- Items inhaltlich verschiedenes messen
```
82
Validität=
liegt vor , wenn der Test das Merkmal, was er messen soll, auch wirklich misst.
83
Formen von Validität:
AUGENSCHEIN
=gibt an inwieweit der Gültigkeitsanspruch vom bloßen Augenschein her einem Laien gerechtfertigt erscheint
- Akzeptanz v Test vonseitens der Vpn
INHALTS
=wenn Items so konstruiert sind, dass interessierendes Merkmal repräsentativ abbgebildet wird
KRITERIUMSVAL
=wenn von Testwert erfolgreich auf Kriterium extraploriert werden kann
- Test-Kriteriums-Korrelation
nicht an testtheor Annahmen gebunden
KONSTRUKTVAL
=wenn Zsm-hangsstruktur zw Items & Merkmal wiss fundiert ist
-Prüfung durch 1. struktursuchende &
2.-prüfende Verfahren
1.Dimensionalität, nomologisches Netzwerk,emp Prüfung (Un)Ähn-k zu Tests
2. inferenzstat Prüfung
84
Validität: Konstruktvalidität: konvergente vs diskriminierende Validität
KONVERGENTE VAL:
- Übereinstimmung mit konstruktverwandten Merkmalen
DISKRIMINIERENDE VAL:
- Abgrenzung zu konstrukfremden Merkmalen
85
4 Haupttypen von Versuchsplänen
1. Exp Designs
2. Quasi-exp Designs
3. Ex post facto-Designs
4. Korrelative Designs
86
Exp Designs: 4 Arten v Versuchsplänen
```
Kausalschlüsse möglich
- Versuchspläne mit Zufallsgr-bildung
(Btwn-Designs, 2/mehrstichprobenVpläne)
- V-pläne mit wiederholten Messungen
(Within-Designs)
- V-pläne mit Blockgr-bildung
- Mischversuchspläne
```
87
Between-Designs (Exp Designs)
+gleiche Ausgangsbed, Störvs balanciert, Ramdominisierung
| - große Stichprbe notwendig
88
Within-Designs (Exp Designs)
+kleine Stichprobe mögl. (ökonomischer), "Rauschen" zw exp. Bed eliminiert
- Effekte d Testübung (Zeit lassen, Abfolge variieren)
89
Versuchspläne mit Blockgruppenbildung
+kleine Stichprobe mögl., Ausgangsuntersch geringer
| - Muss: Kenntnis der StörVs, gr Aufwand
90
Mischversuchspläne
- Kombi aus between&within-Designs
| - Untersuchung von Wechselwirkungen zw Faktoren
91
Interne Validität=
wenn 1. Messwerte d AV eindeutig auf UV zurückzuführen sind 2. keine wiss Alternativerklärungen mögl sind
-> je besser StörVs kontrolliert werden, umso höher interne Vali
92
Externe Validität=
wenn Ergebnisse verallgemeinern lassen
STICHPROBENREPRÄS (andere Personen)
KONSTRUKVALI (andere Operational.)
SIT-REPRÄS (andere Orte/Zeiten)
93
Bedrohungen externe Vali
Wechselwirkungen d Kausaleffekts mit
1. Vpn (untersch Pop nutzen)
2. Treatmentbed. (untersch Settings)
3. AVs (mehrere Operat. berücksichtigen)
4. kontextabh. Mediatoreffekte (Kultur)
94
Bedrohungen internen Validität
1. Reifung (Kontrollgruppe)
2. Selektionseffekte (Randomninisierung)
3. Ausfalleffekte (bei Interpret einbeziehen)
4. mehrfache Testung (untersch Aufgaben, um Testübung auszuschließen)
95
Kontrolltechniken für personenbez. Störvariablen
1. Konstanthalten (gleiche Klassengr)
2. Messwiederholung (Pre/Posttest)
3. Matching (gepaarte Stichproben)
4. StörV als KontrollV
96
Kontrolltechniken für untersuchungsbed. Störvariablen
1. Ausschalten (untersch Ablauf verhindern)
2. Konstanthalten (Umgebung gleioch halten)
3. Registrieren (wenn 1.o 2. nicht möglich)
97
Was zeichnet gültige Designs aus?
- Experimentalgruppe
- Vorher-Nachher-Prüfung an mehr als 1er Versuchsgr
- Randominisierung
98
Gütekriterien=
Qualitätsbeurteilung an wiss. Datenerhebungen & Analysen
