Evaluationsforschung/Statistische Kontrolle Flashcards
(31 cards)
Was ist der typische Ablauf in Evaluationsstudien?
- Ziele
- Kriterien/AVs bestimmen
- Design erstellen
- Auswertung/Interpretation
- Empfehlung
Welche Phasen gibt es in der Evaluationsforschung?
- Auftragsphase
- Planunsgsphase
- Planungs- und Durchführungsphase
- Ergebnisphase
Welche Arten der Evaluationsforschung gibt es?
formativ
summativ
Was sind die 11 Standards der Evaluationsforschung nach Rost?
- Konzeptualisierung
- Fragestellung & Hypothesen
- Implementationskontrolle
- Übertragbarkeit von Ergebnissen
- Kausalinterpretation
- Kontrollgruppen
- Statistische Kontrolle
- Effektgrößen
- Soziale Sensibilität
- Transparenz
- Ethik
Was ist Evaluation?
ziel- und zweckorientierte Planungs- und Entscheidungshilfen (Bewertung von Maßnahmen/Interventionen/Handlungsalternativen)
generelles Ziel: praktische Maßnahmen überprüfen, verbessern oder über sie entscheiden
generelle Forderung: Maßnahmen sollten dem aktuellen wissenschaftlichen Standard entsprechen
Was sind die Unterschiede zwischen Grundlagen- und Evaluationsforschung?
- Theoretischer Hintergrund: wissenschaftliche vs. technologische Theorien
- Forschungsziele: eher offen vs. gebunden
- Nutzenaspekt: nicht zentral vs. sehr wichtig
- Entscheidung/Empfehlung: selten vs. fast immer
- Methoden: keine Kompromisse vs. manchmal Kompromisse zwischen Stringenz und Machbarkeit
Was ist formative Evaluationsforschung?
- primäre Zielgruppe: Programmentwickler, -anwender
- primäre Rolle des Evaluators: interaktiv
- Methodologie: oft qualitative (ad hoc) Verfahren
- Datensammlung: fortlaufend
- Art der Berichte: Diskussion/Treffen, informelle Interaktion
- Häufigkeit von Berichten: während der ganzen Zeit
Was ist summative Evaluationsforschung?
- Primäre Zielgruppe: Politiker, Interessierte, Öffentlichkeit, Geldgeber
- primäre Rolle des Evaluators: unabhängig
- Methodologie: meist quantitative Verfahren
- Datensammlung: begrenzt
- Art der Berichte: formale Berichte
- Häufigkeit von Berichten: zum Schluss
Was sind die Vorteile eines externen Evaluators?
- Image des Wissenschaftlers
- Glaubwürdigkeit
- Konfliktmanagement
- Nonkonformität mit informellen Gruppennormen
- Vermeidung negativer Gruppeneffekte
- Unabhängigkeit von hierarchischen Strukturen
- Objektivität bei der Berichterstattung
Was sind die Erfordernisse an einen Evaluator?
- Soziale Kompetenz
- Methodische Kompetenz!
- Fachliche (Grund-)Kompetenz
Was sind mögliche Ethische Probleme?
- Verletzung der Intimsphäre Betroffener
- Kopplung von Teilnahmeverweigerung mit Sanktionen
- mögliche psychische und körperliche Beeinträchtigungen für Betroffene
- Ausgrenzung von Teilgruppen
- Evaluation der Wirksamkeit von Manipulationstechniken
Was sind häufige Praktische Fragen in der Auftragsphase?
- Ziele vorgegeben oder Zielvereinbarung mit allen Betroffenen?
- vorgegebene Untersuchungsbedingungen <> experimentelle Kontrolle
- weniger Fragen genau oder viele Fragen allgemein?
- soll Maßnahme sowohl gestaltet als auch bewertet werden?
- Evaluator als methodischer und inhaltlicher Experte?
Was sind Fragen in der Planungsphase?
- für relevant erachtete Kriterien von Beteiligten akzeptiert?
- eher deduktive oder induktive Vorgehensweise?
- Operationalisierbarkeit und Messbarkeit der Kriterien?
Was sind Fragen in der Planungs- und Durchführungsphase?
- Wie kontextabhängig sind Variablen?
- Ist Zuordnung der Teilnehmer randomisiert?
- Inwieweit ist Treatment standardisiert?
- Inwieweit sind Teilnehmer an Evaluationsprozess beteiligt?
Was sind Fragen in der Ergebnisphase?
- Wie komplex dürfen Auswertungsverfahren und Ergebnisdarstellung sein, um für Auftraggeber nachvollziehbar zu sein?
- Wie prägnant müssen Aussagen sein, um rezipiert zu werden?
- Generalisierbarkeit der Ergebnisse?
Was sind 3 Phasen der Evaluationsforschung?
- Konzeptualisierung
- Implementation
- Wirkungsforschung
Was versteht man unter Standard 1: Konzeptualisierung?
Klärung der folgenden Aspekte hinsichtlich zu evaluierender Maßnahmen/Produkte:
* Wovon geht Wirkung aus?
* Worin besteht postulierter Prozess, in dem sich Wirkung entfaltet?
* In welchen Bereichen finden Wirkungen statt?
Was versteht man unter Standard 2: Fragestellungen und Hypothesen?
Verknüpfung der konzeptuellen Grundlagen mit der Evaluierungsmaßnahme in Form von Fragestellungen und Hypothesen
–> emp. Prüfung mithilfe eines realisierbaren Evaluationsdesigns –> Bestimmung geeigneter Kriterien
Problematik bei der Kriterienauswahl:
* Vielfalt
* Ergebnisse können je nach Zielkriterien sehr unterschiedlich ausfallen
* Art der Erhebung kann Bewertung beeinflussen
Was versteht man unter Standard 3: Implementationskontrolle?
= Kontrolle, wie gut Maßnahmen implementiert wurde
- Max-Kon-Min-Prinzip = Wird experimentelle Varianz maximiert, Störvarianz kontrolliert und Fehlervarianz minimiert?
- Entspricht die Realisierung der Maßnahme ihrer Konzeption?
- Wie intensiv sind zu untersuchende Einflüsse?
- Gibt es andere Einflüsse, die die Maßnahme begünstigen oder behindern?
Was versteht man unter Standard 4: Übertragbarkeit von Ergebnissen?
Wenn die Ziehung einer Zufalls SP nicht möglich ist, sollte die untersuchte SP möglichst detailliert beschrieben werden
In Grundlagenforschung ist Übertragbarkeit = externe Validität = Zufalls SP
Was versteht man unter Standard 5: Kausalinterpretation?
= interne Validität
interne V. im Experiment: Kausalschluss möglich, weil man durch Randomisierung Zufallsaufteilung der VP auf die Bedingungen erreicht und dadurch alle SVs aufs gleiche Niveau bringt
–> bei EF schwer herzustellen , wichtigster Nachteil!
Was tut man, wenn man SVs nicht durchs Design kontrollieren kann?
- Erhebung potenzieller SVs (evtl. Subgruppen erheben)
- getrennte Analyse von Subgruppen, die sich hinsichtlich SV/Moderatoren unterscheiden
- Einbeziehung von SV in die Analyse
Was versteht man unter Standard 6: Kontrollgruppen?
Für einen sinnvollen Vergleichsmaßstab muss die zu evaluierende Maßnahme (UV) variiert werden (i.d.R. durch Unterteilung in Gruppen)
- Variation der Dosis
- Vergleich verschiedener Kombinationen von Komponenten
- Vergleich mit Gruppe, die sich theoretisch beschreibbaren Merkmalen unterscheidet
Was ist Standard 7: Statistische Kontrolle?
Berücksichtigung von Moderatorvariablen bei der Datenanalyse, die bei der Durchführung der Studie nicht kontrolliert werden konnten.
