Altklausur SS15 Flashcards
Nennen Sie 3 Kennzeichen wissenschaftlicher Evaluation, die sich aus dem allg. Konsens ergeben.
- Bewertung von Handlungsalternativen (E. dient als Planungs- und Entscheidungshilfe)
- E. ist ziel- und zweckorientiert (praktische Maßnahmen überprüfen, verbessern, darüber entscheiden)
- Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Techniken und Forschungsmethoden angepasst sein
Nennen Sie 3 mögliche Nutzenerwartungen eines Auftraggebers an die Durchführung einer Evaluation und erläutern Sie eine dieser Erwartungen kurz.
1) Bewertung ohne detaillierte Zielsetzung
-> Suche nach möglichst umfassender Info über ausgelöste bzw. von der jeweiligen Institution zu verantwortende Effekte
2) Verantwortungsdelegation
-> Verantwortung für eingeführte Maßnahmen wenigstens z.T. auf andere verlagern
3) Durchsetzungshilfe
-> Schaffen von Fakten, um einen Gewöhnungsprozess einzuleiten
-> oder eine vorgefasste Meinung zu stützen, um Projekte besser durchzusetzen
4) Entscheidungshilfe
-> empirische Resultate erheben, um eine Hilfe bei der Entscheidung zwischen mehreren Alternativen zu geben
5) Optimierungsgrundlagen
Verbesserung fraglicher Maßnahmen durch systematische Rückmeldung
6) Kontrolle der Zielerreichung
Überprüfung eines vom Maßnahmenträger zugesagten Ergebnisprofils
Funktionen eines Evaluators sind vielfältig. Nennen Sie 5 Funktionsbeispiele auf Basis des allg. Handlungsmodells
- Evaluator hilft bei der Zielexplikation
- Evaluator berät hinsichtlich der Realitätsnähe der Maßnahmen und gibt Anregung für den Handlungsbedarf
- Evaluator unterstützt bei der Erweiterung der gesehenen Handlungsmöglichkeiten
- Evaluator setzt Kommunikationstechniken ein
- Evaluator hilft und berät bei der Ausführung von Maßnahmen
- Evaluator ist zuständig für die applizierte Methodik, für die Auswertung und die Nutzenmessung
- Evaluator wendet sozial-technische Methoden an
Beschreiben Sie die Unterschiedlichkeit der Berufsrollen eines Evaluators und eines Forschers/Wissenschaftlers
Forscher: nur der Wissenschaft verpflichtet unabhängig, frei nach Wahrheit suchend Evaluator: auftragsabhängig, von Interessen und Vorlieben des Auftraggebers determiniert
Nennen Sie 3 psychologische Gründe für den Zusatznutzen wissenschaftlich ausgewiesener, externer Evaluatoren
Image des Wissenschaftlers
Expert power
Information power
Credibility/Glaubwürdigkeit
Persuasibility/Überzeugungskraft
geringerer Gesichtsverlust in Konfliktsituationen
besseres Konfliktmanagement durch Einsatz von Sozialtechniken
objektive Vermittlung bei Konflikten innerhalb der Insititution des Auftraggebers
Nonkonformität mit informellen Gruppennormen
Objektivität
besser Einblick in und besserer Umgang mit gruppendynamischen Prozessen
Vermeidung negativer Gruppeneffekte wie „group thinking“ oder „group polarisation“
Unabhängigkeit von hierarchischen Strukturen auf der Seite des Auftraggebers
„Idiosyncrasy Credit“ aufgrund des Status des Wissenschaftlers
Definieren Sie den Begriff Evaluation nach Suchmann.
Prozess der Beurteilung des Wertes eines Produktes, Prozesses oder Programms,
was nicht notwendigerweise systematische Verfahren oder datengeschützte Beweise zur Untermauerung der Beurteilung erfordert.
Beschreiben Sie kurz den wesentlichen Unterschied zwischen summativer und formativer Evaluation.
formative Evaluation: vorwiegend zur Gestaltungsverbesserung angelegt
summative Evaluation: globale, zusammenfassende Bewertung
Erklären Sie kurz, was unter Micro- und Macro-Evaluation zu verstehen ist und nennen Sie je ein Beispiel.
Micro-Evaluation: nur Details werden untersucht, z.B. didaktische Aufbereitung eines Unterrichtstexts
Macro-Evaluation: Untersuchung komplexer Einheiten, z.B. Fragen der Schulorganisation
Was versteht man unter parteilicher Evaluation?
Studie ist so anzulegen, dass unabhängig von der empirischen Faktenlage ein bestimmtes, gewünschtes Ergebnis auftritt.
Da die Heterogenität im Bereich der Evaluation laut der Autoren Wottow und Thierau besonders groß sei, sei es schwer, ein idealtypisches Klassifikationsschema zur Unterscheidung verschieden gestalteter Studien zu erstellen. Sie schlagen deshalb sechs wichtige Aspekte von Evaluationsstudien vor, um zumindest eine grobe Beschreibung von Projekten zu erlauben. Nennen Sie diese sechs Gestaltungsaspekte und die kurze, dazugehörige Frage die den jeweiligen Aspekt beschreibt
Evaluationsziel Warum wird evaluiert? Evaluationsbereich In welchem gesellschaftlichen Bereich wird evaluiert? Evaluationsobjekt Wer/was wird evaluiert? Evaluationsort Wo wird evaluiert? Evaluationsmodell Wie wird evaluiert? Evaluationsnutzung Wie werden Ergebnisse aufbereitet und entscheidungsrelevant verwendet?
Eine Evaluation ist an den verschiedensten Orten durchführbar. Grundsätzlich kann man die Evaluation im Labor und im Feld unterscheiden. Nach Party (1982) sind vier Feld-Definitionen von Bedeutung. Nennen sie drei und beschreiben eine der Definitionen näher
Das Verhalten (AV)
kann mehr oder weniger natürlich sein
natürlich = in keiner Weise instruiert
Das Treatment (UV)
kann mehr oder weniger natürlich sein, je nachdem wie stark durch VL manipuliert
Das Setting (Ort der Untersuchung)
mehr oder weniger natürlich
subjektive Wahrn. des Pbdn. entscheidet, ob natürlich oder nicht
Nicht-bemerken eingeführter Veränderung durch Pbdn. = annähernd natürlich
Das Wissen der Pbdn. darüber,
dass Untersuchung stattfindet
welche Hypothese Untersuchung zugrunde liegt und durch Täuschung herbeigeführte falsche Vermutungen über Hypothese
Die Evaluationsforschung hat mittlerweile Einzug in viele gesellschaftliche Bereiche gehalten. Nennen Sie beispielhaft fünf
Bildungssektor Wirtschaft Agrar- und Verkehrspolitik Familien- und Sozialpolitik Justizvollzug Arbeitsmarkt- und Beschäftigungspolitik Umweltpolitik Gesundheitswesen Städtebau- und Wohnungspolitik Militärischer Bereich
Welche drei Punkte sind für den Bewertungsprozess zu klären? Beschreiben Sie diese jeweils kurz.
1) Auswahl der Bewertungskriterien
erst Ziele möglichst detailliert erfassen
dann möglichst ideenreich geeignete Vorschläge für Teilziele finden
dann Reduktion auf bewältigbare Arbeitsmenge
2) Nebenfolgenabschätzung
hypothetische Formulierung evtl. unerwünschter zusätzlicher Konsequenzen m.H. von Handlungsmodellen
3) Operationalisierung für einzelne abstrakte Bewertungskriterien (und Nebenfolgen)
Konsensfindung mit Auftraggeber bzw. relevanten Teilgruppen innerhalb des Auftraggebers
sonst evtl. nachträgliche Abwertung der Messinstrumente bei unerwünschten Ergebnissen
Nennen Sie exemplarisch drei strukturelle Merkmale einer “idealen” Evaluationsstudie und erläutern sie beispielhaft welche Probleme durch deren Vorhandensein umgangen werden
1) exakte konsensfähige Beschreibung der zu evaluierenden Alternative
schwierig, aber nötig, wenn relativ vage Oberbegriffe Grundlage der Alternativbeschreibung sind oder bei formativer Evaluation
2) explizite, zeitüberdauernde Festlegung der Bewertungskriterien, einschließlich der zu verwendenden Maße bzw. Erhebungsinstrumente
damit ergänzende Aspekte nicht nachgeschoben werden oder zunächst für wichtig erachtete nicht abgewertet, wenn Resultate nicht Erwartungen entsprechen
3) Aufstellen konsensfähiger Entscheidungsregeln für alle möglichen Ergebnisse, die eine eindeutige Handlung der Evaluatoren bzw. Auftraggeber ermöglichen
v.a. für (öffentliche) Akzeptanz von Evaluationsarbeiten
4) zusätzliche Aufnahme aller zunächst übersehnen, aber vernünftigerweise zu beachtenden Aspekte in die Entscheidungsregeln
auch bei guter Planung sind solche Ergänzungen oft notwendig, wobei notwendig und interessengeleitet definiert werden muss
Was versteht man unter der “Metaplan-Methode” nach Schnelle (1982)? Beziehen Sie dabei auch Aspekte mit ein, die sowohl den Teilnehmer als auch den Moderator betreffen.
- Gesprächs- bzw. Diskussionstechnik, die durch hierarchiefreies Arbeiten Teilnehmer motiviert und deren Kreativität fördert
- Teilnehmer
sammeln durch Kartenabfrage Beiträge zu bestimmter Problematik
gewichten die Probleme
fassen sie zu Problembündeln zusammen - Moderator sorgt für
organisatorischen Ablauf der Moderation
Visualisierung der Sach- und Beziehungsprobleme in der Gruppe
Gleichberechtigung der Teilnehmer
