Bildung Zusatztexte Flashcards

1
Q

Was haben die zahlreichen Definitionen von Evaluationsforschung gemeinsam?

A

Man kann es nur so nennen, wenn die Bewertung eines Gegenstandes systematisch und unter Verwendung wissenschaftlicher (primär psychologischer und sozialwissenschaftlicher) Methoden erfolgt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Definition Evaluationsforschung (Spiel)

A

Untersucht wissenschaftsgestützt, unter Berücksichtigung geltender Standards, die Effektivität (Ausmaß der Zielerreichung), und Effizienz (Verhältnis von Aufwand und Nutzen) von Gegenständen.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Gegenstände der Evaluation

A
  • Programme, Maßnahmen und Interventionen
  • Einrichtungen und Organisationsteile
  • Techniken und Methoden
  • Produkte und Personen
  • Prozesse und Netzwerke
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Wovon ist Evaluationsforschung ein Teilgebiet?

A

angewandte (Sozial-)Forschung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Unterschied zwischen Grundlagenforschung und Evaluationsforschung

A
  • Grundlagenforschung: nomologische Aussagen –> Anforderungen an die Theorie
  • Evaluationsforschung: technologische Aussagen –> Anforderungen an Theorie UND Praxis
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Welche 3 Forschungsbereiche gehen ineinander über?

A
  • Grundlagenforschung
  • angewandte Forschung
  • Evaluationsforschung
    Sie verwenden alle 3 den gleichen Kanon wiss. Methoden.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Was ist das Äquivalent zur Evaluation in Wirtschaft?

A

Qualitätsmanagement (QM)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wie sind die Anforderungen an QM-Systeme festgelegt?

A

international –> ISO 9000-Norm

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Total Quality Management (TGM) =

A

QM-System, das alle Teile eines Prozesses oder Betriebs umfasst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Wie bezeichnet man den Bewertungsprozess anhand eines QM-Systems?

A

Akkreditierung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Monitoring =

A

regelmäßige Überwachung und Begleitung der Durchführung einer Maßnahme oder eines Prozesses

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Was ist häufig in QM-System eingebettet?

A

Qualitätskontrolle durch Monitoring

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Wie unterscheiden sich QM und Monitoring von Evaluationsforschung?

A

Sie erfordern kontinuierliche Aktivitäten und wiss. Fundierung kommt keine zentrale Rolle zu –> Evaluationsforschung wird hingegen eher punktuell eingesetzt.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Anhand welcher 2 Kriterien lassen sich Evaluationen grob einteilen?

A
  • Ziele

- Rolle der EvaluatorInnen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Einteilung von wiss. Evaluationen nach Zielen

A
  • Baseline-E.
  • Prospektive E.
  • Formative E.
  • Summative E.
  • E. in Programmeffizienz
  • Impact E.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Baseline-Evaluation =

A

IST-Stand Analyse zur Beschreibung der Ausgangssituation, wichtig für Vergleich mit Situation nach Maßnahme

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Prospektive Evaluation =

A

Bewertung der Programmkonzeption, zur Abschätzung der Realisierbarkeit des Programms/der Maßnahme sowie möglicher Nebeneffekte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Formative Evaluation =

A

Beschreibung und Bewertung von Programmimplementation, Zielsetzungen und Umsetzungen ; gezielte Rückmeldungen zur Programmoptimierung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Summative Evaluation =

A

Prüfung der Wirksamkeit des Programms/der Maßnahme im Bezug auf die gesetzten Ziele unmittelbar nach Programmabschluss

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Evaluation der Programmeffizienz =

A

Bewertung der Ökonomie des Programms/der Maßnahme (Kosten-Nutzen Relation)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Impact Evaluation =

A

Bewertung der nachhaltigen Effekte von Programmen und Maßnahmen; geht weit über direkte Ziele hinaus

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Einteilung von wiss .Evaluationen nach Rolle der EvaluatorInnen

A
  • Selbstevaluation
  • Fremdevaluation
  • Interne E.
  • Externe E.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Selbstevaluation =

A

Mitglieder einer Institution/Organisation bewerten sich bzw. ihre Maßnahmen selbst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Fremdevaluation =

A

Bewertung findet durch Dritte statt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Q

Interne Evaluation =

A

Selbstevaluationen sowie Evaluationen, bei denen die EvaluatorInnen aus der gleichen Einrichtung kommen, jedoch nicht direkt an der Maßnahme beteiligt sind

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
26
Q

Externe Evaluation =

A

Bewertung durch unabhängige ExpertInnen, die in keiner Beziehung zu der Einrichtung bzw. der Maßnahme stehen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
27
Q

Vorteile von internen Evaluationen

A

EvaluatorInnen sind mit Gegenstand gut vertraut –> Evaluation ist ökonomisch!
–> hohes Commitment

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
28
Q

Nachteile von internen Evaluationen

A

Gefahr der Parteilichkeit und Urteilsverfälschung

häufig fehlende methodische Expertise

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
29
Q

Anhand von was kann Evaluation noch differenziert werden?

A

Verantwortlichkeit für die Zielsetzung:

  • intern konzipierte Evaluationen: Institution setzt sich selbst Evaluationsziele
  • extern konzipierte Evaluationen: Evaluationsziele werden von übergeordneten Einrichtungen/Behörden formuliert
30
Q

Gruppen von Funktionen von Evaluationen

A
  • E. als Bewertung ohne klare Zielsetzung
  • E. als Entscheidungsunterstützung
  • E. als Optimierungsgrundlage
  • E. als strategisches Instrument
31
Q

Funktionen von Evaluation als strategisches Instrument

A
  • Nutzung des Evaluationsprozesses zur Erhöhung der Motivation und Leistung der MitarbeiterInnen
  • Evaluation als Durchsetzungshilfe für eine bestimmte Entscheidung, als Umsetzungshilfe für eine wenig akzeptierte Entscheidung bzw. als Verantwortungsdelegation für eine negative Entscheidung
  • Symbolische oder ritualisierte Funktion von Evaluation: Durchführung nur zur Erfüllung gesetzlicher Vorschriften oder Vorgaben von GeldgeberInnen bzw. EntscheidungsträgerInnen
32
Q

Ebenen der Evaluation nach Kirkpatrick

A

Ebene 1 - Reaktion: Erfassung der Akzeptanz einer Maßnahme/eines Programms –> Akzeptanz ist meistens Voraussetzung für Lernen
Ebene 2- Lernen: Erfassung des Ausmaßes, in dem TeilnehmerInnen an einer Maßnahme/einem Programm als direkte Folge der Teilnahme ihr Wissen bzw. ihre Fertigkeiten erweitert oder ihre Einstellungen verändert haben
Ebene 3 - Verhalten: Erfassung des Transfers des Gelernten auf Alltagssituationen
Ebene 4- Ergebnisse: Erfassung der Veränderungen auf Organisations- bzw. Systemebene

33
Q

Wie lässt sich Akzeptanz der Evaluation durch die Betroffenen erreichen?

A

Konsequenzen der Evaluation bereits im Vorfeld begründet und mitgeteilt –> im Optimalfall mit Betroffenen ausgehandelt

34
Q

Neue Ansätze wie aus Evaluationsprozess systematisch gelernt werden kann

A
  • participatory
  • collaborative
  • utilization-focused
  • empowerment
35
Q

Gemeinsamkeiten der neuen Ansätze der Evaluationsprozesse

A
  • Evaluation wird in Prozess der Partizipation und Kooperation durchgeführt in dem externe ExpertInnen als Coaches fungieren
  • Betroffene werden dabei unterstützt ihre eigenen Evaluationen durchzuführen und damit gleichzeitig die Logik von Evaluationen zu lernen
  • Im Zentrum steht der Kreisprozess: Reflexion –> Bewertung –>Verbesserung
  • Zentrales Ziel: Etablierung einer Evaluationskultur
36
Q

Was realisieren Kinder mit 3J in Beug auf ihre Identität?

A

Ihr eigenes Geschlecht und die angemessenen Verhaltensweisen für Mädchen und Jungen.

37
Q

Übernehmen Jungen oder Mädchen eher traditionelle Rollen? (alte Studie)

A

Mädchen

38
Q

Haben ältere oder jüngere Kinder stärkere Ansichten bzgl. genderstereotypisiertem Verhalten?

A

ältere

39
Q

Biologische Theorien zu Geschlechtsstereotypen

A
  • entstehen durch frühen Einfluss von Genen und Hormonen

- Verhalten basiert auf Evolution

40
Q

Soziale Theorien zu Geschlechtsstereotypen

A

Verhaltensmuster die auf Verstärkung, Imitation und Identifikation basieren

41
Q

Kognitive Theorien zu Geschlechtsstereotypen

A

basieren auf Kohlbergs Theorie:

  • Genderkonstanz mit 7J erreicht
  • Kinder verstehen, dass Gender nicht das ganze Leben über veränderbar ist
  • Entwicklung der Genderidentität hängt stark mit geschlechtsstereotypischen Ansichten zusammen
42
Q

Gender-Schema Theorie von Bem

A
  • Kognitive Theorie
  • Geschlechtsstereotype Ansichten und Verhaltensweisen bei Kindern werden ausgelöst durch kognitive Entwicklung sowie soziales Lernen
43
Q

Welche Tests wurden bei der Studie von Kanka et al. für Kinder verwendet?

A
  • SERLI (Sex Role Learning Index)
  • Model of Gender-Stereotyping (Trautner)
  • Fragen über Alltag im Kindergarten
44
Q

Welche Tests wurden bei der Studie von Kanka et al. für Eltern verwendet?

A
  • Fragen über Alltag im Kindergarten (gleiche wie bei Kindern)
  • Fragebogen
45
Q

Haben die Kinder in der Studie von Kanka et al. Objekte oder Verhaltensweisen stärker stereotypisiert?

A

Objekte

46
Q

Zeigen ältere oder jüngere Kinder eher geschlechtsstereotype Verhaltensweisen?

A

ältere

47
Q

Ergebnisse der Studie von Kanka et al. bezüglich Geschlechtsstereotypen von Kindern und ihren Eltern?

A
  • Jungen haben stereotypisierendere Ansichten und Verhaltensweisen
  • Eltern von Jungen schätzen das Verhalten ihrer Söhne stereotypisiert ein (und haben damit auch Recht)
  • Mädchen verhalten sich weniger stereotypisiert und haben auch offenere Ansichten
  • Mädchen verhalten sich weniger stereotypisiert als ihre Eltern erwarten würden
  • Eltern erwarten dass Mädchen stereotypischeres Verhalten zeigen als Jungen
48
Q

Häufige Probleme der Evaluation in der Praxis

A
  • Maßnahmen werden ohne klare Zielsetzungen durchgeführt
  • Ziele sind unpräzise formuliert
  • es gibt divergierende Ziele
  • Ziele und Maßnahmen korrespondieren nicht
49
Q

3 Hauptzwecke der Evaluation

A
  • Bereitstellung von Informationen zur Optimierung eines Gegenstandes
  • als Entscheidungsgrundlage
  • zur Informationssammlung ohne klare Zielsetzung
50
Q

Wie identifiziert man möglichst alle Zielgruppen bei einer Evaluation? (Ablauf)

A

Assoziationsketten –> hinsichtlich der relevanten Merkmale differenzieren –> Reduktion auf relevante Teilgruppen (Ressourcen spielen dabei große Rolle!)

51
Q

Was sollte vor der Zielexplikation geklärt werden?

A

die Ressourcenlage im Zusammenhang mit der Funktion der Evaluation und der Zielgruppenbestimmung

52
Q

Wie erfolgt eine Zielexplikation?

A

Ein oder mehrere Workshops durchgeführt an denen zumindest ein entscheidungsbefugter Repräsentant des Auftraggebers teilnimmt, sowie VertreterInnen sämtlicher relevanter Stakeholdergruppen

  • Auswahl der Teilnehmer erfolgt stratifiziert mit Unterstützung des Auftraggebers
  • Einsatz von Moderationstechniken
53
Q

3 Fragen, die in der Zielexplikation von Maßnahmen/Programmen beantwortet werden sollen?

A
  1. Welche Ziele sollen mit der Maßnahme/dem Programm erreicht werden?
  2. Wie sollen diese Ziele erreicht werden?
  3. Woran erkennt man die Zielerreichung?
54
Q

Wie wird die erste Frage der Zielexplikation beantwortet?

A

optimalerweise EvaluatorInnen bereits in Bestimmung der Maßnahmenziele eingebunden –> mit Moderationstechniken werden Ziele präzisiert, Widersprüche aufgelöst und Zielhierarchien erstellt

55
Q

Wie wird die zweite Frage der Zielexplikation beantwortet?

A

Hier geht es um Kongruenz zwischen Zielen und Maßnahme –> Klärung, ob die zur Realisierung der Maßnahme erforderlichen Ressourcen im notwendigen Ausmaß vorhanden (materielle und immaterielle)

56
Q

Wie wird die dritte Frage der Zielexplikation beantwortet?

A

Hier geht es um die Identifikation geeigneter messbarer Indikatoren (=Operationalisierung) –> von Maßnahmezielen zu Evaluationszielen kommen –> möglichst konkrete Angaben machen –> erarbeitete Indikatoren stellen Basis für Auswahl/Entwicklung der Evaluationsinstrumente dar –> für jeden erarbeiteten Indikator sollten Erfolgskriterien benannt werden

57
Q

Welche Organisation hat Empfehlungen für Auftraggebende von Evaluationen publiziert?

A

DeGEval - Gesellschaft für Evaluation

58
Q

Wann und wo wurde das erste Mal ein großer Diskursprozess zur Entwicklung von Leitlinien für die Evaluationspraxis in Gang gesetzt?

A

70er Jahre in USA

59
Q

Welche Organisation erarbeitete und publizierte internationale Evaluationsstandards und wie sind diese gegliedert?

A

Joint Commitee on Standards for Educational Evaluation (JCSEE)

  • 30 Evaluationsstandards
  • 4 Bereiche:
  • -> Utility (Nützlichkeit)
  • -> Feasability (Durchführbarkeit)
  • -> Propriety (Fairness)
  • -> Accuracy (Genauigkeit)
60
Q

2 Beispiele für nationale Evaluationsgesellschaften die Leitlinien zur Qualitätssicherung auf Basis der Standards der JCSEE publizierten

A
  • Guiding Principles for Evaluators von der American Evaluation Association
  • Evaluation-Standards von der Schweizerischen Evaluationsgesellschaft
61
Q

Evaluationsguidelines der OECD

A

PUMA - Public Management Service Best Practice Guidelines for Evaluation

62
Q

Wozu Evaluationsstandards?

A
  • Dialoginstrument für Austausch über Qualität von professionellen Evaluationen
  • Orientierung bei Planung und Durchführung
  • Transparenz
63
Q

DeGEval: Nützlichkeit

A

Nützlichkeitsstandrads sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen NutzerInnen ausrichtet

64
Q

DeGEval: Durchführbarkeit

A

Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird

65
Q

DeGEval: Fairness

A

Fairnessstandards sollen sicherstellen , dass in einer Evaluation respektvoll und fair mit den Betroffenen Personen und Gruppen umgegangen wird

66
Q

DeGEval: Genauigkeit

A

Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervorbringt und vermittelt

67
Q

8 Nützlichkeitsstandrads

A
  • Identifizierung der Beteiligten und Betroffenen
  • Klärung der Evaluationszwecke
  • Glaubwürdigkeit und Kompetenz der EvaluatorInnen
  • Auswahl und Umfang der Informationen
  • Transparenz von Werten
  • Vollständigkeit und Klarheit der Berichterstattung
  • Rechtzeitigkeit der Evaluation
  • Nutzung und Nutzen der Evaluation
68
Q

3 Durchführbarkeitsstandrads

A
  • Angemessene Verfahren
  • Diplomatisches Vorgehen
  • Effizienz von Evaluation
69
Q

5 Fairnessstandards

A
  • Formale Vereinbarungen
  • Schutz individueller Rechte
  • Vollständige und faire Überprüfung
  • Unparteiische Durchführung und Berichterstattung
  • Offenlegung der Ergebnisse
70
Q

9 Genauigkeitsstandards

A
  • Beschreibung des Evaluationsgegenstandes
  • Kontext-Analyse
  • Beschreibung von Zwecken und Vorgehen
  • Angabe von Informationsquellen
  • Valide und reliable Informationen
  • Systematische Fehlerprüfung
  • Analyse qualitativer und quantitativer Informationen
  • Begründete Schlussfolgerungen
  • Meta-Evaluation