Brainscape's Knowledge GenomeTM

Browse over 1 million classes created by top students, professors, publishers, and experts.


See full index

Evaluation > Rahmenkonzept zur Evaluation psychologischer Interventionen > Flashcards

Rahmenkonzept zur Evaluation psychologischer Interventionen Flashcards

1
Q

Evaluation

A

Ziel- und zweckorientierter Prozess zur
Bewertung eines Evaluationsobjektes
• Impliziert nicht, dass wissenschaftliche Methoden
oder Techniken verwendet werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Evaluationsforschung

A

Systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Bewertung von Interventionsprogrammen
• Miteinbeziehen der verschiedenen Phasen der Entwicklung oder Erprobung
• keine Beschränkung auf den Nutzen eines
Programms

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Programmwirkung - und wirksamkeit

A

• Empirischer Nachweis der Wirksamkeit = zentrale Aufgabe der Evaluationsforschung
• Empirischer Nachweis der Wirksamkeit impliziert
jedoch nicht, dass dieser Wirksamkeit auch die
postulierten Wirkungen zugrunde liegen
• Bei der Evaluation der Programmwirkung sind zwei Fragenwichtig
•„ob“ die angestrebte Wirkung aufgetreten ist
•„warum“ die Wirkung aufgetreten ist

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Formative Evaluation

A

Zeitpunkt der Durchführung: Während der Entwicklung eines Programms
Ziel/Funktion: Komponenten und Prozesse verbessern
Art der Durchführung: Intern/durch Autoren selbst

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Summative Evaluation

A

Zeitpunkt der Durchführung: Nach Fertigstellung des Programms
Ziel/Funktion: Fragen bzgl. Wirksamkeit/Nutzen klären
Art der Durchführung: extern

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Zusätzliche Einteilung in globale und analytische

Evaluation

A

• Global: Programm wird als Ganzes bewertet
• Analytisch: einzelne Bestandteile oder Komponenten
werden bewertet

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Unterscheidung von fünf Evaluationsarten

A

Evaluation kann sich auf verschiedene zeitliche Phasen
beziehen, die ein Programm durchläuft:
1. Entwicklung und Evaluation der Programmkonzeption
2. Formative Evaluation
3. Evaluation der Programmdurchführung
4. Evaluation der Programmwirksamkeit
5. Evaluation der Programmeffizienz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Wozu gibt es die Unterscheidung der 5 Evaluationsarten

A

Unterscheidung dient v.a. dazu, die spezifischen Aufgaben und Arbeitsschritte zu verdeutlichen, die mit einer Evaluationsart verbunden sind
• welche Evaluationsart anzuwenden ist, hängt u.a. von dem Zeitpunkt der Evaluation und der Zielsetzung des
Evaluationsvorhabens ab
• wünschenswert: Programmevaluation umfasst alle fünf
Evaluationsarten
→ Ziel: vernünftige Schlussfolgerungen zur Weiterentwicklung eines Programmes in Theorie und Praxis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Entwicklung und Evaluation der Programmkonzeption

A

Vor der Erprobung des Programms

  • antizipatorische oder prospektive Evaluation
  • > dient der Analyse der Programmentwicklung, Bewertung der Konzeption und Ausgestaltung eines Programms vor dessen Erprobung
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Formative Evaluation

A

Während der Erprobung des Programms
- fortlaufende Evaluation, ggf. Modifikation der Programmkonzeption
-> ● dient der Verbesserung und Optimierung des Programmes unter Praxisbedingungen
● Methode:
– globale formative Evaluation
– analytisch-formative Evaluation
● Angewandt werden auch qualitative Analysen sowie
Erfolgs-/Ergebnisevaluationen
– Ergebnisevaluation können formativ durchgeführt
werden
– Erfolgsanalysen kann als Arbeitsschritt einer formativen Evaluation angesehen werden

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Evaluation der Programmdurchführung

A

Während der Durchführung des Programms
- Implementations- und Begleitforschung sowie Prozessevaluation
-> Kontrolle und Bewertung der Implementation des
Programmes im alltagspraktischen Einsatz

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Evaluation der Programmwirksamkeit

A

Während und nach der Durchführung des Programms

- Prozessevaluation, Ergebnis- oder Erfolgsevaluation

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Evaluation der Programmeffizienz

A 
Nach der Durchführung des Programms
- Kosten-Nutzen und Kosten-Effektivitäts-Analyse
● Ist ein Programm effizient?
→ Kosten-Effizienz-Analysen
● Wichtig wofür?
→ Rechtfertigung der Anwendung eines Programms
→ Einstellung
→ Auswahl zwischen Alternativen
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

5 Arbeitsschritte der Evaluation der Programmkonzeption

A

A1. Problembestimmung und Entscheidung über den Bereich der Intervention
• Anlass und Ausgangspunkt für Entwicklung neuer
Interventionsmaßnahmen: Wahrnehmung eines Problems
→ Beschreibung von Art, Ausmaß und Verteilung sowie Begründung für Bedarf
• Präzisierung von Ist-Soll- oder Wird-Soll-Diskrepanzen, die mithilfe von Programmen behoben bzw. verhindert werden sollen
A2. Zielbestimmung
• Unterscheidung von abstrakten Zielen und Operationszielen:
- Abstrakt: gewünschte Zielvorstellungen oder Ergebniszustände, oft vage formuliert
- OZ: Formulierung von empirisch erfassbaren Operationszielen unter Berücksichtigung theoretischer Modellvorstellungen
• beide Zielarten werden entweder als interne Ziele dem Programm vorgegeben oder als externe verbindliche Ziele an das Programm gestellt
• abstrakte Ziele richten sich auf nicht-beobachtbare
Kompetenzen
• obligatorische Ziele sind zu beachten, die in erster Linie LKompetenzen als Verhaltensdispositionen betreffen
• Programm als allgemein präventive Maßnahme? → bei allen Personen einer Zielgruppe
Programm als spezifische Interventionsmaßnahme? →
bestimmte Zielgruppe mit einem eng umschriebenem
Problembereich
A3. Konzeption und Gestaltung des Programms
• Um welche Art des Programms handelt es sich?
• Präzisierung der Programminhalte sowie der Vermittlungsmethoden und -strategien
➢ Ziel-Mittel-Bäume zur Systematisierung von potenziellen Programminhalten
➢ motivationale und kognitive (Lern-)Voraussetzungen der Zielpersonen beachten
• Von welchen Vermittlungspersonen soll das Programm im alltagspraktischen Gebrauch durchgeführt werden?
→ Voraussetzungen, vorausgehende Schulung, Supervision, …?
A4. Auswahl und Festlegung geeigneter diagnostischer Methoden und Verfahren
• Welche Zielindikatoren oder Kriteriumsmaße können zur Bewertung der Programmwirkungen bzw. des -erfolgs herangezogen werden?
➢ Repräsentieren Sie die Ziele / den Erfolg des Programms?
➢ Mit welchen diagnostischen Verfahren und Instrumenten lassen sich diese Ziele valide und reliabel erfassen?
➢ auch entscheidend, welche Wirkungen und Transferwirkungen erwartet werden
• diagnostische Auswahlkriterien für spezifische Zielgruppe
A5. Zusammenfassende Bewertung der Programmkonzeption
• Programmkonzeption als Ganzes als auch die einzelnen Komponenten mittels verschiedener Kriterien
• auch ohne empirische Belege zur Wirksamkeit und
Wirkungsweise sollte das Programm auf seine theoretischwissenschaftliche Fundierung überprüft werden
• zur Bewertung der Tragfähigkeit und Bewährtheit des
angenommenen Wirkmodells empirische Befunde und
Annahmen des zugrunde gelegten Theorie- und Forschungsbereiches heranziehen
• Durchführbarkeit, Angemessenheit und Akzeptanz aus
prospektiver Sicht beurteilen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Zusammenfassung: Zentrale Aufgaben und Arbeitsschritte bei der Evaluation der Programmkonzeption

A

A1) Problembestimmung und Entscheidung über den Bereich der Interventino
A2) Zielbestimmung
- Überführung allgemeiner Zielvorstellungen in Operationsziele
- Formulierung weiterer spezifischer Ziele
- ggf. Festlegung einer spezifischen Zielgruppe
A3) Konzeption und Gestaltung des Programms, hinsichtlich:
- Art und Inhalt
- der Vermittlungsmethode und -strategie
- der Vermittlungspersonen
A4) Auswahl geeigneter diagnostischer Methoden und Verfahren
- zur Ermittlung des angestrebten Programmerfolgs (Zielindikatoren, Kriteriumsmaße)
- und - soweit erforderlich - zur Erfassung der spezifischen Zielgruppe (Auswahlkriterium)
A5) Bewertung der Programmkonzeption im Hinblick auf
- ihre theoretisch-wissenschaftliche Fundierung
- die Tragfähigkeit und Bewährtheit der zugrunde gelegten Wirkmodelle
- die Durchführbarkeit, Angemessenheit und Akzeptanz im vorgesehenen Praxisfeld

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Zentrale Arbeitsschritte der formativen Evaluation

A

B1) Bewertung der Programmimplementation
B2) Bewertung und Zielsetzung des Programms
B3) Bewertung der Effizienz des Programms
B4) Darauf aufbauende weitere Schritte

17
Q

Aufgaben: Evaluation der Programmdurchführung

A

– Kontrolle der Programmausführung oder der
Ausführungsintegrität
C1) Supervision und Überwachung der Programmausführung
C2) Bewertung der Durchführbarkeit unter alltagspraktischen Bedingungen
– Prüfung der Programmreichweite
C3) Feststellung von Verzerrungen in der Programmreichweite
C4) Vergleich von Programmteilnehmern und Abbrechern
– Dokumentation der zur Durchführung eines
Programmes notwendigen Ressourcen und anfallenden Kosten zur Bestimmung der Programmeffizienz

18
Q

Evaluation der Programmwirksamkeit

A

„Ist ein Programm im Hinblick auf seine Zielsetzungen
wirksam?“
– Hier der Evaluation der Programmwirkungen zugeordnet
– Unterscheidung in Wirkungsanalyse und
Wirksamkeitsevaluation
– Programmwirkungen als Oberbegriff
● Die Frage nach der Wirksamkeit kann durch globale
Evaluationen beantwortet werden; die Frage nach den
Wirkungen hingegen durch analytische Evaluation und
eigens dafür geplante Untersuchungen
● Wirksamkeit von vorrangigen Interesse

19
Q

Wirksamkeitsevaluationen (Evaluation der Programmwirksamkeit)

A

● Unterteilt in Prozessevaluationen und in Erfolgs- oder
Ergebnisevaluationen
– Keine Alternativen, die sich ausschließen, sondern zur
Beantwortung anders gearteter Hypothesen
● Unterscheidung in isolierten und vergleichenden
Erfolgsevaluationen
– Isoliert: Feststellung der Wirksamkeit eines Programmes, evtl. im Vergleich zu anderer Interventionsmaßnahme mit anderen spezifischen Zielen; Hypothese über grundsätzliche Wirksamkeit
– Vergleichend: mehrere Programme mit gleicher Zielsetzung im Hinblick auf Wirksamkeit bewerten; Prüfung einer Wirksamkeitsunterschiedshypothese (z.B Äquivalenzhypothese)
● Es wird festgestellt, ob und wie sehr ein Programm die
vorformulierten Operationsziele (objectives) erreicht
● Wenn Veränderungen gemessen: Wirkungsintensität,
deren Dauer und möglichst die Intensität der
Dauerhaftigkeit einer Wirkung ermitteln

20
Q

Definition: Wirksamkeitsevaluationen

A

„Die zentrale wissenschaftliche Aufgabe von
Wirksamkeitsevaluationen besteht nun darin,
denjenigen Anteil an den insgesamt beobachteten
Veränderungen zu ermitteln, der allein auf die
durchgeführte Interventionsmaßnahme
zurückzuführen ist.“

21
Q

Zentrale Arbeitsschritte der Wirksamkeitsevaluation (Evaluation der Programmwirksamkeit)

A

D1 Steigerung von K-Kompetenzen
1. Isolierte Evaluation mit Zielgruppe (ZG) zur Ermittlung von K-Kompetenzen: Nachtest unmittelbar im Anschluss des Interventionsendes; Feststellung der Intensität der Wirksamkeit
2. Isolierte Evaluation mit ZG zur Ermittlung der Steigerung von K-Kompetenzen bei programmfernen Kriteriumsmaßen und/oder in interventionsfernen Kontexten; Feststellung Intensität der Transferarten; (fakultativ) auch Neben- und Folgewirkungen und ihrer Intensität nachgehen
3. Isolierte Evaluation zur Prüfung der Wirksamkeit einzelner Programmkomponenten (analytische
Komponentenevaluation) (fakultativ)

● D2 Verbesserung von L-Kompetenzen
1. Isolierte Evaluation mit ZG zur Ermittlung der
Verbesserung von L-Kompetenzen bei programmnahen Kriteriumsaufgaben: in Follow-up Untersuchung festzustellen, lediglich, ob zeitlicher Transfer vorliegt und wie intensiv er ausfällt (obligatorisch)
2. Isolierte Evaluation mit ZG zur Ermittlung der
Verbesserung von L-Kompetenzen bei programmfernen Kriteriumsmaßen; Vorhandensein, Intensität und Dauer des Transfers feststellen; Beachtung der längerfristigen Neben- und
Folgewirkungen
3. Isolierte Evaluation mit ZG zur Prüfung spezieller
Hypothesen über Wirkungen, Transfer usw. (fakultativ)

D3 Transfer auf Alltagsbereiche
1. Isolierte Evaluation mit ZG zur Ermittlung des Ausmaße von Transfer auf programmzielrelevante Alltagssituationen und -probleme (obligatorisch); Feststellung von speziellen Anforderungs-/ Situationstransfer, die erwartet werden

D4 Merkmale der ProgrammvermittlerInnen und der
Zielpersonen
1. Isolierte Evaluation zur Feststellung der Verlässlichkeit und Robustheit des Programmes (fakultativ, aber empfehlend)
2. Isolierte Evaluation zur Überprüfung differentieller
Programmwirkungen in verschiedenen ZG. (fakultativ)
3. Wirksamkeit für ganze Personengruppen („Gruppenanalysen) und Einzelpersonen untersuchen (obligatorisch)

D5 Art der Wirkungen des Programmes

  1. Isolierte Evaluation zur Prüfung der Art der Wirkungen des gesamten Programmes
  2. Isolierte Evaluation zur Prüfung der Art der Wirkungen einzelner Programmkomponenten; Voraussetzung: Wirksamkeitsnachweis (Sicht PraktikerInnen: fakultativ, Sicht Wissenschaft: obligatorisch)

D6 Weitere Fragestellungen und Hypothesen
–. Hypothesen, die sich auf Wirkung und/oder Wirksamkeit oder auf andere wichtig erscheinende Aspekte des Programmes und Randbedingungen beziehen (fakultativ)

D7 Metaevaluation bisheriger Evaluationen
– Soll Überblick verschaffen, damit der Praktiker sich nicht mit Details der Einzelstudien befassen muss; sollten nach Evaluationstypen und –paradigmen unterscheiden, folgen Gepflogenheiten von Metaanalysen (obligatorisch)

22
Q

Evaluation der Programmeffizienz

A

● Unterscheidung in zwei Formen von Kosten-EffizienzAnalyse:

  1. Kosten-Effektivitäts-Analyse
  2. Kosten-Nutzen-Analyse
23
Q

Können Probleme auftreten wenn man z.B.
psychologische Programme hinsichtlich der Effizienz
prüft?
● In welcher Hinsicht?

A

● Erhobene Werte werden aufgrund ethischer und
politischer Gründe oder der Interessenslage
unterschiedlich eingeschätzt
● Kosten und Nutzen können nicht objektiv bestimmt
werden

24
Q

Kosten-Effektivitäts-Analyse

A

● Kosten im Verhältnis zu den erzielten
Veränderungen in den Zielvariablen
→ nicht monetär
→ Nutzung bei Analysen, wo Programmwirkung
nicht in Geldeinheiten eingeteilt werden kann
● Problem: Nur Nützlich wenn zwei Programme mit
gleichen Zielen und gleichen Kriterien miteinander
verglichen werden
→ keine isolierte Evaluation möglich

25
Q

Kosten-Nutzen-Analyse

A

● Isolierte und vergleichende Evaluation möglich
● Bedingung: Kosten und Programmwirkung in
monetäre Einheiten umsetzen

26
Q

Arbeitsschritte der Kosten-Effizienz-Analyse (Evaluation der Programmeffizienz)

A

E1) Erfassung aller Programmkosten und Programmwirkungen
E2) Bestimmung der Gesamtkosten in Geldeinheiten
E3a) Bestimmung des Gesamtnutzens in Geldeinheiten
E3b) Bestimmung der Gesamtwirkung in Zieleinheiten
E4a) Bestimmung der Programmeffizienz
- Netto-Nutzen
- Netto-Nutzen-Quote
- Profirate
E4b) Bestimmung der Programmeffizienz
- Kosten je Messeinheit in der Zielvariable
- Kosten pro erfolgreich behandelter Zielperson

a= Kosten-Nutzen-Analyse
b= Kosten-Effektivitäts-Analyse
27
Q

E1) Erfassung aller Programmkosten und Programmwirkungen

A

● Kosten: Alle Leistungen und Ressourcen die zur
Durchführung des Programms benötigt und erwartet
werden
→ Personal
→ Material
→ Betriebskosten
● Programmkosten werden in Geldbeträge
umgesetzt
● Auftretende und erwartete Wirkungen auflisten

28
Q

E2) Bestimmung der Gesamtkosten in Geldeinheiten

A

● Erinnerung:
→ es existieren positive und negative Neben- und
Folgewirkungen
→ Wirkung lässt sich bei psychologischen
Interventionen nicht immer in monetäre Einheiten
umsetzen
● Dann geht nur Kosten-Effektivitäts-Analyse
● Zentrales Problem: Programmwirkung in
Geldeinheiten oder andere Einheiten umsetzen

29
Q

Nettonutzen

A

Nutzen (Geld) - Kosten (Geld)

30
Q

Netto-Nutzen-Quote

A 
→ Verhältnis von Nutzen und Kosten
→ Netto Nutzen / Kosten
Beispiel:
– Programm A: Kosten 400 Euro und Nutzen 3000
Euro pro Person
→ 2600 / 400 = 6.5
– Programm B: Kosten 600 Euro und Nutzen 4000
Euro pro Person
→ 3400 / 600 = 5.67
31
Q

Kosten-Effektivitäts-Analyse

A

→ Kosten pro erfolgreich behandelter Zielperson
Beispiel:
– A: Kosten 400 Euro, Erfolgsquote 40%
→ 400 / 0.4 = 1000 Euro
– B: Kosten 600 Euro, Erfolgsquote 80%
→ 600 / 0.8 = 750 Euro
Programm B effizienter in dieser Hinsicht

Evaluation (9 decks)

Brainscape helps you reach your goals faster, through stronger study habits.
© 2024 Bold Learning Solutions. Terms and Conditions