Wirksamkeit von Evaluationsprogrammen/Gütekriterien für Kriteriumsmaße Flashcards
Wirksamkeit von Interventionsprogrammen
relativer Konsens heute:
Wirksamkeit als Kriterium muss multimodel erfasst werden
Evaluations- / Effektivitätskriterien
Empirische Gütekriterien
Gütekriterien, deren Erreichen mit einer einzigen
Untersuchung ermittelt werden können.
Was ist kein Gewähr für Wirksamkeit?
- Wissenschaftliche Fundierbarkeit
- Sorgfalt bei der Konzeption
- Sorgfalt bei der Konstruktion
Ausführungsintegrität: Typische Argumente Nachweis der Unwirksamkeit
- Programm wurde nicht gemäß den Vorgaben der
Autoren durchgeführt - Keine Durchführung gemäß den Vorgaben modaler
Praxis - Durchführung ohne Kontrolle ob Programm von den
Betroffenen in der beabsichtigten Weise bearbeitet
worden ist
-> Fehlende Wirksamkeit dann nicht aufgrund der IM
Wann kann ein Interventionsprogramm als wirksam bezeichnet werden?
- Ausmaß der Veränderungen oder Verbesserungen: wenn sie als hinreichend intensiv bewertete Veränderungen (hinsichtlich ihrer internen programmspezifischen Ziele) erzeugt
ODER - Ausmaß der Zielerreichung:
wenn sie sich ihren internen Zielen hinreichend annähert bzw. diese erreicht
Hierbei müssen Störfaktoren kontrolliert werden (sowohl SF, die Veränderung/Zielerreichung vortäuschen, als auch SF, die diese maskieren)
Woran ist der Wirksamkeitsnachweis bei Training, Beratung, Therapie und Unterricht gebunden?
An das Auftreten eines zeitlichen Transfers (Persistenz, Dauer)
Hinreichend intensive Veränderungen in Bezug auf die externen Ziele -> überdauernder Anforderungs- und Situationstransfer
Was sagt uns der p-Wert?
Spricht die Verteilung der Stichprobe überzufällig stakr für die eigene Hypothese?
Statistische Signifikanz und Effektgrößen als allgemeine Wirksamkeitskriterien
Rolle der statistischen Tests: Ist die Wirkung größer als durch Zufallsschwankungen zu erwarten ist
Rolle der Effektgrößen: Wie intensiv ist die Wirkung?
Gruppenanalyse
+ bessere Sichtbarkeit der internen Validität
- nur Aussagen über hypothetisch mittlere Personen
Einzelfallanalyse
+ Hypothesen für einzelne Person prüfbar
- geringere interne Validität als Gruppenanalysen
Wichtige Variante der Erfolgserfassung: Nachtesterhebung
Geeignet um auf Anforderungs- und Situationstransfer zu schließen (ohne zeitlichen Transfer!)
Je unähnlicher die Kriteriumsaufgaben den Programmaufgaben sind, desto höher der Anforderungstransfer.
Je unähnlicher die Erhebungskontexte den Interventionskontexten, desto höher der Situationstransfer
Spezifische Gütemerkmale für die Kriteriumsmaße
Zieladäquatheit Transferabstand Ausgewogenheit bei vergleichenden Evaluationen Moderatorvariablen Validität und Reliabilität
Zieladäquatheit
Maße spezifisch auswählen anhand interner/externer Ziele
Mehrere Ziele erfordern mehrer Maße
Transferabstand
min. eine Follow-Up-Erhebung für L-Kompetenzen notwendig
Ausgewogenheit bei vergleichenden Evaluationen
man benötigt Maße, die von allen Vergleichsprogrammen gleich weit entfernt sind
