Methoden der Zielskalierung & Ergebnisevaluation Flashcards

(69 cards)

1
Q

Definition Veränderungsmessung:

A

Beschreiben, ggf. Erklären & Vorhersagen wahrer Merkmalsveränderungen von mindestens einer Person über mindestens zwei Zeitpunkte

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

• Endogene Merkmalsfluktuationen

A

: z.B. selbstaktivierte individuelle personale & soziale Ressourcen→„spontane Remission“

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

• Exogene Merkmalsfluktuationen:

A

durch Wirkung exogener Intervention induzierte Merkmalsveränderung

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

• Ziele der Veränderungsmessung

A

– Efficacy: Wirksamkeitsnachweis im Labor
– Effectiveness: Brauchbarkeit in Routinepraxis
– Efficiency: Wirtschaftlichkeit der Intervention

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

– Efficacy:

A

Wirksamkeitsnachweis im Labor

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

– Effectiveness:

A

Brauchbarkeit in Routinepraxis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

– Efficiency:

A

Wirtschaftlichkeit der Intervention

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Evaluation:

A

systematische, wissenschaftlich fundierte Bewertung interventions- psychologischer Maßnahmen aufgrund empirisch gewonnener Datenbasis

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

• Intern:

A

durch eigene Mitarbeiter durchgeführt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

• Extern:

A

durch fremde Mitarbeiter durchgeführt

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

§§ 135-138 im SGB V:

A

Qualitätssicherung in der Gesundheitsversorgung
Qualitätssicherung: verschiedene Ansätze und Maßnahmen zur systematischen & kontinuierlichen Hinterfragung, Bewertung, Förderung und ggf.- Verbesserung der Qualität gesundheitsbezogener Dienstleistungen/Interventionen (Versorgungspraxis)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Evaluation von GP-Interventionen

A
  1. Ergebnis- oder Erfolgsevaluation
    (War die Intervention/die Sitzung erfolgreich?)
    Bezieht sich auf die Interventionsziele & hat zwei Perspektiven
    a. Ergebnisperspektive bzw. -evaluation
    Aufgabe: Effekte der Intervention abschließend erfassen, Wirksamkeits- nachweis erbringen
    = summative Evaluation
    b.Verlaufsperspektive bzw. - evaluation
    Gegenstand: Entwicklung der Veränderung, Annähe- rung an Interventionsziele, adaptive Veränderungen
    = formative Evaluation
    = Qualitätssicherung: Ergebnisqualität-Monitoring
    2.Prozessevaluation
    (Was hat wie gewirkt?)
    Bezieht sich auf den Interventionsprozess
    a.Aufgabe: Entwicklung des Interventionsprozesses auf personaler & interpersonaler Ebene erfassen (z.B. Diagnostik der Wirkfaktoren mit Berner Stundenbogen)
    =Qualitätssicherung:
    Prozessqualität-Monitoring5
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)
Inhalt:

A

Erfassen des Grades der Erreichung selbstgesteckter Ziele

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Interventionszielverwirklichung: Goal Attainment Scale

Schritt 1:

A

Festlegung eines/mehrerer Ziele, ggf. von Ober- & Unterzielen

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Ziele sollen SMART formuliert werden

A

S – spezifisch (konkret, eindeutig & präzise formuliert)
M – messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)
A – aktionsorientiert & attraktiv
(positiv & aktionsorientiert formuliertes Ziel→Vorfreude) R – realistisch (unter eigener Kontrolle, erreichbar)
T – terminiert (bis wann soll Ziel erreicht sein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

S –

A

spezifisch (konkret, eindeutig & präzise formuliert)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

M –

A

messbar (Erfolgskriterium, das sich überprüfen lässt →Woran genau merke ich, dass das Ziel erreicht ist?)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

A –

A

aktionsorientiert & attraktiv

positiv & aktionsorientiert formuliertes Ziel→Vorfreude

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

R –

A

realistisch (unter eigener Kontrolle, erreichbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

T –

A

terminiert (bis wann soll Ziel erreicht sein)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011)

Schritt 2:

A

Bilden messbarer Kriterien/Indikatoren, die angeben, wie die Zielerreichung festgestellt werden kann (Indikator ergibt sich oft aus Maßnahme der Zielerreichung)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Indikatoren sollen ZWERG sein

A

Z - Zentrale Bedeutung (Indikator liefert aussagekräftige
Hinweise auf jeweiliges Ziel)
W - Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)
E - Einfachheit (Indikator gut verständlich & nachvollziehbar) R - Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar) G - Genauigkeit (Indikator bietet verlässlichen Maßstab)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Z -

A
Zentrale Bedeutung (Indikator liefert aussagekräftige
Hinweise auf jeweiliges Ziel)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

W -

A

Wirtschaftlichkeit (Erhebungsaufwand ist vertretbar)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
E -
Einfachheit (Indikator gut verständlich & nachvollziehbar)
26
R -
Rechtzeitigkeit (Daten zu nützlichem Zeitpunkt verfügbar)
27
G -
Genauigkeit (Indikator bietet verlässlichen Maßstab)
28
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011) Schritt 3:
Bilden der 5-stufigen Zielskala
29
Schritt 3: Bilden der 5-stufigen Zielskala
``` +2 = viel mehr als erwartet +1 = mehr als erwartet 0 = realistischer Sollwert, folgt direkt aus ZWERG-Indikator -1 = weniger als erwartet -2 = viel weniger als erwartet ```
30
Interventionszielverwirklichung: Goal Attainment Scale (Schäfer & Kolip, 2010, 2011) Schritt 4:
Prüfen der gebildeten Zielerreichungsskala auf Korrektheit Wichtig : Zielerreichungsskala sollte ... a) möglichst nur 1 Indikator enthalten b) keine Überschneidungen/Lücken zwischen den Stufen aufweisen c) alle fünf Zielerreichungsgrade ausformuliert vorliegen d) Auf jeder Stufe eindeutig und verständlich formuliert sein
31
Schritt 5:
Bewertung der Zielerreichung • Vorgehen: partizipativ zum vorher festgelegten Zeitpunkt • Bewertung der Indikatoren: z.T. direkt, z.T. unter Rückgriff auf weitere diagnostische Verfahren (Tests, Fragebögen...) & Begleitdokumentation
32
Indirekte Veränderungsmessung: RCI (Krampen & Hank, 2008; Schmidt-Atzert & Amelang, 2012) Idee:
relevante (meist symptomorientierte, änderungssensitve) Verfahren zu Beginn und Ende der Intervention vorgelegt→aus beobachteter Differenz indirekt auf erfolgte Veränderung geschlossen
33
Veränderungsindex („reliable change index“ RCI oder RC):
* Frage: Hat sich Person nach Intervention tatsächlich /überzufällig geändert? * RCI-Rationale: Differenz der Prä-Post-Werte im Verhältnis zum Standardmessfehler der Differenzen in der Referenzstichprobe → z-verteilt
34
Interpretation RCI:
reliable Veränderung, wenn |RCI| > 1.96, p < .05
35
Klinische Relevanz einer Veränderung:
Beurteilung abhängig von Zielen & Standards, die neben der rein statistischen Beurteilung der Veränderung auch von Normen des Klienten, Intervenierenden, sozialrechtlichen Systemen etc. abhängen können
36
klinisch bedeutsamen Symptomreduktion (Jacobson & Truax, 1991):
• notwendig: Merkmal war vor der Intervention im klinisch sign. Bereich (z.B. über 2 SD vom Mittel entfernt)! • nach Intervention: bestenfalls Heilung (Symptomfreiheit) • oder: zumindest merkliche Symptom- bzw. Problemreduktion (d.h. Wechsel von „Population mit Störung“→„gesunder Population“)
37
3 Operationalisierungen für klinisch bedeutsame Symptomreduktion (Jacobson & Truax, 1991)
a) Ausmaß der Symptomatik liegt nach der Intervention mindestens 2 SD unter dem Mittelwert der „Population mit Störung“ b) Ausmaß der Symptomatik liegt nach der Intervention innerhalb von M  2 SD einer nicht gestörten Population c) Symptomausprägung liegt nach der Intervention näher am Mittelwert der nicht gestörten Population als am Mittelwert der gestörten Population Problem: je nach Kriterium kann Einschätzung der klinischen Bedeutsamkeit unterschiedlich ausfallen!
38
• Kriterium a:
Normwerte nur für klinische Population verfügbar
39
• Kriterium b:
Normwerte für „gesunde“ & „klinische“ Population verfügbar & beide Verteilungen überlappen wenig→Kriterium b näher am Mittel der „gesunden“ Gruppe als Kriterium c (Kriterium b ist hier „strenger“)
40
• Kriterium c:
beide Verteilungen überlappen stärker (Kriterium b weiter vom Mittel der „gesunden“ Gruppe entfernt) →„strengeres“ Kriterium c 1
41
Klinisch bedeutsame Verbesserung ist gegeben, wenn
1. Ausgangswert vor Intervention hat klinisch relevante Ausprägung und 2. Veränderungsindex |RCI| > 1.96 (Änderung ist signifikant) und 3. Ausprägung der Symptomatik unterschreitet nach der Intervention einen bestimmten Schwellenwert in Richtung des Mittelwertes der nichtklinischen Population (prüfe Kriterien nach Jacobson & Truax) Folge: Personen können sich zwar in ihrer Symptomausprägung signifikant ändern, sind aber ggf. nicht notwendig auch „symptomfrei“ oder „geheilt“
42
Indirekte Veränderungsmessung: Vorteile
1. Pro: Weniger anfällig für absichtliche Verzerrungen | 2. Pro: Guter Indikator für „objektivierbare“ Veränderungen
43
Indirekte Veränderungsmessung: Nachteile
Systematische Fehlerquellen: • Erinnerungseffekte: Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen) • Testübung: Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung) • Sensibilisierung für Fragestellung: aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert) • Zwischenzeitliches Geschehen: außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst) • Response shift: subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression) • Regression zur Mitte: bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt) • ggf. geringe Reliabilität der Differenzwerte • Verfahren muss anderungssensitiv sein: dies erfordert ... • veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit) • Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen) • Itemschwierigkeit (nicht zu schwer, nicht zu leicht) • feiner differenzierte Skalenstufen • Physikalismus-Subjektivismus-Dilemma: entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene? • Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)
44
• Erinnerungseffekte:
Erinnern an und Wiederholen von früheren Antworten (insbesondere bei kurzen Messabständen)
45
• Testübung:
Vertrautheit mit Testmaterial beeinflusst Testperformanz (z.B. vebessert bei IQ-Test die Testleistung)
46
• Sensibilisierung für Fragestellung:
aufgrund der ersten Befragung wird erwartetes Antwortverhalten antizipiert und ausgeführt (oder verweigert)
47
• Zwischenzeitliches Geschehen:
außerhalb der Intervention liegende Einflüsse auf Zielverhalten (z.B. Bombendrohungen bei Flugangst)
48
• Response shift:
subjektive Repräsentation des Merkmals und damit die Validität des Messverfahrens verändern sich über die Zeit (z.B. Verständnis von Depression)
49
• Regression zur Mitte:
bei extremen Ausgangswerte sind größere Änderungen zu erwarten als bei moderaten→„wahre“ Veränderung überschätzt (Artefakt) • ggf. geringe Reliabilität der Differenzwerte
50
• Verfahren muss anderungssensitiv sein: dies erfordert ...
* veränderbares Merkmal (States statt zeitstabile Traits oder Gewohnheit) * Beurteilungszeitraum (z.B. 7 Tage) < Interventionszeitraum (z.B. 8 Wochen) * Itemschwierigkeit (nicht zu schwer, nicht zu leicht) * feiner differenzierte Skalenstufen
51
• Physikalismus-Subjektivismus-Dilemma:
entspricht Messwertkontinuum einem Kontinuum auf subjektiv-psychologischer Ebene? • Folge: gleiche Differenzwerte zwischen verschiedenen Punkten der Skala haben ggf. andere subjektive Bedeutung (z.B. 75→65 vs. 55→45)
52
Direkte Veränderungsmessung:Idee:
subjektive Messwertskala der Person direkt zum Vergleich herangezogen →erfasst in 1 Messung für gegebenen Zeitraum subjektiv erlebte Änderung
53
• Instrumente der direkten Veränderungsmessung
* retrospektive Einschätzung der Zufriedenheit mit Ergebnis * Goal Attainment Scaling * Veränderungsfragebogen des Erlebens & Verhaltens (VEV-K; Kriebel et al., 2001) * Veränderungsfragebogen zum Entspannungserleben und Befinden – Psychotherapie (VFE-PT)
54
Vergleichsnormen: direkte Veränderungsmessung
experimentelle Designs→Vergleich der Nachtest- Ergebnisse der Experimentalgruppe mit Änderungen in Wartegruppe
55
Veränderungsfragebogen zum Entspannungserleben und befinden – Psychotherapie (VFE-PT) (Krampen, 2010) • Veränderungsnormen: durch
Vergleich von Therapie- & Wartegruppe
56
Direkte Veränderungsmessung: Vorteile
1. Pro: keine Regressionseffekte & Reliabilitäts-Validitäts-Probleme 2. Pro: ökonomischer (1-Punkt-Messung) Indikator subjektiv erlebter Änderung
57
Direkte Veränderungsmessung: Nachteile
• Konfirmationseffekt: Antwortverhalten bestätigt die vorgefasste Erwartung • selektive Informationsgewichtung: stärkere Gewichtung von Ereignissen zu Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt) • Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt (Assimilationseffekt) oder überschätzt (Kontrasteffekt) • Response-Shift: Merkmalsrepräsentation subjektiv verändert • Antworttendenzen (bei Krampen, 2010, kein Problem) • Erinnerungsprobleme (bei längerem Interventionsprozess & Gedächtnisproblem)
58
• Konfirmationseffekt:
Antwortverhalten bestätigt die vorgefasste Erwartung
59
• selektive Informationsgewichtung:
stärkere Gewichtung von Ereignissen zu | Beginn und/oder am Ende der Intervention (Primacy & Recency-Effekt)
60
• Abweichungen von ursprünglicher Erwartung/ Zustand unterschätzt
(Assimilationseffekt) oder überschätzt (Kontrasteffekt)
61
• Response-Shift:
Merkmalsrepräsentation subjektiv verändert
62
• Antworttendenzen
(bei Krampen, 2010, kein Problem)
63
• Erinnerungsprobleme
(bei längerem Interventionsprozess & Gedächtnisproblem)
64
• direkte & indirekte Veränderungsmessung haben
z.T. unterschiedliche Vor- und Nachteile
65
• direkte Veränderungsmessung keine
Alternative zur indirekten Messung
66
• direkte & indirekte Veränderungsmessung sind
komplementäre (d.h. einander ergänzende) Methoden der Veränderungsmessung
67
• gut abgesichertes Interventionsergebnis:
nach Prinzip multimethodaler und multimodaler Messung direkte und indirekte Methode kombinieren
68
• positiv für Einzelfall:
indirekte und direkte Messung sind konsistent
69
• Inkonsistenz direkt & indirekt:
Abwägen der Bedeutsamkeit der Fehlerquellen beider Strategien für den jeweiligen Einzelfall→in Urteil einbeziehen (z.B. Vergesslichkeit & VEV-K bei großen Intervallen)