3.) Überprüfung der Wirksamkeit von Trainings

Question 1

🎯 Lernziele

Answer 1

🎯 Ideen für versch Untersuchungsdesigns kennenlernen

🎯 optimale Untersuchungsdesigns identifizieren

.

Question 2

🎯 Ideen für versch Untersuchungsdesigns kennenlernen

Answer 2

Experimentelle Designs: Grundbedingungen ☝️

Drei Grundbedingungen:

☝️ Bildung mindestens zweier experimenteller Gruppen

☝️ VPN werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen

☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

• > experimentelles Design (Abb.)
• > experimentelles Design (m-Kategorien) (Abb.)
• > Vorher-Nachher-Messung (Abb.)
• > Vier-Gruppen-Versuchsplan (nach Solomon (Abb.)

Experimentelle Designs: Randomisierung 🎲

➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲

🤷‍♀️ mögl Fehlerquellen d. Randomisierung ❌

❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)

❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)

❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl

• > Kontrollgruppenanordnung mit Vor- und Nachuntersuchung
• > Kontrollgruppenanordnung mit nur einer Nachuntersuchung
• je innere + äußere Gültigkeit

.

Question 3

🎯 optimale Untersuchungsdesigns identifizieren

Answer 3

☝️ Bedingungen für Praxistauglichkeit ☝️

☝️ Qualifikation zur Durchführung muss beschrieben sein

☝️ Qualifikation muss lehr- und lernbar sein.

☝️ detaillierte Beschreibung für lückenlose Durchführung

☝️ Risiko von Verfahrensfehlern sollte gering sein

☝️ Training als Chance

☝️ Adressengerechtes Material

☝️ Berücksichtigung der Lebenswelt

Praxistauglichkeit: CHECKLISTE ✔️

✔️ Sind die Ziele des Programms explizit beschrieben?

✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)?

✔️ Gibt es eine Angabe, für wen das Programm geeignet ist?

✔️ Sind die Trainingsmethoden rational begründet?

✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)?

✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen?

✔️ Sind die Materialien adressatengerecht?

✔️ Ist das Training klar strukturiert und übersichtlich?

✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich?

✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu?

.

Question 4

📋 Advance Organizer

Answer 4

📋 Effekte + Validitätsaspekte
📋 experimentelle Designs
📋 Übungen zum experimentellen Design
📋 P-Lounge: Reflexion
📋 Bedingungen für die Praxistauglichkeit

.

Question 5

❓ Welche Effekte gibt es?

🔺 Trainingseffekte 🏋️‍♀️

Answer 5

🏋️‍♀️ Transfer, der über die geübten Aufgaben hinausgehen

🏋️‍♀️ Nachhaltigkeit (🔺Follow-up)

🏋️‍♀️ differentielle Effekte (z.B. „🔺Matthäus-Effekt)

.

Question 6

❓ Welche Effekte gibt es?

🔺 geplante Effekte 🧐

Answer 6

🧐 Das Training soll das halten, was es verspricht!

🧐 Förderung kann breit oder spezifisch angelegt sein.

.

Question 7

❓ Welche Effekte gibt es?

🔺 Breite und Wirksamkeit ✔️

Answer 7

✔️ „… je breiter ein Programm angelegt ist, desto geringer sind die erreichbaren Wirkungen und umgekehrt“

(Klauer, 2001)

✔️ ABER, spezifische Programme können auch breite Effekte zeigen (s.o.)

.

Question 8

❓ Welche Effekte gibt es?

🔺 diffuse Effekte 🥴

Answer 8

🥴Neuartigkeit und Attraktivität

🥴Zuwendung

🥴Erwartungen / Placebo

🥴 Spill over (⚪️Fairplayer)

.

Question 9

❓ Welche Effekte gibt es?

🔺 unerwünschte Nebenwirkungen 🙉

Answer 9

🙉 Training als Strafarbeit

🙉 Langeweile

🙉 ungünstige Beziehungen zu Trainer:innen

🙉 Angst vor Versagen

.

Question 10

Wirksamkeitsprüfung 🔎

Answer 10

➡️ Zwei Aspekte der Wirksamkeitsüberprüfung:

🔬 Untersuchung

▫️ Notwendigkeit von Kontrollgruppendesigns

🏋️‍♀️ Trainingseffekte 🏋️‍♀️

▫️ insb Nachhaltigkeit + Transfer sollten experimentell nachgewiesen werden

.

Question 11

Validitätsaspekte der Wirksamkeitsprüfung

nach Cook + Campbell, 1979; Lösel + Nowack, 1987

Answer 11

➡️ Statistische Validität

➡️ Interne Validität i.e.S.

➡️ Konstruktvalidität

➡️ Externe Validität i.e.S.

➡️ Deskriptive Validität

🔺 Statistische Validität:

▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?

🔺 Interne Validität i.e.S.:

▫️ Hängen Treatment (UV) und Wirkung (AV) ursächlich miteinander zusammen?

🔺 Konstruktvalidität:

▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?

🔺 Externe Validität i.e.S.:

▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?

🔺Deskriptive Validität:

▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten
Validitätsaspekte mitgeteilt?

.

Question 12

🔺 Statistische Validität

Answer 12

▫️ Sind die kausalen Schlüsse aus dem statistischen Material korrekt?

.

Question 13

🔺 Interne Validität i.e.S.:

Answer 13

▫️ Hängen Treatment (UV) + Wirkung (AV) ursächl mitein. zsm?

.

Question 14

🔺 Konstruktvalidität

Answer 14

▫️ Sind die Ursachen (Treatment) und die Wirkungen (Effekte) gut operationalisiert?

.

Question 15

🔺 Externe Validität i.e.S.

Answer 15

▫️ Lassen sich die Befunde auf andere Kontexte, andere Personen und über die Zeit generalisieren?

.

Question 16

🔺 Deskriptive Validität

Answer 16

▫️ Inwieweit werden relevante Informationen zur Planung, Durchführung und Auswertung der Studie sowie zur Beurteilung der genannten Validitätsaspekte mitgeteilt?

.

Question 17

Experimentelle Designs: Grundbedingungen ☝️

Answer 17

➡️ Drei Grundbedingungen ☝️

☝️ Bildung mind. zweier experimenteller Gruppen

☝️ VP werden experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen

☝️ unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert

—> Abb. Designs

.

Question 18

Experimentelle Designs: Randomisierung 🎲

Answer 18

➡️ Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen 🎲

🤷‍♀️ mögl Fehlerquellen d. Randomisierung ❌

❌ 🔺Hawthorne-Effekt/Reaktivität
(➡️ Blind-/Doppelblindversuche einsetzen)

❌ subj Bewertung des Zuteilungsergebnisses
(Demoralisierung der KG, Verlierer-Gewinner-Problem)

❌ Einschränkung d. Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching mögl

.

Question 19

Kontrollgruppenanordnung mit Vor- u. Nachuntersuchung

Answer 19

—> Abb. + Tabelle

.

Question 20

Kontrollgruppenanordnung mit nur einer Nachuntersuchung

Answer 20

—> Abb. + Tabelle

.

Question 21

Viergruppenplan von Solomon

Answer 21

—> Abb. + Tabelle

.

Question 22

🐯 Wie würden Sie die Wirksamkeit von „Till Tiger“ untersuchen?

Answer 22

▪️ Til Tiger richtet sich an ängstliche, sozial unsichere und schüchterne Kinder im Alter von fünf bis zehn Jahren und deren Eltern.

▪️ Vorgespräche mit Eltern und Kinder

▪️ zwei Einzel - u. neun Gruppenstunden

▪️ Auswertungsgespräche mit Kindern und Eltern

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

Question 23

👩‍❤️‍💋‍👨 Wie würden Sie die Wirksamkeit von „Mich und Dich verstehen“ untersuchen?

Answer 23

▪️ Das „Mich und Dich verstehen“ Programm ist ein Präventionsansatz zur Wahrnehmung von und zum Umgang mit Gefühlen.

▪️ Es ist am Besten, wenn die Epochen zusammenhängend vermittelt werden, d. h. drei Tage hintereinander je vier Stunden. Dann Pause von ca. 6-8 Wochen und dann die nächste Epoche usw.

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich? Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

Question 24

🤝 Wie würden Sie die Wirksamkeit von „Fairplayer“ untersuchen?

Answer 24

Zielgruppe

▪️ Schwerpunkt auf 7. - 9. Klasse
▪️ primär-präventives Programm: alle Klassenmitglieder
▪️ Lehrer:innen

Umfang des Programms

▪️ 2,5 Tage fairplayer.fortbildung
▪️ 15-17 Unterrichtsdoppelstunden (à 90 min.)
▪️ 2 Elternabende
▪️ 1 x Gruppensupervision

❓ Ist eine Kontrollgruppe ohne Training möglich?

❓ Ist eine randomisierte Zuordnung möglich?

❓ Ist eine Follow-Up-Untersuchung möglich?

❓ Kann ich Zielgrößen sicher erfassen?

❓ Kann ich Wirkmechanismen sicher erfassen?

⁉️ Alternativen?

.

Question 25

👨‍👩‍👧 Wir würden Sie die Wirksamkeit von „PEKiP“ untersuchen?

Answer 25

🔺 Prager Eltern-Kind-Programm (PEKiP) Zielgruppe ▪️ 1. Lebensjahr ▪️ primär-präventives Programm ▪️ Kinder + Eltern Umfang des Programms ▪️ etwa 1 Jahr ▪️ wöchentlich ❓ Ist eine Kontrollgruppe ohne Training möglich? ❓ Ist eine randomisierte Zuordnung möglich? ❓ Ist eine Follow-Up-Untersuchung möglich? ❓ Kann ich Zielgrößen sicher erfassen? ❓ Kann ich Wirkmechanismen sicher erfassen? ⁉️ Alternativen? .

Question 26

Bitte besprechen Sie in Kleingruppen von 2-4 Personen die folgenden Fragen in der P-Lounge: Was muss ich bei der Evaluation von Interventionen beachten? Gibt es ein optimales Evaluationsdesign?

Answer 26

.

Question 27

☝️ Bedingungen für Praxistauglichkeit

Answer 27

☝️ Qualifikation zur Durchführung muss beschrieben sein ☝️ Qualifikation muss lehr- und lernbar sein. ☝️ detaillierte Beschreibung für lückenlose Durchführung ☝️ Risiko von Verfahrensfehlern sollte gering sein ☝️ Training als Chance ☝️ Adressengerechtes Material ☝️ Berücksichtigung der Lebenswelt .

Question 28

Praxistauglichkeit: Checkliste ✔️

Answer 28

✔️ Sind die Ziele des Programms explizit beschrieben? ✔️ Wird der theoretische Bezug der zu trainierenden Fertigkeit oder Fähigkeit dargelegt (oder zumindest eine Definition)? ✔️ Gibt es eine Angabe, für wen das Programm geeignet ist? ✔️ Sind die Trainingsmethoden rational begründet? ✔️ Wurde die Wirksamkeit geprüft (Effektstärke, Nachhaltigkeit und Transfer)? ✔️ Ist mit unerwünschten Nebenwirkungen zu rechnen? ✔️ Sind die Materialien adressatengerecht? ✔️ Ist das Training klar strukturiert und übersichtlich? ✔️ Welche Rahmenbedingungen sind für eine erfolgreiche Trainingsdurchführung erforderlich? ✔️ Fühle ich mich als Traininer/in aufgrund der Programmbeschreibung in der Lage, das Training durchzuführen oder brauche ich die notwendige Qualifikation dazu? .

Question 29

Zum Vertiefen ....

Answer 29

—> Tabellen: versch Validitäten .

Question 30

⁉️ Bitte ordnen Sie die Experimentellen Designs den passenden Schemata zu: - einfaches, experimentelles Design - experimentelles Design mit mehreren Experimentalgruppen - 4-Gruppen-Versuchsplan nach Solomon - Voher-Nachher-Messung

Answer 30

- einfaches, experimentelles Design => X O Versuchsgruppe O Kontrollgruppe - experimentelles Design mit mehreren Experimentalgruppen => X1 X2 .. Xm O1 O2 .. Om ``` - 4-Gruppen-Versuchsplan nach Solomon => O1 X O2 O3 O4 X O5 O6 ``` - Voher-Nachher-Messung => O1 X O2 O3 O4 ( siehe Bilder —> Abb. ) .

Question 31

⁉️ Bitte ordnen Sie zu! ✅ GÜNSTIG für ein quasiexperimentelles Design ist .. ✅ ❌ UNgünstig für ein quasiexperimentelles Design ist .. ❌

Answer 31

✅ gleiche Ausgangswerte vor der Intervention für Kontroll- und Experimentalgruppe ✅ sorgsame Kontrollen von Störeffekten durch Messung ❌ keine Vortestung vor der Intervention ❌ Kontroll- und Experimentalgruppe unterscheiden sich systematisch. ❌ Es sind Störeffekte bekannt, die ich nicht erfassen kann. .

Question 32

⁉️ Erklären Sie was die Wechselwirkung zwischen "Testen und Treatment" bei einem Experimentaldesign mit Vortestung bedeutet. Illustrieren Sie dies mit einem praktischen Beispiel.

Answer 32

- Der Vortest kann insbes d. Kontrollgruppe anzeigen, was das Ziel der Untersuchung sein soll. - Die VPN können das Lernziel daraufhin selbstständig ansteuern. - Damit würden die Unterschiede zw Experimental- u. Kontrollgruppe geringer ausfallen. BEISPIEL (eigenes noch ausdenken!) - Etwa, wenn ich eine Intervention zum Lesen machen will und das Lesen vorher teste- - Die VPN in der Kontrollgruppe merken, dass sie noch nicht so viel können und fangen nun an selbstständig das Lesen zu üben. .

Question 33

⁉️ Ist bei der Evaluation vom "Fairplayer" eine Kontrollgruppe ohne Training möglich? A. Ja B. Nein C. Vielleicht 💡 Bitte begründen Sie Ihre Antwort kurz.

Answer 33

✅ Ja 💡 JA, weil es ein primär-präventives Programm ist. .

Question 34

⁉️ Ist bei der Evaluation vom "Fairplayer" eine randomisierte Zuordnung möglich? A. Ja B. Nein C. Vielleicht 💡 Bitte begründen Sie Ihre Antwort kurz.

Answer 34

✅ Nein 💡 NEIN, es findet im bisherigen Klassenverband statt. .

Question 35

⁉️ Ist bei der Evaluation vom "Fairplayer" eine Follow-Up-Untersuchung möglich? A. Ja B. Nein C. Vielleicht 💡 Bitte begründen Sie Ihre Antwort kurz.

Answer 35

✅ Ja 💡 JA, es kann eine Kontrollgruppe mit keinem Training geben, die nach einem längeren Zeitraum wieder untersucht wird. .

Question 36

⁉️ Welches Erhebungsdesign für die Überprüfung vom Til Tiger wäre NICHT sinnvoll? A. Wartegruppen-Kontrolldesign B. Kontrollgruppe mit einer ähnlichen Intervention C. Randomisierte Zuordnung zu Interventions- und Kontrollgruppe D. Eine Follow-Up-Untersuchung E. Kontrollgruppe ohne Intervention F. Untersuchung des elterlichen Verhaltens

Answer 36

✅ Kontrollgruppe ohne Intervention 💡 Das wäre ethisch nicht vertretbar, weil die Kinder Hilfe brauchen. .

Question 37

⁉️ Wieso ist die Randomisierung der "Königsweg" für die Neutralisierung von unerwünschten Störeffekten? Bitte schicken Sie die Antwort dieser Frage bis zum 8. 2. per Mail an mich (thomas.martens@medicalschool-hamburg.de), wir besprechen die Ergebnisse dann am 10. 2. in der Vorlesung.

Answer 37

( keine Antwort vorhanden, vllt in der über/nächsten ?! ) .

Question 38

⁉️ Welche Ideen haben Sie für die Untersuchung des Programms "PEKIP"?

Answer 38

( eigene Idee(n) zusätzlich überlegen, auch für andere Programme ggf. ) - Es könnte m.H. Von Videoanalysen die “Responsivität” der Bezugspersonen untersucht werden. .