Umgang mit Trainingsprogrammen Flashcards
(16 cards)
Definiere Evaluation.
Jegliche Art der zielgerichteten und zweckorientierten Festsetzung des Wertes einer Sache
Nenne verschiedene Formen der Evaluation.
Global (Schulleistungen im Ländervergleich)
analytisch (einzelne spezifische Fördermaßnahmen)
- Evaluationsparadigmen
- Summative Evaluation (Produktevaluation)
- formative Evaluation (Prozessevaluation)
- interne E. (innerhalb einer Institution)
- externe Evaluation (mithilfe unabhängiger Dritter)
- Ranking (z.B. CHE-Hochschulranking, Forschungsrankings)
- wissenschaftliche Evaluation
Nenne und Erläutere Evaluationsparadigmen.
Isolierte Evaluation:
oft Überprüfung der allgemeinen Wirksamkeit zB eines Programmes (Wirksamkeitshypothese)
Vergleichende Evaluation:
Einzelmaßnahmen miteinander oder mit Maßnahmenkombination (Äquivalenzhypothese, Überlegenheitshypothese oder nicht- Überlegenheitshypothese)
Kombinierte Evaluation:
Einfluss auf Art und Anzahl der Kontroll- und Experimentalgruppen
Nenne und Erläutere die Phasen der Durchführung einer wissenschaftlichen Evaluation
- Entstehungszusammenhang: Planung
o Theoretischer und konzeptueller Überbau
o Kontext (Zielgruppe, Ort)
o Kontroll- und Vergleichsgruppen - Begründungszusammenhang: Hypothesen + methodisches Vorgehen
o Theoriebasierte Ableitung und Formulierung von Hypothesen über Kausalgefüge
o Leistungssteigerung und Transfer auf andere AVs prüfen
o Alternativerklärungen und diskriminante Trainingseffekte ausschließen
o Nachweis hinreichender Effektdauer
o Änderung der Testvalidität überprüfen - Verwertungszusammenhang: Interpretation von Befunden + Konsequenzen
o Interpretation von Ergebnissen
o Ziehen von Konsequenzen
Nenne und Erläutere die Umwelt- und kontextgebundene Aspekte einer Evaluation.
- Programme bzw. deren Evaluationen sind abhängig von Zielsetzung und dem jeweiligen (soziokulturellen) Kontext
- -> Einfluss auf Passung, Anwendbarkeit, Wirksamkeit und Validieren
- Auch Evaluationsergebnisse sind kontextgebunden
- -> zB wissenschaftliche Evaluation eines Programms unter kontrollierten/optimalen bzw. Bereits bekannten Bedingungen statt
- -> Im Evaluationsprozess treffen viele Interessengruppen aufeinander, die diesen beeinflussen können
- Trainer können unterschiedlich effektiv sein und den Erfolg des Trainings passiv als auch aktiv beeinflussen
- -> Wichtig: Dokumentations- und Instruktionsqualität
o Trainingseffekte variieren alters-, Ressourcen- und vorwissensabhängig
–> Zielgruppen-/Adressatenbezug (zB ATI-Effekte = Attitude-Treatment-Interaction)
Wie wird ein Trainingsprogramm bewertet?
- Objektivität
- Reliabilität
- Validität
- Effektivität/Wirksamkeit
=> Wichtig: Die Evaluation eines Programms ist nur so präzise wie ihre Methodik und ihr theoretisches Fundament!
Welche methodischen Probleme treten während einer Evaluation auf?
- Reifungs- und Entwicklungsprozesse
- Äquivalenzprobleme
- Stichprobenmortalität
- statistische Probleme durch fehlende Werte
- hierarchische Daten
Erkläre Reifungs- und Entwicklungsprozesse:
Veränderungen, die nicht auf die Intervention, sondern auf organismische oder umweltbedingte Effekte zurückzuführen sind (zB Übungseffekte, Reifung)
Wann treten Äquivalenzprobleme auf?
Mitglieder in Interventions- und Kontrollgruppen sind nicht äquivalent bezüglich Ausgangswerte auf Zielvariablen
- Randomisierung der Personen zur Kontrollgruppe und Interventionsgruppe (Pretest- Posttest- Follow- up- Design) nicht immer möglich → Ausgangsunterschiede und Störvariablen müssen konstant gehalten werden
Fehlerquellen:
- Diffusion u. Imitation der Intervention
- kompensatorischer Ausgleich der Intervention
- kompensatorische Anstrengung in der Kontrollgruppe
- negative Reaktion der Kontrollgruppe
Wann tritt Stichprobenmortalität auf?
Tritt auf, wenn die Teilnehmer im Pretest- Posttest- Follow- up- Design aus verschiedenen Gründen die weitere Teilnahme an der Maßnahme verweigern
Nenne 3 statistische Probleme durch fehlende Werte und stelle Lösungen für das Problem dar.
- sinkende Effizienz durch eingeschränkte Stichprobe
- erschwerter Umgang mit Daten, da statistische Standardverfahren vollständige Datenmatrizen benötigen
- Verzerrungen von Parameterschätzungen, da Unterschiede zwischen beobachteten und fehlenden Daten
Mögliche Lösungen des Problems:
- Ausschluss von Personen mit ungültigen Werten→ aber: fallweiser Ausschluss der Daten senkt Validität
- empfohlen: Verfahren zur Mehrfachschätzung fehlender Werte
Erkläre hierarchische Daten:
- Im schulischen Bereich werden meist ganze Klassen oder Schulen (sog. Klumpen) den Interventionsgruppen und Kontrollgruppen zugeordnet
- Ziehung von Klumpenstichproben führen zur Unterschätzung des Standardfehlers
- -> Folge: zu kleine Konfidenzintervalle für die geschätzten Parameter und Häufung möglicher Entscheidungsfehler bei inferenzstatistischer Verfahren
- Ausmaß der Unterschätzung des Standardfehlers ist abhängig von der Klumpengröße in der Stichprobe u. Homogenität der Klumpen
- -> je größer Klumpenstichprobe, umso größer Unterschätzung
- -> je größer Intraklassenkorrelation, desto stärker Verschätzung bei der Bestimmung des Standardfehlers
- Empfohlene Lösung: mehrebenenanalytische Verfahren → angemessene Schätzungen des Standardfehlers und Modellierung von Effekten auf Individual- und Clusterebene
Was wird bei Effektivität/Wirksamkeit untersucht?
- Spezifische und allgemeine Trainings
- Effektstärke (Trade-off zwischen Effektstärke und Effektbreite; Maße: MWunterschiede, Varianz; Einflussgröße: Stichprobengröße und Beschaffenheit)
- Effektdauer und Nachhaltigkeit u. U. abhängig von den zu erlernenden Kompetenzen
- Effekt-Transfer: nicht zu weit, sondern auf (theoriekonform) relevante Bereiche („Huckepack-Theorem“ nach Klauer, 2000: speziellere Strategie transferiert ggf. auf allgemeinere Strategien, aber nicht umgekehrt)
Was wird bei Validität untersucht?
- Konstruktvalidität
- -> leistungsrelevante Kompetenzen werden gesteigert
- Diskriminante Validität
- Konvergente und prädiktive Validität
- Testvalidität kann sich trainingsbedingt und aufgaben-/kontextabhängig ändern (je nach geforderter Kompetenz zum Messzeitpunkt bei z. B. finiten/automatisierbaren Aufgaben)
- Theoretisches Fundament
- Durchführbarkeit (Zielgruppe, Material, Aufwand…)
- Effizienz: Kosten-Nutzen-Analyse
Erkläre Objektivität + Reliabilität
Objektivität:
- Durchführung
- Dokumentation
- Instruktion
Reliabilität:
Kann je nach Methode durch Training beeinflusst werden
Nenne die Kriterien nach Langfeldt.
- Sind die Ziele eines Programm explizit beschrieben?
- Stellt das Programm einen theoretischen Bezug (oder wenigstens eine klare Definition) der zu
trainierenden Fertigkeit oder Fähigkeit vor?
In wie weit hat das Training eine klare theoretische Fundierung? - Enthält das Trainingsmanual eindeutige Angaben über die Zielgruppe?
- Sind die Trainingsmethoden rational begründet?
Kann man rational ableiten, dass bestimmte Trainingsmethoden eingesetzt werden?
Wie sind diese mit der Theorie verbunden? - Wurde die Wirksamkeit geprüft, d.h. gibt es Angaben über Effektstärke, Nachhaltigkeit und Transfer?
- Ist mit unerwünschten Nebenwirkungen zu rechnen?
- wenn Trainingsziel unterwandert wird = unerwünscht - Sind die Materialien und Methoden adressatengerecht?
- Ist das Training klar strukturiert und übersichtlich?
lückenlose Durchführung möglich? - Welche Rahmenbedingungen müssen erfüllt sein, um eine erfolgreiche Durchführung zu gewährleisten?
- Fühle ich mich als Trainerin oder Trainer aufgrund der Programmbeschreibung in der Lage, es angemessen durchzuführen oder die dazu notwenigen Qualifikationen zu erwerben?
Was für Voraussetzungen sind dokumentiert?
