03445 Flashcards
(133 cards)
Sie möchten eine Programmevaluation durchführen und entscheiden sich für das Vorgehen einer Theoriebasierten Evaluation. Welche Aussagen treffen zu? (3x)
A) Sie legen einen besonderen Fokus auf die Beteiligten Akteure weil diese konstituierend für Theorie basierte Evaluation ist.
B) Sie formulieren eine plausible Theorie des zu evaluierenden Programms
C) Theorien des Lernens sind für diese Art von Evaluation konstitutiv.
D) Planung, Design, Durchführung, der Evaluation sollte in der Programmtheorie leitend sein.
E) Sie interessieren sich unter anderem für nicht intendierte Effekte sowie deren Zusammenhang zur Programmtheorie.
B D E
Welche Aussagen in Bezug auf das Evaluationsmodell von Kirkpatrick & Kirkpatrick (2006) sind richtig?
A) 4 Evaluationsebenen: Reaktion, Lernerfolg, Verhalten und Endergebnis
B) Reaktion= Endergebnis einer Maßnahme oder deren wahrgenommenen Nutzen
C) Wenn auf den ersten beiden Ebenen pos.¬ kann daraus geschlossen werden, dass sich das Verhalten auch außerhalb der Trainingssituation verändert
D) Positive Reaktionen wirken sich förderlich auf erfolgreiche Implementierung aus
E) Lernerfolg = Einstellungsänderung, sowie Wissens- und Kompetenzzuwachs als Folge der Maßnahme
A E (Gutschrift D)
Welche Aussagen in Bezug auf das Evaluationsmodell von Kirkpatrick & Kirkpatrick (2006) sind richtig? (3x)
A) 4 Evaluationsebenen: Reaktion, Lernerfolg, Verhalten und Endergebnis
B) Reaktion= Akzeptanz/Zufriedenheit gegenüber einer Maßnahme oder deren wahrgenommenen Nutzen
C) Wenn auf den ersten beiden Ebenen pos.¬ kann daraus geschlossen werden, dass sich das Verhalten auch außerhalb der Trainingssituation verändert
D) Positive Reaktionen wirken sich förderlich auf erfolgreiche Implementierung aus
E) Lernerfolg = Einstellungsänderung, sowie Wissens- und Kompetenzzuwachs als Folge der Maßnahme
A B E
Verschiedenen Formen von Evalutionen (3x)
A) externe Evaluationen dienen vorrangig externen Verwertung von Untersuchungsergebnissen
B) Von internen Evaluationen erhofft man sich höhere Sachkenntnis u. geringeren Aufwand
C) Summative Evaluation werden in entstehungsphase Programms eigesetzt
D) Informative Evaluationen in das laufende Programm integrieren
E) Selbstevaluation eigene Wahrnehmung
B D
Als Mitarbeiter eines unabhängigen Evaluationsinstituts bekommen Sie den Auftrag, ein Training zur Gewaltprävention zu evaluieren. Die Trägerorganisation erteilt ihnen folgende Auskunft: “Das Training läuft seit einem Jahr und findet nächste Woche das letzte Mal statt.” Dem Auftraggeber muss noch einen Bericht vorgelegt werden, was das Training gebracht hat. Welche Aussagen treffen zu? (2x)
A) Es handelt sich hier um eine summative Evaluation
B) “Effekt des Trainings” können als Evaluationsgegenstand bezeichnet werden
C) Es handelt sich hier um eine externe Evaluation
D) Der vorrangige Evaluationszweck nach Stockmann lautet “Entwicklung”.
E) Ein Evaluationskriterium wird in diesem Zusammenhang der Grad an Kundenzufriedenheit mit der Trägerorganisation des Trainings sein.
A B C
In seiner wissenschaftstheoretisch-methodischen Systematisierung beschreibt Stockmann evaluations-theoretische Ansätze. Merkmale dieser Ansätze sind:
A) Mehrere Realitäten beeinflussen soziale, politische und kulturelle Kontexte von Programmen (transformativer/emanzipatorischer Ansatz )
B) mehrere Realitäten formen eine objektiv erfassbare Programm-Realität (transformativer/positivistischer Ansatz)
C) Realität wird aus verschiedenen Perspektiven sozial konstruiert (interpretativer/konstruktivistischer Ansatz)
D) Es gibt eine Realität, die objektiv erfassbar ist (Post)Positivistischer Ansatz)
E) Eine Realität beeinflusst die Wirklichkeitskonstruktionen von Programmen (interpretativer/konstruktivistischer Ansatz)”
A C D
Im Evaluationsbericht lesen Sie, dass in einer Evaluation partizipativ vorgegangen wurde. Zwar wird beschrieben, wie die Partizipation praktisch ausgesehen hat, dennoch möchten Sie genauer analysieren, inwiefern die Evaluation nun partizipativ war. Welche Fragen stellen Sie, um die versch. Dimensionen von Partizipation zu analysieren? (3x)
A) Wer hatte die Kontrolle bei der Evaluation?
B) Wer hat die Evaluation veranlasst?
C) Welche Stakeholderkonnten sich während der Evaluation beteiligen?
D) Wurden die Stakeholder nur konsultiert, oder konnten Se sie in einer oder mehreren Phasen der Evaluation beteiligen?
E) Wer ist für die Umsetzung der Ergebnisse verantwortlich?
A C D
Wirkungsorientierte Evaluation (2x)
A) Sie laufen Gefahr, dass nicht-intendierte Effekte ausgeblendet werden
B) Sie versuchen hypothesenleitend potentielle Wirkungen identifizieren
C) Nicht Intendierende Wirkung können dem Programm nicht zuwider laufen
D) Unter Wirkung verstehen Sie Output eines Programms
E) Eruieren, ob die (empirisch erfassten und strukturierten) Wirkungen den Programmzielen entsprechen/ Sie stellen erfasste Wirkungen den beabsichtigten Zielen des Programms gegenüber
B E
Was sind wesentliche Elemente, die nach Silvestrini (2007)zu Beginn eines Planungsprozesses zwischen Evaluatoren und Auftraggeber geklärt werden sollten? (3x)
A) Festlegung der Bewertungskriterien
B) Modifikation der evaluierten Maßnahme im Anschluss an die Evaluation
C) Identifizierung der Stakeholder
D) Definieren von Aufgaben und Zielen der Evalaution
E) Entscheidung über weitere Vorgehensweise
A C D E
Ein wichtiger Schritt im Rahmen der Planungsphase von Evaluationen ist das Explizieren von Programmzielen. Welche Aussagen sind richtig?(2x)
A) Alle explizierten Programmziele sollten identisch mit den Zielen der Evaluation sein.
B) Programmziele sind oft unklar formuliert und damit kaum messbar.
C) Durch Explikation der Programmziele können implizite Ziele aufgedeckt und in der Evaluation berücksichtigt werden.
D) Programmziele können partizipativ erarbeitet werden oder beispielsweise Konzeptionen entnommen sein.
E) Auftraggebern ist die Trennung von Programmzielen und empirisch erfassbaren Indikatoren häufig nicht geläufig.
B C D E
Viele psychologischen Konstrukte haben unterschiedliche Modalitäten, die bei einer Evaluation durch jeweils geeignete Indikatoren gemessen werden sollten. Welche Modalitäten könnten beim Konzept Aggression gemessen werden? (2x)
A) Emotionale B) Kognitiv C) Physiologische D) Verhaltensbezogene E) Statistisch
A B C D
Was sind die Nachteile/Schwächen von schriftlichen Fragebögen? (2x)
A) Sie sind leicht verfälschbar / sozial erwünschte Antworten
B) Vorraussetzung dass Personen Fragen, etc. verstehen
C) Sie sind zeit- und kostenaufwendig
D) Sind schwer auszuwerten
E) Person muss über eine valide subjektive Repräsentation des erfragten Gegenstandes verfügen
A B E
Welche Aussagen in Bezug auf die Operationalisierung von Evaluationsobjekten in Evaluationskriterien sind richtig? (2x)
A) Messinstrumente sollten mit Instrumenten, die das gleiche messen hoch korrelieren und niedrig mit denen, die etwas anderes messen
B) Die Reliabilität kann erhöht werden, in dem man zur Messung eines Evaluationskriteriums nicht nur einen, sondern mehrere Indikatoren heranzieht und aggregiert. Dies ist der Fall, weil, weil durch Aggregation die Messfehler der einzelnen Items herausgemittelt werden.
C) Wird ein Konstrukt durch Selbst- und Fremdeinschätzung operationalisiert, sollten diese unterschiedlichen Datenquellen möglichst hoch korrelieren (r > .80) miteinander, damit eine Aggregation über mehrere Perspektiven sinnvoll ist.
D) In einer multimodalen Evaluation wird ein psychologisches Konstrukt simultan an unterschiedlichen Methoden erfasst (Fragebogen, Beobachtung)
E) Der Hawthorne-Effekt bedroht die Reliabilität
A B D
Welche Aussagen in Bezug auf das Design einer Evaluationsstudie sind richtig?
A) Ist eine randomisierte Zuweisung von Vp zu unterschiedlichen Untersuchungsbedingungen nicht möglich, sollte ein Solomon-Viergruppenplan eingesetzt werden.
B) Kann der Effekt einer unabhängigen Variablen (UV) auf eine abhängige Variable (AV) kausal interpretiert werden, so hat das Untersuchungsdesign eine hohe interne Validität.
C) Quasi-experimentelle Designs werden im Rahmen von Evaluationen häufig eingesetzt, da die Anforderungen eines echten Experiments im Feld selten realisierbar sind.
D) Die Berücksichtigung mehrerer, unterschiedlicher Vergleichsgruppen in quasi-experimentelle Designs reduziert die WK von Alternativerklärungen für einen Effekt
E) Selbstselektion der Untersuchungsteilnehmenden gefährdet die interne Validität einer Evaluationsstudie.
B C D E
In Ihrer Charakterisierung von Entwicklungsaufgaben der Evaluationsforschung unterscheiden Guba & Lincoln verschiedene Ansätze “Generationen”. Welche Aussagen treffen auf die 4. Generation zu? (2x)
A) Evaluierende moderieren und vermitteln zwischen den Stakeholdern
B) Konstruktivistische Überlegungen haben einen Einfluss auf Evaluationsansätze genommen
C) Nach einem Aushandlungsprozess entscheiden am Ende die Evaluierenden, wie die Ergebnisse interpretiert werden sollten.
D) Im Vordergrund steht die qualitative Erfassung von Daten und Fakten, um Vergleiche zu ermöglichen
E) Stakeholdern werden in die Evaluation eingebunden, unter anderem in Interpretation von empirisch erhobenen Daten.
A B E
Hier war angegeben, dass das Bildungsniveau kontinuierlich(!) erfasst wird und dass Mittelwert und Standardabweichung berechnet werden. (2x)
A) Ausbalancierung B) Parallelisierung C) Auspartialisierung D) Konfundierung E) Elimination
B
TSK im Gefängnis, 2 unterschiedliche Interventionsansätze. Forscher/in geht davon aus, dass das Bildungsniveau (kontinuierliche Skala) eine Störvariable ist. Sie Teilen die Teilnehmer den Bedingungen zu, sodass in jeder Bedingung der Mittelwert und die Streuung vom Bildungsniveau identisch ist:
A) Intraindividuelle Veränderungen B) Parallelisierung C) Auspartialisierung D) Konstanthaltung E) Eliminierung
B
Welche Aussagen treffen im Rahmen von Hatry & Newcomer formulierten Prüfsteinen methodologischer Integrität zu? (2x)
A) Interne Validität bezieht sich darauf, ob es einen kausalen Zusammenhang zwischen einer bestimmten Ursache und den beobachteten Effekten gibt.
B) Konstruktvalidität bezieht sich darauf, ob bei der Konstruktion der Messverfahren eine ausreichend hohe interne Konsistenz der Skalen erreicht wurde.
C) Externe Validität bezieht sich auf die Generalisierbarkeit der Ergebnisse über den konkreten Untersuchungskontext hinaus auf andere Gruppen oder Kontexte.
D) Valididät des statistischen Schlusses bezieht sich darauf, ob die Evaluationsergebnisse und Schlussfolgerungen seitens des Stakeholder als legitim empfunden werden.
E) Reliabilität bezieht sich darauf, ob die Messverfahren bei einer Wiederholung der Erhebung unter gleichen Bedingungen und den gleichen Teilnehmenden zu ähnlichen Ergebnissen führen.
A C E
Welche Fragen sind nach Gollwitzer & Jäger relevant bei der Konstruktion von Messinstrumenten?
A) Sind die Konstrukte ausreichend definiert?
B) Kann auf verfügbare Instrumente zurückgegriffen werden?
C) Wurden verfügbare Instrumente zuvor im ähnlichen Kontext eingesetzt und haben sich als psychometrisch geeignet erwiesen?
D) Stehen genügend Ressourcen zur Verfügung um das Instrument einzusetzen?
E) Inwiefern haben die Beteiligten Vertrauen in das Instrument?
A B C D E
Welche Schlussfolgerungen können aus der Studie von Balman (2006) zu psychol. Präventionsprogrammen bei Kindern und Jugendlichen gezogen werden?
A) Gezielte Präventionsmaßnahmen weisen im VERGL. zu allgemeinen Präventionsmaßnahmen kleinere Effektstärken auf
B) Aufklärungsmaßnahmen zur HIV-Prävention weisen größere Effektstärken auf als spezielle maßnahmen zur Prävention von dissozialen Verhalten
C) Die Art der Implementierung einer Präventionsmaßnahme beeinflusst nicht deren Wirksamkeit
D) Psychosoziale Präventionsmaßnahmen haben positive Wirkung auf die Entwicklung von Kindern und Jugendlichen
E) Soziale Netzwerke der teilnehmenden Kinder und Jugendlichen moderieren den Effekt der Präventionsmaßnahme auf das jeweilige Erfolgskriterium
D
Dissemination
A) Das „executive summary“ sollte so geschrieben sein, dass sie einen „full report“ ersetzen kann.
B) Ein „full report“ erhält mehr Details als „executive summary“.
C) Untersuchungsprozedere findet man nicht im „full report“.
D) Es besteht die Gefahr, dass man aus dem „executive summary“ zitiert, ohne den „full report“ zu lesen.
E) Es erreicht einen breiteren Kreis als der „full report“.
B C E
Was ist in Bezug auf Evaluation und Datenschutz korrekt? (3x)
A) Man sollte den Auftraggeber informieren, dass Daten entstehen können, die den Ruf der Organisation gefährden können.
B) Daten, die Rückschlüsse auf Personen zulassen, sind nicht ohne Genehmigung der entsprechenden Person zu veröffentlichen.
C) Personen, die in die Datenerhebung involviert sind, sollten über die Verwendung der Daten informiert werden.
D) Evaluationsberichte sollten so gestaltet sein, dass die auftraggebende Organisation nicht eindeutig erkennbar ist.
E) Der Umgang mit personenbezogenen Daten in Evaluationen unterliegt dem Bundesdatenschutzgesetz (BDSG).
B C E
Aussagen zur qualitativen Methode Health/Medi-Cal for Children (2x)
A) Qualitative Methoden haben sich als praktikabel und ertragreich herausgestellt.
B) Hierdurch konnten kontextspezifische Inhalte gefunden werden.
C) Wirkungen als Folge des Programms konnten identifiziert werden.
D) Durch den Einsatz qualitativer Methoden konnte nur eine geringere Anzahl an Personen erreicht werden.
E) Verzerrungen entstanden, da Befragte die Glaubwürdigkeit der Befragung bezweifelten.
ABD
Welche Aussage zu qualitativen Verfahren (Bortz + Döring, 2006) sind richtig?
A) Eine verdeckte Beobachtung kann auch als nonreaktives Verhalten bezeichnet werden.
B) Rollenspiele helfen, Lebenssituationen zu beobachten, die aus ethischen Gründen sonst nicht induziert werden sollten.
C) Qualitative Beobachtungen folgen engen Beobachtungsschemata und konzentrieren sich auf kleine Untersuchungseinheiten.
D) Leitfadeninterviews sollten aufgrund ihrer Komplexität bei Erwachse. eingesetzt werden.
E) Messwerte im Sinne numerischer Daten können durch qualitative Verfahren nicht extrahiert werden.
A
