= Genauigkeit einer Messung (muss auf Basis von Stichprobenerhebungen mit statistischen Verfahren geschätzt werden) Wiederholungsreliabilität (Retest) schätzt die zeitliche Stabilität eines Merkmals Paralleltestreliabilität schätzt die Gleichwertigkeit von zwei parallelen Tests Split-half-Reliabilität und Konsistenzanalyse schätzen die Genauigkeit der Messung durch Prüfung der Homogenität der Antworten (von Items)

= Grad der Genauigkeit, mit dem ein Test das, was er messen soll oder zu messen vorgibt, tatsächlich misst (Wird durch die Messung das richtige Merkmal, und nicht ein anderes, erfasst?) Inhaltsvalidität z.B. Schulleistungstests: Fragt der Test tatsächlich das Wissen ab, das im Unterricht vermittelt wurde? Kriteriumsvalidität z.B. Validierung von Schulreifetests am Kriterium des späteren Schulerfolges Konstruktvalidität z.B. Überprüfung der Faktorenstruktur bei Intelligenztests

Vorlesung 4 Flashcards by Dreven Seal

Diagnostizieren und Evaluieren Ziel heute

Pädagogisch-psychologische

Diagnostik

Diagnostik und professionelles Handeln
Messtheoretische Grundlagen
Beispiele für diagnostische Verfahren

–> Zeugnis

Französisch: ungenügend

Mathematik: mangelhaft

Der Schüler hat die Erlaubnis zum Aufrücken in die nächste Klassenstufe nicht erhalten.

Evaluation

Evaluationsmodelle
Schritte und Leitfragen einer Evaluation

–> Zeugnis

Didaktik: ungenügend

Vorbereitung: mangelhaft

Dem Lehrer ist es nicht gelungen, zwölf von 29 Schülern an das Klassenziel zu bringen.

How well did you know this?

Not at all

Perfectly

Definition pädagogisch-psychologische Diagnostik

„Die pädagogisch-psychologische Diagnostik ist ein Arbeitsfeld, das sich mit der Beschaffung und Bewertung von Informationen befasst, die zu einer möglichst akkuraten Einschätzung der aktuellen Ausprägung von Personenmerkmalen (…) oder Merkmalen der Lern- und Entwicklungsumwelt (…) führen und zu einer besseren Erklärung und Prognose in pädagogisch relevanten Problemfeldern beitragen.“

aus: Krapp & Weidenmann (52006), S. 528

How well did you know this?

Not at all

Perfectly

Pädagogisch-Psychologische Diagnostik

Zentral = Entscheidungen, die Bildungslaufbahnen betreffen

diagnostische Fragen …

zur Einschulung
zur Lernbehinderung
zu Teilleistungsstörungen
zu Verhaltensauffälligkeiten
zur Schulformzuordnung ab Sekundarstufe
zur Hochbegabung
zum Hochschulzugang
zur Berufsberatung
zur beruflichen Weiterbildung

weitere pädagogisch- diagnostische Problemstellungen, z.B.

Qualität von Lehr-Lern-Umgebungen an der Hochschule oder im Internet
Qualität des dualen Ausbildungssystems in der beruflichen Bildung
Erfassung von Lern- und Entwicklungsum- gebungen (häuslich oder durch Umfang und Struktur der Peergroup gegeben)

How well did you know this?

Not at all

Perfectly

Prozessmodell pädagogisch-psychologischen Handelns

Treatmentvorbereitende Diagnostik

Treatmentbegleitende Diagnostik

Treatmentabschließende Diagnostik

Treatmentvorbereitende Diagnostik

Ermittlung von Informationen für die Lösung eines gegebenen Problems

Treatmentbegleitende Diagnostik

Kontrolle des Handlungsablaufs im Hinblick auf angestrebte Ziele
(ggf. korrigierender Eingriff)

Treatmentabschließende Diagnostik

kritische Prüfung des Gesamtergebnisses

How well did you know this?

Not at all

Perfectly

PM Treatmentvorbereitende Diagnostik

Ziele:

Art und Richtung der Handlungsziele festlegen
angemessene Maßnahmen auswählen oder vorbereiten

Funktionen:

Informationen für Auswahl oder Gestaltung geeigneter Maßnahmen bereitstellen
vorhersagbare Wirkungsweisen vorgesehener Treatments abschätzen (Prognose als zentrales Element)

= mehrphasiger Kreislaufprozess

How well did you know this?

Not at all

Perfectly

PM Treatmentbegleitende Diagnostik

Ziel:

Informationen über Verlauf des Treatments sammeln

Funktion:

Treatment an aktuelle Bedürfnisse und Situation anpassen

auch: formative Evaluation oder Prozessdiagnostik

How well did you know this?

Not at all

Perfectly

PM Treatmentabschließende Diagnostik

Ziel:

Bewertung der Ergebnisse einer Maßnahme

Funktion:

Bereitstellung von Informationen im Hinblick auf die Angemessenheit einer Maßnahme

zusätzliche Bewertung eines Ergebnisses = (summative) Evaluation

How well did you know this?

Not at all

Perfectly

Handlungs- und Entscheidungsstrategien

Handlungsstrategie

Modifikationsstrategie

Personenmodifikation

z.B. Nachhilfeunterricht, Lehrertraining

Bedingungsmodifikation

z.B. Neugestaltung eines Lehrsystems, Änderung des Erziehungsverhaltens

Selektionsstrategie

Personenselektion

z.B. Zulassung zu Schulzweigen oder Studiengängen

Bedingungsselektion

z.B. Auswahl eines Studiengangs oder einer Ausbildungsrichtung

Versuch der Herstellung einer „Passung“ von Individuum und Umwelt durch

MS –>

… Herstellung einer geeigneten Umwelt für die spezifischen Belange eines Individuums

(Modifikationsstrategie)

SS–>

… Auswahl einer geeigneten Lernumwelt für ein Individuum

(Selektionsstrategie)

How well did you know this?

Not at all

Perfectly

Handlungs- und Entscheidungsstrategien 2

Verknüpfung der Strategietypen im Alltagshandeln
Beispiel: Berufsausbildung

1a) Bewerber entscheiden sich für eine mögliche Berufslaufbahn.

Bedingungsselektion

und/oder

1b) Bewerber werden von einer Institution unter verschiedenen Kandidaten ausgewählt.

Personenselektion

2) Im Ausbildungsprogramm werden berufsrelevante Fertigkeiten vermittelt.

Personenmodifikation

3) Es kann sich herausstellen, dass das Ausbildungsprogramm verändert werden muss, um die Erfolgswahrscheinlichkeit der Auszubildenden zu verbessern.

Bedingungsmodifikation

How well did you know this?

Not at all

Perfectly

Klassische Testtheorie

Theorie zur Konstruktion und Bewertung von Erhebungsinstrumenten, die zeitlich stabile Personenmerkmale messen sollen (z.B. ein Intelligenztest)

Grundannahme

beobachteter Wert = wahrer Wert + Messfehler

Ziel

möglichst fehlerfreie Erfassung des wahren Wertes

Gütekriterien der klassischen Testtheorie

** Reliabilität
Qualität
Validität**

How well did you know this?

Not at all

Perfectly

Reliabilität

= Genauigkeit einer Messung

(muss auf Basis von Stichprobenerhebungen mit statistischen Verfahren geschätzt werden)

Wiederholungsreliabilität (Retest)
schätzt die zeitliche Stabilität eines Merkmals
Paralleltestreliabilität
schätzt die Gleichwertigkeit von zwei parallelen Tests
Split-half-Reliabilität und Konsistenzanalyse
schätzen die Genauigkeit der Messung durch Prüfung der Homogenität der Antworten (von Items)

How well did you know this?

Not at all

Perfectly

Objektivität

= Unabhängigkeit der Messung vom Messenden

(Abhängigkeit des Messergebnisses nur vom zu messenden Merkmal)

Durchführungsobjektivität

Untersuchungsbedingungen sind für alle getesteten Personen vergleichbar

Auswertungsobjektivität

Auswertung ist unabhängig von der auswertenden Person

Interpretationsobjektivität

Befunde werden von verschiedenen Diagnostikern in gleicher (ähnlicher) Weise interpretiert

How well did you know this?

Not at all

Perfectly

Validität

= Grad der Genauigkeit, mit dem ein Test das, was er messen soll oder zu messen vorgibt, tatsächlich misst

(Wird durch die Messung das richtige Merkmal, und nicht ein anderes, erfasst?)

Inhaltsvalidität

z.B. Schulleistungstests: Fragt der Test tatsächlich das Wissen ab, das im Unterricht vermittelt wurde?

Kriteriumsvalidität

z.B. Validierung von Schulreifetests am Kriterium des späteren Schulerfolges

Konstruktvalidität

z.B. Überprüfung der Faktorenstruktur bei Intelligenztests

How well did you know this?

Not at all

Perfectly

Prognosevalidität von Auswahlverfahren

Abb.: Modell der einfachen Selektionsentscheidung

Bsp. selektive Maßnahmen:

Zulassung zu einem Studiengang - Vergabe eines Ausbildungsplatzes
A = erwartungsgemäß erfolgreiche Bewerber - B = zu Unrecht aufgenommene Bewerber
C = erwartungsgemäß erfolglose Bewerber
D = zu Unrecht abgewiesene Bewerber
A und C: Treffer
B und D: Prognoseinstrument versagt

How well did you know this?

Not at all

Perfectly

Bezugsnormen

Unterscheidung drei formaler Gütemaßstäbe oder Bezugsnormen

soziale (interindividuelle) Bezugsnorm

z.B. Die Mathematikleistung eines Schülers wird im Vergleich zu den Leistungen in der Klasse bewertet.

(intra-) individuelle Bezugsnorm

z.B. Die Mathematikleistung eines Schülers wird im Vergleich zu seiner eigenen Leistungsentwicklung in Mathematik bewertet.

kriteriale (sachliche) Bezugsnorm

z.B. Die Mathematikleistung eines Schülers wird im Vergleich zu einer vorher festgelegten Norm bewertet.

How well did you know this?

Not at all

Perfectly

Normskalen in der psychologischen Diagnostik

Study These Flashcards

Abb.: Normal verteilte Testrohwerte und verschiedene gebräuchliche Normskalen
Umrechnungstabellen in der Individualdiagnostik zur Transformation von Rohwerten eines Tests in allgemein verständliche Normwerte

Bsp. Rohwert: Zahl der richtigen Lösungen im Intelligenztest

Bsp. Normwert: IQ

Erfassung von Personenmerkmalen

Study These Flashcards

durch Befragungsmethoden: Fragebögen, Interviews, standardisierte Tests
Beispiele
- Entwicklungstests (allgemein und speziell), z.B. Wiener Entwicklungstest (WET) von Kastner-Koller & Deimann (1998)
- Diagnose von Lernvoraussetzungen, z.B. durch Schulreifetests, wie „Kieler Einschulungsverfahren“ (KEV) von Fröse, Mölders & Wallrodt (1986)
- Erfassung der Eignung für Ausbildungsgänge - Anwendung z.B. in der Berufsberatung spezielle Tests für künftige Lehrer bzw. Lehramtsstudenten:
  - „Lehrer-Interessen-Skala“ (LIS) von Mayr (1998) - siehe Folie 24

Erfassung von Personenmerkmalen

Study These Flashcards

„Lehrer-Interessen-Skala“ (LIS) von Mayr (1998)
Abb. Ausschnitt aus dem „Interessenfragebogen“

Feststellung von Schulleistungen

Study These Flashcards

standardisierte Schulleistungstests
- Testdatenbanken: Hogrefe-Verlag (www.test-zentrale.de), Psyndex(www.zpid.de)
- norm- oder kriteriumsorientierte Tests zur Erfassung der Schulleistung
- TIMSS und PISA als großangelegte internationale Schulleistungsvergleiche
mündliche Prüfungen
- Kontrolle des Lernerfolgs, Zwischendiagnose von Teilergebnissen im Unterrichtsverlauf,
- Disziplinierung
Aufsatzprüfungen
- „subjektive“ Verfahren
- Bewährung durch Punktesysteme mit festgelegtem Schema zum Vergleich von Aussagen/Argumentationsstrukturen mit Anforderungsprofil
Selbstbeurteilungen
- im formellen Ausbildungssystem nahezu unmöglich
- nicht hinreichend entwickelte Fähigkeit der Schüler, eigene Leistungen sachgerecht einzuschätzen + mangelnde Bereitschaft, offen über eigene Lernschwierigkeiten zu berichten

Feststellung von Schulleistungen

Zensuren und Zeugnisse

Study These Flashcards

Zensur = Verfahren zur Klassifikation und Bewertung von Leistungen
Funktionen von Schulnoten

Auslese-, Kontroll- und Berechtigungsfunktion

z.B. Regelung des Zugangs zu weiterführenden Schulen oder Studiengängen über Noten

Berichts-, Anreiz- und Sozialisationsfunktion für Schüler

z.B. Rückmeldungen über aktuellen Leistungsstand, Motivierung und Disziplinierung, Vertrautheit mit dominierenden Prinzipien der Leistungsbewertung

Rückmeldefunktion für Lehrkräfte, Berichtsfunktion für Eltern

z.B. Aussagen über Unterrichtsqualität, Einblick in kindliche Leistungsentwicklung

Realität der Ziffernzensuren

Study These Flashcards

Schüler nehmen Zensuren als Abbild der Realität,
als objektive Rückmeldung

… jedenfalls als gute Annäherung

Diagnostische Qualität von Zensuren

Study These Flashcards

erhebliche Mängel und Fehlerquellen

mangelnde Vergleichbarkeit von Noten über verschiedene Schulklassen, Schulfächer oder Schulen hinweg
erhebliche Variationen in der Strenge der Maßstäbe (Studie Ingenkamp, 1971)
Notengebung unterliegt Halo-Effekt
Beeinflussung der Notengebung durch: Geschlechtszugehörigkeit der Schüler und Lehrer, tatsächliche oder vermutete Schichtzugehörigkeit des Schülers, Gefühle der Sympathie

→ VorschlägezurVerbesserungschulischerLeistungs- beurteilung: Materialsammlung von Lissmann (1997)

Aber! Einfluss systematischer Verzerrungen auf Lehrerurteil ist nicht zu überschätzen.

Vergleichbarkeit über Klassen / Schulen hinweg?

Study These Flashcards

z.B. Mathematik: Noten in 34 6. Klassen und stand. Leistungstest

(Valtin, 2002)

Testbeste Klasse: 6 x 2, 10 x 3, 4 x 4 = 2,9 TestschlechtesteKlasse: 7x2,11x3,3x4,1x5=2,9

Fortsetzung Valtin, 2002

Alle 4er und 5er Schüler hätten in anderer Klasse eine 3, alle 1er Schüler auch eine 2 erhalten können.

Es gibt sogar Testwerte, die bei Kindern mit jeder Zensur zwischen 1 und 5 gemessen wurden.

Zusammenhänge Leistungstest - Note?

Study These Flashcards

Korrelationen 3., 4. Klasse (Maier, 2001) Mathematik .61
Deutsch .53
Sachunterricht .61

Mathematik, Thüringen, Ende 4. Klasse .52

Aber: innerhalb einer Klasse Korrelationen .60-.90

Übergangsempfehlung Prim. / Sek.?

~ 50% N-Gym Gym IGLU - Testleistung d.h. andere als Leistungsfaktoren selektiv

Erfassung von Umweltmerkmalen - Kontext Schule

**Fragebogenverfahren** - Ziel: Untersuchung der Auswirkung spezifischer Lernumwelten auf Lernerfolg - Bsp. Landauer Skalen zum Sozialklima (LASSO) von Saldern & Littig (1987) = Berichte über subjektive Wahrnehmung der Unterrichtssituation aus Sicht der Schüler **Beobachtungsverfahren** - Einschätzung des Lehrerverhaltens: Verwendung einfach strukturierter Beobachtungssysteme (Apperl & Brenn, 1979) - videogestützte Unterrichtsanalyse Teilschritte: 1. Aufzeichnung des Unterrichtsgeschehens 2. technische Vorverarbeitung des Video- und Tonmaterials 3. Transkriptionen 4. inhaltliche Auswertung des Videomaterials Bsp. TIMSS-Video (Klieme, Knoll & Schümer, 1998)

Vorlesung 4 Flashcards

(26 cards)