Vorlesung 11 Flashcards
(32 cards)
Begriffsbestimmung
Methodologie
Begriffsbestimmung
-
Methodologie
- Lehre von den wissenschaftlichen Methoden (Methodenlehre)
- Metawissenschaft als Teildisziplin der Wissenschaftstheorie
- Wissenschaftstheoretische Grundlage der Erkenntnisgewinnung
-
Systematik
- Rationalismus (Induktion & Deduktion)
- Empirismus
- Synthetizismus (Dialektik, kritischer Rationalismus)
- Konstruktivismus
- Fachspezifische Unterschiede des wissenschaftstheoretischen Ansatzes
- Nutzung unterschiedlicher Methoden innerhalb wissenschaftstheoretischer Ansätze
- Ziel ist Ableitung von repräsentativen Schlüssen
- Über welche mathematische Kompetenz verfügen 15‐jährige Schülerinnen und Schüler in Deutschland?
- Wie hoch ist der Zusammenhang zwischen dem sozio‐ökonomischen Hintergrund des Elternhauses und Lesekompetenz in den USA im Vergleich zu Indonesien?
- Wie verändert sich die naturwissenschaftliche Kompetenz weltweit über die Zeit?
- Beantwortung durch Testung und Befragung
- Quantitativ‐empirischer Zugang
Groß angelegte Schulleistungsstudien
- Groß angelegte Schulleistungsstudien werden auf nationaler und internationaler Ebene durchgeführt
- Zentrale Aspekte
- Basierend auf theoretischer Rahmenkonzeption
- Standardisierte Testinstrumente und Prozeduren
- Empirische Untersuchung großer Stichproben
- Statistische Analyse mit State of the Art‐Methoden
- Rückmeldung i.d.R. auf Gruppenebene, nicht für einzelne Individuen
- Keine Ableitung kausaler Schlüsse
- Vielmehr Generierung von Steuerungswissen für Entscheidungsträger
Zwischenfazit
- Ergebnisse von PISA 2000 haben zu intensiven Diskussionen in Deutschland geführt.
- Nach zunächst ernüchternden Ergebnissen nun Kompetenzen der
- Schülerinnen und Schüler in Deutschland über OECD‐Durchschnitt
- Zusammenhang zwischen Schülerkompetenzen und sozio‐ökonomischem Hintergrund gesunken aber noch recht hoch
- In anderen Industrienationen deutlich schlechtere Entwicklung
Aber:
- Sind die angestellten Vergleiche valide interpretierbar?
- Mit welchen Methoden wird dies angestrebt und ggf. sichergestellt?
Grundlegende Veränderungen im Bildungsbereich (Thüringen)
- Wende zur ‚Outputsteuerung‘
(z. B. PISA & co, Bildungsstandards…) - Mehr Eigenverantwortlichkeit von Schule
Neue Modewelle oder langfristiger und nachhaltiger Paradigmenwechsel?
Orientierung: Der Thüringer Qualitätsrahmen
Siehe Vorlesung 1 oder 2
Instrumente und ihre Verortung im Qualitätsrahmen
- EVAS
- ThüNIS
- SEfU
- K-Tests
- Prüfungsstatistiken
- Sonstige
Die Thüringer Kompetenztests
- Landesweit einheitliche Tests in den Fächern Deutsch, Mathematik (und Englisch‐Hörverstehen)
- Messen im wesentlichen Sachkompetenz
- Durchführung in Klassenstufen 3, 6, 8
- Basis: KMK‐Beschluss, seit 2003 durchgeführt
- Auswertung und Ergebnisrückmeldung durch Universität Jena
K-tests
Ziele auf mehreren Ebenen:
- Schülerebene: Lernstandsdiagnose, Förderbedarf, Beratungssicherheit
- Klassen‐ und Unterrichtsebene: Evaluation des eigenen Unterrichts, veränderte Aufgabenkultur
- Schulebene: Anstoß von Maßnahmen zu Schul‐ und Unterrichtsentwicklung
- Landes‐ und Schulamtsebene: Monitoring und Steuerungswissen
K-Tests
Testentwicklung
- Aufgabenkommission:
multidisziplinäres Team (Fachlehrer, ‐berater, ‐didaktiker, Vertreter des ThILLM und der Uni) - Lehrplanorientierung
- Kompetenzorientierung/Bildungsstandards
- Wissenschaftlichkeit
- Begleiterhebungen
Ablauf der Thüringer Kompetenztests
ab Dez
Vorab‐ Information der Schulen durch TKM. Anmeldung
März/Jun
Durchführung der Thüringer Kompetenz‐ tests
Jun/Jul/Aug
Auswertung, Besprechung in Klassen, Dateneingabe
Aug
Zusendung der
Ergebnisse durch kompetenztest.de
- Dateneingabe über das Internet …durch Lehrkräfte
Interpretation
- Vergleichsdaten liefern Hinweise auch auf Schul‐ und Unterrichtsqualität
- Vergleiche nicht fair
- Kein Schulranking möglich
- Analyse der Ursachen von Leistungsunterschieden durch Experten vor Ort (Lehrer, Schulleiter)
Unterschiede innerhalb von Klassen
‐ Förderungsbedarf
‐ Differenzierungsbedarf
Möglichkeiten und Grenzen der Tests
- Tests sind hilfreich für differenzierte Lernstandsdiagnostik
- Analyse der Testergebnisse ist hilfreicher Anstoß für Maßnahmen der Qualitätsentwicklung
- Beurteilung von Schul‐ und Unterrichtsqualität aufgrund der Testergebnisse derzeit nicht möglich
- Gefahr der Fehlinterpretation der Ergebnisse: ‚Wissen vor Ort‘ wird benötigt
Fazit
- Instrumente bergen großes Potenzial im Hinblick auf Unterrichts‐ und Schulentwicklung :)
- Potenzial noch nicht annähernd ausgeschöpft :(
- Angemessene Interpretation braucht Wissen vor Ort…
- …und Unterstützung/Nachfrage von Außen!
Ausgangslage SMS
- Idee:
– Lernstandserhebungen / Vergleichsarbeiten als Versuch evidenzbasierte Unterrichtsentwicklung zu befördern
- Problematik:
– Anforderungsüberfrachtung dieser System
– Besonders individualpädagogische Sicht der Lehrkräfte kann oft nur randständig bedient werden, wegen der mangelnden Genauigkeit der Testergebnisse auf Klassen‐ insbesondere aber auf Schülerebene
- Alternative: Schüler‐Monitoring‐System (SMS)?
Schulen im Team SMS
- Netzwerkbasiertes Schulentwicklungsprojekt
- Projektträger: Stiftung Mercator, Projektdurchführung und wissenschaftliche Begleitung: Institut für Schulentwicklungsforschung (IFS) in Kooperation mit dem MSW des Landes NRW
- Förderzeitraum: 3,5 Jahre (02/2007 – 07/2010) + 1 Jahr Verlängerung
- 40 Schulen in Netzwerken à 3‐5 Schulen (10 Netzwerke insgesamt)
- Arbeit an selbst gewählten Entwicklungsbedarfen
- Vorgabe: Fachbezogene Unterrichtsentwicklung
- fachliche & organisatorische Unterstützung durch das IFS
Einbettung des SMS
- Kooperation zwischen Cito und dem IFS (Schulen im Team)
- Zwei Netzwerke arbeiten im Rahmen der Netzwerkarbeit gemeinsam mit Cito an der Entwicklung des SMS
- 14 Projektschulen sind an der Testentwicklung des SMS für die 5. und 6. Jahrgangsstufe beteiligt
- Domänen: Mathematik und Leseverständnis
- Ziel: objektiviertes Instrument zur systematischen Kontrolle der Lernentwicklung auf Individualebene
Das SMS konkret
- Längsschnittlich auf 2 Jahre angelegt – formatives Instrument
- 4 MZP jeweils am Anfang und am Ende eines Schuljahres
– Vom Beginn des 5. bis Ende des 6. Jahrgangs
– Also zu Beginn eines neuen Bildungsabschnittes (Sekundarstufe)
- Rückmeldungen erfolgen auf Schul‐, Klassen‐ und Individualebene
Instrumente SMS
- Mathematiktest
– Subdomänen: Zahlen und Operationen, Messen, Zeit und Geld, Proportionalitäten und Bruchzahlen
– Durch Cito und die Beteiligten Lehrkräfte erstellt oder aus dem Niederländischen übernommen und durch die Lehrkräfte geprüft, um curriculare Validität sicherzustellen
– Rotiertes Testdesign (Multimatrix)
• Adäquate Testdauer für die Schüler, trotz insgesamt vieler Aufgaben
- Leseverständnistest
– Domäne Lesekompetenz Instrumente
– Größtenteils Texte aus IGLU, die sich demnach am Literacy‐ Konzept orientieren
– Multiple‐Choice und offene Antworten
– Literarische‐ und Sachtexte
• Sachtexte überrepräsentiert
– Auch hier aus testtheoretischen und zeitökonomischen Gründen Multimatrix‐Design
Rückmeldung SMS
- In Anlehnung an Large‐Scale‐Assessments Transformation des Mittelwerts auf 500, da Lehrkräfte diese Darstellungsweise bereits kennen
- Nur Schüler die mindestens 50% der Aufgaben bearbeitet haben werden für Berichterstattung berücksichtigt
- Darstellung der Ergebnisse auf empirisch ermittelten Fähigkeitsniveaus
– Unterschieden nach zwei Normgruppen (Gym/GS), um Häufungen der Schulformen in bestimmten Niveaus zu vermeiden
Rückmeldungen auf…
- Schulebene:
- Vergleich an der Gesamtstichprobe anhand der Fähigkeitsniveaus und Normgruppen
- Klassenebene:
– Punktwerte, Konfidenzintervalle, Prozent korrekt, Verteilung auf die Fähigkeitsniveaus
• Individualebene:
– Individuelle Leistungsentwicklungen über bis zu vier MZP (im Rahmen von SiT 2 MZP)
Problem der Individualrückmeldungen
- Ergebnisse auf Individualebene zu berichten ist äußerst voraussetzungsvoll
– Hinreichende Anzahl von Testaufgaben durch Multimatrixdesign
– Trotzdem erhebliche Messfehler (vgl.Bos&Voss2008)
– Zusätzliche Absicherung durch längsschnittliche Betrachtung
• Messungenauigkeiten können so leichter identifiziert werden
Befunde aus der Erprobungsphase
- Ergebnisse zur Qualität des Instrument
- Explorative Ergebnisse zu Erfahrungen mit den Ergebnisrückmeldungen
quantitativ: Befragung zu den
Leistungsrückmeldungen (Koordinatoren und Fachlehrer)
qualitativ: 6 Experteninterviews zum Umgang mit den Rückmeldungen
Skalierung
• Skalierung erfolgte anhand von zwei unterschiedlichen Verfahren parallel
– Cito: One‐Parameter‐Logistic‐Model (OPLM)
• Verbindet die Vorteile des Raschmodells mit der Möglichkeit für die Item Parameter unterschiedliche Trennschärfeparameter zu bestimmen
– Schulen im Team: Raschmodell
• Setzt voraus: Item Homogenität, lokale stochastische Unabhängigkeit, gleiche Trennschärfeparameter
Technische Details
– Abgleich der Verfahren: Rangfolgenkorrelation der Itemschwierigkeitsparameter nach Spearman‐Rho
• Koeffizienten:
– Mathematik: 0.946 (Abweichung: 1,25 Rangplätze)
– Leseverständnis: 0.906 (Abweichung: 1,64 Rangplätze)
– Testreliabilitäten:
– Mathematik: 0.906
– Leseverständnis: 0.742
– Gute Passung zwischen Aufgabenschwierigkeiten und Personenfähigkeiten
– Probleme: Differenzierung im oberen Fähigkeitsbereich (insbesondere Mathematiktest)
• Beim zweiten MZP wurden die Tests um Aufgaben im oberen Fähigkeitsbereich ergänzt
– Aber: Insgesamt entsprechen die Tests den Standards internationaler Schulleistungsforschung
Erste Explorationen zu den Rückmeldungen
- Befragung fand im Rahmen einer Rückmeldeveranstaltung im Anschluss an die 1. Erhebungswelle statt
- Maximal zwei Netzwerkkoordinatoren pro Schule
– die nachher auch als Multiplikatoren fungierten
– konnten an der Veranstaltung teilnehmen
• Daher ist der Rücklauf, obwohl von allen beteiligten Schulen Daten vorhanden sind, lediglich N=17
• Themen der Befragung:
1. Verständlichkeit der Rückmeldungen
- Bedeutung für die eigene Arbeit (Nützlichkeit, Konsequenzen, Kooperation)
• Ergänzt werden die Angaben der Koordinatoren durch Ergebnisse der Fachlehrer als Hauptadressaten der Rückmeldungen (N=37)
