Vorlesung 2 Planung und Entwicklung von Tests und Fragebögen - 1. Aufgabentypen und Antwortformate Flashcards Preview

Diagnostik 2 > Vorlesung 2 Planung und Entwicklung von Tests und Fragebögen - 1. Aufgabentypen und Antwortformate > Flashcards

Flashcards in Vorlesung 2 Planung und Entwicklung von Tests und Fragebögen - 1. Aufgabentypen und Antwortformate Deck (21):
1

Freies Antwortformat

• Problem:

• Einsatz

• Keine Vorgabe von Antwortalternativen
• Instruktion legt Format der Beantwortung fest
z.B. Statement vs. Text vs. Zeichnung
• Problem: freie Antworten sind schwerer zu kodieren als MC Fragen
• Einsatz z.B.:
- Schulisch-pädagogischer Bereich
- Erfassung von Kreativität
- Projektive Verfahren ( was interpretiert man aus dem Bild)

2

1. Kurzaufsatzaufgaben

Vor- und Nachteile

Vorteile:

• Reproduktion von Wissen bzw. SELBST ERZEUGTE ANTWORT
• Keine zufällig richtigen Antworten möglich
• KEINE AUSWAHL aus vorgefertigten Antworten

Nachteile:
• ZEITAUFWENDIG für Pbn und Testauswerter
• Eingeschränkte AUSWERTUNGSOBJEKTIVITÄT
• Stark AN SPRACHLICHE FÄHIGKEITEN GEBUNDEN
• MEHRDEUTIGE ANTWORTEN

3

2. Ergänzungsuafgaben

was muss der Tester vor dem Test definieren?

Er muss RICHTIGE ANTWORTEN DEFINIEREN

4

2. Ergänzungsaufgaben

Vor- und Nachteile

Vorteile:
• Reproduktion GESPEICHERTEN WISSENS notwendig, nicht Wiedererkennung
• keine „zufällig“ richtigen Antworten
• Objektivität gewährleistet wenn
Instruktion und AUSWERTUNG STANDARDISIERT
• Auswertung des Lösungswegs

Nachteile:
• Nur Faktenwissen
• Suggestivwirkungen ( der ____ )
• Auswertungsobjektivität ggf.
eingeschränkt
• Zeitaufwändige Bearbeitung und
Auswertung

5

1.2 Gebundenes Antwortformat

was sind GRUNDLEGENDE EIGENSCHAFTEN eines gebundenen Antwortformats?

(was zeichnet es aus?)

- MEHRERE Antwortalternativen
- AUSWERTUNG IST EINFACH ( Schablonen, PC)
- AUSWERTUNGSOBJEKTIVITÄT höher als bei freiem Antwortformat

6

was sind Ordnungsaufgaben und zu welchen Format gehören sie?

WELCHE ARTEN von Umordnungsaufgaben gibt es?

- sie gehören zum GEBUNDENEN ANTWORTFORMAT
- bestandteile der Aufgaben müssen so umgeordnet werden, dass sie eine INHALTLICH SINNVOLLE ORDNUNG HABEN.

- Zuordnungs -vs .Umordnungsaufgaben

7

was sind Zuordnungsaufgaben?

was muss man beachten?

Vor- und Nachteile



- Zuordnung von jeweils 2 Elementen
- auf einer achse muss immer ein element mehr sein, damit man sich nicht am ende 50% entscheiden kann.

Vorteile:
Einfach, ökonomisch, geringe Ratewarscheinlichkeit (bedingung: mehr antwortalternativen als fragen)

Nachteile:
- Wiedererkennung, nicht freie Leistung
- steigende WK für zufallsbedingt richtige Antwort
--> verringerung durch Zunahme von Distraktoren

8

Umordnungsaufgaben

Vor- und Naachteile

Vorteile:
- nicht auf verbales material beschränkt
- Abstraktionsfähigkeit

Nachteile:
- hoher Materialverbrauch
- beschränkte Einsatzmöglichkeiten

9

2. Auswahlaufgaben

- Die richtige Antwort aus mehreren Antwortalternativen
- Finden der Lösung aus Wiedererkennung
- wird erschwert durch Distraktoren

10

was sind Distraktoren und wie kann man sie wählen?

- Ähnlichkeit
- Plausibilität
- Attraktivität

11

was ist bei Auswahlaufgaben zu beachten, damit die Antwort reliabel ist?

DISJUNKTHEIT:
es darf nur eine richtige Antwort geben

EXHAUSTIVITÄT:
die ganze bandbreite an möglichkeiten, sodass man nicht ausweichen muss (besonders bei persönlichkeitstests)


12

welche Auswahlaufgaben gibt es?

1. Dichotome Aufgaben: ja/nein
Vorteile:
Einfach, ökonomisch
Nachteile:
- 50% Ratewarscheinlichkeit
- Wiedererkennungsleistung
- Man bejaht eher (Persönlichkeitsstest)



2. Mehrfachwahl-aufgaben (MC)

13

welche Arten von Mehrfachwahl-Aufgaben gibt es?

1. Multiple Choice
- > 2 Antwortalternativen
- Exhaustivität bedeutsam (alle kategorien anbieten)

2. Forced Choice ( was am ehesten zutrifft)

3. mehrere Korrekte Antwortalternativn
- verringerung der Ratewarscheinlichkeit
- Pick any out of N

Nachteile:
• Lediglich Rekognitionsleistung => Nicht sinnvoll für Erfassung von Kreativität
• Verzerrungen durch Mängel in Distraktoren möglich

14

was kennzeichnet Beurteilungsaufgaben?

- keine richtigen oder falschen Lösungen.
- die lösung für die Proband am ehesten zustifft

15

was sind die 6 Aspekte der Konstruktion von Beurteilungsaufgaben?

1. Skalenstufen – ja oder nein?
- Visuelle Analogskala
- Diskret gestufte Ratingskala (7 schritte)
2. Polarität: Unipolar vs. Bipolar?
3. Bezeichnung der Skalenpunkte
- Numerische/Verbale Ratingskala
- Optische und Symbolskalen (keine Unklarheiten)
- Kombinierte Skala
4. Neutrale mittlere Kategorie
5. „Weiß-nicht“-Kategorie
6. Asymmetrische Beurteilungsskalen

16

Beurteilungsaufgaben:

was kennzeichnet eine Numerische und Verbale Ratingskala?

Probleme?

Numerische Ratingskala
- in Zahlen Markiert
- es suggeriert ein Intervallskalenniveau, aber:
- Gleiche Abstände auf Skala stellen nicht gleiche Abstände im Urteil der Pbn sicher
- Die Zahlen sind oft willkürlich

Verbale Ratingskala
- in Worten bezeichnet
- man kann Bewertungen, Häufigkeits- und Intensitätsangaben, Wahrscheinlichkeiten erfassen
- intersubjektiv einheitlichere interpretation der Skalenpunkte
- KONKRETE HÄUFIGKEITSANGABEN (einmal täglich)
- interpersonell vergleichbar

17

warum kommt es häufig zum wählen der mittleren neutralen Kategorie?

und zu welchen Problemen führt es bei der Auswertung?


Was kann man dagegen tun?

- Wortlaut als unpassend empfunden
- Frage nicht verstanden
- Antwort verweigert
- Pb weiß Antwort nicht

Probleme:
- Validitätsprobleme
- Verzerrung der Interpretation

"Weiß nicht Kategorie"
- dient als explizite ausweichoption
- ist eine Seperate Antwortlternative ( nicht neutral, sondern man hat zb die frage nicht verstanden)

18

was sind Asymetrische Beurteilungsskalen?

- selten. eher in Marktforschung
- zb 1 Kategorie für Zustimmung und 3 für Ablehung.

19

welche Formate verhindern eine Neutrale Antwort?

das Itemspezifische Antwortformat

- ein angepasstes antwortformat
- kaum Antworttendenzen. es gibt nicht die möglichkeit neutral zu bleiben. bsp trinken

20

Vor und Nachteile von Beurteilungsaufgaben

Vorteile
• Einfach und ökonomisch
• Kürzere Bearbeitungsdauer
(einheitlicher Antwortmodus)

Nachteile
• Häufig numerische Bezeichnung der Antwortkategorien und Nutzung als Intervallskala (lediglich ordinalskaliert)

• Messtheoretische Probleme bei Anwendung statistischer Auswertungsverfahren, die das Intervallskalenniveau voraussetzen

21

was ist wichtig wenn man sich für einen Antworttyp entscheidet? welche Faktoren spielen eine Rolle?

• Verständlichkeit
• Durchführbarkeit
• Kurze Lösungszeit
• Geringer Material
• Leichte Auswertung
• Geringe Zufallslösungen