VL2 Testkonstruktion

Question 1

Phasen der Testkonstruktion

Answer 1

An Paul E-autos TÜV Ist Kritisch Reifen Eckig

1) Anforderungsanalyse & Problemstellung
Erfahrungsgeleitete-intuitive Methode
Analytische-empirische Methode
Personenbezogene-empirische Methode

2) Planung & Literatursuche (theoretische Grundlage)
3) Eingrenzung des Merkmals & Arbeitsdefinition

4) Testentwurf 
          Festlegung der Zielgruppe
          Art der Info
          Zweck des Tests
          Fragetyp & Antwortformat

5) Überprüfung des Testentwurfs (geeignete & große SP)
6) Verteilungsanalysen (Itemverteilungsanalyse: Boden & Deckeneffekte, zweigipflige Verteilung, NV)
7) Itemanalyse & Itemselektion (Schwierigkeit,Streung,Trennschärfe)
8) Kriteriumskontrolle (O_V_R)
9) Revision des Tests (psychometrische Prüfung)
10) Eichung (Normierung) Cut-off-Werte bestimmen

Question 2

welche 3 Ansätze gibt es zur Testkonstruktion?

Answer 2

• rationaler/deduktiver Ansatz/Korrespondenzansatz
  –> vorliegen einer Theorie, direkter Zusammenhang zwischen Konstrukt & Antwort (Augenscheinvalidität)
  HAWIE Intelligenztest
• internaler/induktiver Ansatz
• -> mal viele Fragen um auf etwas zu schließen (BIG 5) NEO-FFI
• externer Ansatz/Kriteriumsbezogeneransatz
• -> vorliegen ≠ Personengruppen: es interessiert die Differenzierung auf Gruppenebene ( Persönlichkeitstests MMPI)

Question 3

Formale Gesichtspunkte für Itemstamm

Answer 3

• Verständlichkeit
• Eindeutigkeit
• kurz
• Achtung vor Konditionalsätzen
• KISS

Question 4

Inhaltliche Gesichtspunkte vom Itemstamm

Answer 4

• Besonderheiten der Zielgruppe beachten
• Vermeidung von zu persönlichen Items
• Vermeidung von Fachjargon
• Vermeidung von verletzenden Formulierungen

Question 5

wie kann das Antwortformat sein?

Answer 5

• gebunden: Testperson wählen aus mehreren Antwortoptionen

- offen/frei: generieren Antwort selbst

Question 6

Welche gebundenen Antwortformate gibt es?

Answer 6

1 Mehrstufige Ratingskalen 
2 Richtig-Falsch-Aufgaben 
3 Mehrfach-Wahlaufgaben 
4 Zuordnungsaufgaben
5 Umordnungsaufgaben

ZURMM

Question 7

Allgemeine Vorteile und Nachteile vom gebundenen Antwortformat?

Answer 7

Allgemeine Vorteile:

• Auswertungsökonomie
• Reaktionssicherheit (schnell und leicht beantwortbar)
• Objektivität

Allgemeine Nachteile:

• Für manche Konstrukte schwierig anzuwenden
• Antworttendenzen (Ja-sage oder Nein-sage-Tendenz)
• Raten
• Motivation

ARO ARM

Question 8

Allgemeine Vorteile und Nachteile des freien Antwortformats?

Answer 8

Allgemeine Vorteile:

• Erfassung spontaner Reaktionen und kreativer Leistungen.
• Ratetendenzen spielen meistens keine Rolle.
• Konstruktion komplexer Aufgaben.Allgemeine Nachteile:
• Hoher Bearbeitungsaufwand
• Hoher Auswertungsaufwand
• Gefahr geringer Objektivität

Question 9

Welche Probleme kann es bei der Fragebogenerstellung geben?

Answer 9

• Positionseffekte: warming-up, Ermüdung, Zeitmangel, Abbruch
• Reihenfolgeeffekte: Beeinflussung der vorherigen Antwort
• Antworttendenzen
• absichtliches Fälschen
• soziale Erwünschtheit
• Motivation

Question 10

Welche Maßnahme gibt es um Antworttendenzen und absichtliches Fälschen zu vermeiden?

Answer 10

spezielle Kontrollskalen einfügen

z.B.: Validitätsskalen des MMPI-II

Question 11

Maßnahmen gegen Soziale Erwünschtheit?

Answer 11

• Forced-Choice Items.
• Skalen zur sozialen Erwünschtheit.
• subtilere Formulierung der Items.
• Bei Konstrukten, die sehr anfällig für Erwünschtheitstendenzen sind, Validierung (oder im Extremfall Ersetzung) durch unaufdringlichere Messverfahren.

Question 12

Maßnahmen gegen fehlende Motivation?

Answer 12

• einfache, nicht zu komplexe Items.
• kürzere Tests.
• (persönliche) Relevanz für den Befragten deutlich machen.

Question 13

Was versteht man unter Itembias?

Answer 13

Bezeichnet einen systematischen Fehler im Prozess des Messens.

Ein Item als biasfrei bezeichnet, wenn die Erfolgswahrscheinlichkeit, das Item zu lösen, für alle Personen mit gleicher Fähigkeit und aus derselben Untergruppe (z.B. Geschlecht oder Alter) gleich ist.

Ein systematischer Bias beeinflusst alle Messungen in der gleichen Weise, er hat einen verstärkenden oder mindernden Effekt.

Question 14

Eindimensionalität des Konstruktes

Answer 14

Eindimensionalität auf zwei Ebenen:

Testebene: Sinnvolle Definition eines hohen und eines
niedrigen Testwerts.

Itemebene: Die Items und Antwortformate sollten so formuliert werden, dass die Werte sinnvoll als ein „mehr“ bzw. „weniger“ des interessierenden Konstrukts interpretiert werden können.

Question 15

wie können Item und Antwortbias identifiziert werden?

Answer 15

ICC-Kurven: 2 ≠ SP vergleichen
Itemlösewahrscheinlichkeit
Personenfähigkeit