08 Empirische Überprüfung des Testentwurfs: Trennschärfe und Schwierigkeitsanalyse

Question 1

Welche Skalenkennwerte gibt es?

Answer 1

Reliabilität

Question 2

Welche Itemkennwerte gibt es?

Answer 2

• Trennschärfe
• Schwierigkeitsindizes (Itemschwierigkeit, Itemvarianz)

Question 3

Wie hängt psychologische Schwierigkeit mit psychometrischer Schwierigkeit zusammen

Answer 3

tiefe psychologische Schwierigkeit = hohe psychometrische Schwierigkeit
(Der Schwierigkeitsindex ist eigentlich ein Leichtigkeitsindex)

Question 4

Was bedeutet der Trennschärfe-Index?

Answer 4

Je höher dieser Wert, desto besser korreliert ein Item mit seiner Skala

Question 5

Wie wird Schwierigkeit ermittelt?

Answer 5

Wird anhand der Lösungshäufigkeit in % ermittelt

Question 6

Wie lautet die Formel zur Berechnung des Mittelwerts (für die psychometrische Schwierigkeit)?

Answer 6

Question 7

Wann ist eine Varianz 0

Answer 7

Wenn alle Personen gleich Antworten

Question 8

Ist die Itemvarianz ein wichtiges Mass für die Schwierigkeit?

Answer 8

Weniger wichtig als die Itemschwierigkeit

Question 9

Wie hängt die Itemvarianz mit der Trennschärfe zusammen?

Answer 9

Niederige Varianz = wahrscheinlich weniger Trennschärfe
Hohe Varianz = wahrscheinlich höhere Trennschärfe

Question 10

Warum ist bei Itemvarianzen der Vergleich zwischen den Items wichtig

Answer 10

Weil Items miteinander verglichen werden sollen … wird nicht erklärt.

Question 11

Was sind dichotome Items?

Answer 11

Ja/Nein-Antwortformate

Question 12

Wie berechnet sich der Schwierigkeitsindex für dichotome Items?

Answer 12

Question 13

Wie berechnet man den Schwierigkeitsindex mit Zufallskorrektur? (per Zufall richtige Antworten korrigieren)

Answer 13

Question 14

Was ist Ingriffnahmekorrektur?

Answer 14

Wenn nicht alle Personen alle Aufgaben beantworten konnten, wird dies korrigiert.

Question 15

Wie berechnet man den Schwierigkeitsindex (SI) mit Ingriffnahmekorrektur?

Answer 15

Question 16

Wie berechnet man den Schwierigkeitsindex mit Zufalls- und Ingriffanhmekorrektur?

Answer 16

Question 17

Wann möchten wir extreme Schwierigkeiten/Leichtigkeiten?

Answer 17

Wenn wir (auch) in extrembereichen messen möchten (z.B. Hochbegabung, Wissensprüfung zur Abstufung)

Question 18

Wie schwierig sollen die Aufgaben bei Schnelligkeitstests sein? (Speed-Tests)

Answer 18

psychologisch LEICHT (psychometrisch schwierig)

Question 19

Wie schwierig sollen Aufgaben bei Niveau-Tests sein? (Power-Tests)

Answer 19

Aufsteigende psychologische Schwierigkeit

Question 20

wie schwierig sollen Aufgaben bei Speed-Power-Tests sein?

Answer 20

Aufsteigende Schwierigkeit, aber eher im mittleren Bereich, nicht zu schwierig

Question 21

Welche Schwierigkeiten erlauben hohe Trennschärfen?

Answer 21

Mittlere Schwierigkeiten

Question 22

Welche Schwierigkeit ist aus theoretischer Sicht ideal? Um nur zu Trennen zwischen Lösern und Nicht-Lösern

Answer 22

p = 0.50

Question 23

Welche Schwierigkeitskontinuums sollte ein psychometrischer Test tatsächlich aufweisen und warum?

Answer 23

zwischen p = 0.20 und p = 0.80

-> Damit differenziertere Abstufungen möglich werden (und nicht nur Bestanden/Nicht bestanden)

Question 24

Wie ist der Schwierigkeitsindex häufig bezeichnet?

Answer 24

Als Mittelwert (xquer) statt SI

Question 25

Zwischen welchen zwei Trennschärfen kann grundsätzlich unterschieden werden?

Answer 25

• Eigentrennschärfe (Beziehungs eines Items zu Items aus eigener Skala)
• Fremdtrennschärfe (Beziehung eines Items zu externen Kriterien)

Question 26

Was misst die Eigentrennschärfe?

Answer 26

Wie gut misst ein einzelnes Item die angestrebte Fähigkeit oder Eigenschaft?

Question 27

Was ist die part-whole-Korrektur und warum muss sie bei der Berechnung der Trennschärfen gemacht werden?

Answer 27

• Der Summenwert der anderen Items muss um das Item, für das die Trennschärfe bestimmt werden soll, korrigiert werden.
• Sonst kommt es zu einer Überschätzung (denn das Item kann nicht mit sich selbst verglichen werden, sondern nur mit den anderen items)

Question 28

Wovon ist die Höhe des Trennschärfekoeffizienten abhängig?

Answer 28

• Grad der Gemeinsamtkeit, dessen, was durch die Aufgabe und durch den gesamten Test gemessen wird
• Zahl der möglichen interindividuellen Differenzierungen, die eine Aufgbae treffen kann (z.B bei zwei Antwortmöglichkeiten 3 Differenzierungen -> 0,1,2 Punkte)

Question 29

Wie hängen Trennschärfen mit Reliabilität zusammen?

Answer 29

Hohe Trennschärfen begünstigen hohe Reliabilität

Question 30

Welche Trennschärfekoeffizienten werden angestrebt?

Answer 30

Möglichst hohe (< .30 ist zu niedrig)

Question 31

Wie berechnet man die Anzahl Unterscheidungen bei der Trennschärfe?

Answer 31

Anzahl Personen mit richtiger Lösung x Anzahl Personen mit falscher Lösung

= Bei Aufgabe mittlerer Schwierigkeit können mehr Unterscheidungen gemacht werden, was eine hohe Trennschärfe begünstigt.

Question 32

Welche Einflussfaktoren für die Trennschärfe gibt es?

Answer 32

• Varianz (bei zweigipfliger Verteilung)
• Ausreisserwerte
• Verteilungen (Items in Randbereichen)
• Homogenität in Stichproben (Weil homogene Stichproben führen zu weniger Varianz)
• Selektionskennwert

-> eigentlich läuft es hier immer auf die Varianz raus, oder?

Question 33

Wann kann Varianz die Einflussfaktoren beeinflussen?

Answer 33

Wenn es zwei Gruppen gibt, die sich zwar ähneln, insgesamt die Varianz auseinandertreiben. (zweigipflige, bimodale Verteilung)

Question 34

Was ist der Selektionskennwert?

Answer 34

Er korrigiert die Trennschärfe von Items mit extremer Schwierigkeit nach oben. (Hilft, das solche Items nicht so leicht ausgeschlossen werden)

Question 35

Warum/Wann gibt es negative Trennschärfen?

Answer 35

• das Item ist ungeeignet
• Umpolung wurde vergesen

Question 36

Was muss ich bei der Beurteilung des Trennschärfekoeffizienten beachten?

Answer 36

• Anwendungsbereich (z.B. Klinische Psychologie)
• angestrebte Personengruppe (z.B. Arbeit mit Kindern)
• Stichprobenabhängigkeit (Evaluierungsstichprobe!)
• Wie ist das Item im Vergleich zu den anderen Items des Tests/der Skala einzuschätzen?

Question 37

Was ist bei Paralleltests zu beachten?

Answer 37

Nicht nur Items sollen gleich sein, sondern auch:
* Trennschärfe
* Schwierigkeit

Question 38

Was kann eine niedrige Fremdtrennschärfe auch bedeuten?

Answer 38

Dass die eigenen Items besonders schwierig sind.

Question 39

Was ist der Selektionskennwert?

Answer 39

Der Selektionskennwert korrigiert die Trennschärfen für die Itemstreuung (Trennschärfe schwieriger Items wird nach oben korrigiert)

Question 40

Was ist die Itemtrennschärfe?

Answer 40

Indikator dafür, inwieweit ein Item etwas Ähnliches erfasst wie der übrige Test.

Question 41

Was ist die Itemvarianz?

Answer 41

Gibt an, wie stark die Antworten auf ein Item sich zwischen Personen unterscheiden.

Question 42

Wann sind Trennschärfen zufriedenstellend?

Answer 42

Daumenregel: ab .30 oder .40 (wenn sie tiefer sind, sind sie NICHT zufriedenstellend)

Question 43

Wie hängen Schwierigkeiten mit Trennschärfen zusammen?

Answer 43

Mittlere Schwierigkeiten begünstigen hohe Trennschärfen (garantieren sie aber nicht)

-> d.h. bei mittleren Schwierigkeiten können mehr Unterscheidungen zwischen Personen gemacht werden als in den extremen Bereichen