Planung und Konstruktion eines Tests

Question 1

Information zur Testplanung und Konstruktion: 1. Testplanung: Annahme

Answer 1

Verhalten von Personen kann mit Hilfe von individuellen Merkmalen gemessen werden, diese sollen mit einem Test erfasst werden

Question 2

Information zur Testplanung und Konstruktion: 1. Testplanung: Geltungsbereich

Answer 2

Mit dem Geltungsbereich werden die Anwendungsmöglichkeiten von Tests angebenen. Es sollte auf inhaltiche Validität geachtet werden (Übereinstimmung zwischen dem zu messenden Merkmal und seiner Operationsalisierung mittels des Testitems)

Question 3

Information zur Testplanung und Konstruktion:1. Testplanung: Zielgruppe

Answer 3

Über welchen Personenkreis sollen mit den Tests Aussagen getroffen werden ?

Question 4

Information zur Testplanung und Konstruktion: 1. Testplanung: Testlänge (Anzahl der Items)

Answer 4

1. je breiter der Geltungsbereich, desto länger wird der Test
2. Mit zunehmender Anzahl an Items zur Erfassung eines Merkmalbereichs wird das Ergebnis präziser (denn Messfehler wird geringer, Reliabilität steigt). Dieser Zugewinnn wird ab einer gewissen Länge aber von Störvariablen (Erschöpfung, nachlassende Motivaton, Konzentrationsfähigkeit) überlagert

Question 5

Information zur Testplanung und Konstruktion: 1. Testplanung: Aufgabentypen und Antwortformate

Answer 5

1. Die Aufgabenstellung besteht auf zwei Teilen:
   a) Aufgabenstamm: die Aufgabe an sich, bei Persönlichkeitstests eine Frage oder Statment
   b) Antwortformat: die ver. Itemtypen / Aufgabentypen können anhand des Antwortvormates unterschieden werden:
   (I) Aufgaben mit gebundenem Antwortformat: Mehrere vorgefertigte Antwortmöglichkeiten, Allg. ökonomisch, schnelle Auswertung mittels technischer Verfahren
   (II) Beurteilungsaufgaben: individuelle Einschätzungsurteile. Agaben des Grades der Zustimmung/ Ablehnung zum Aufgabenstamm, dabei sind die Antwortskategorien meist nicht aufgabenspezifisch. Unterscheidung in:
   (a) Analogskala: kontinuierliche Skala, wodurch eine besonders präzise Differenzierung der Beurteilung möglich ist
   (b) Rating-skala: “Stufenantwortaufgaben”, mind. zwei graduell abgestufte Beurteilungskategorien

Question 6

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - Verwendung der Skalenstufen

Answer 6

Verwendung von Skalenstufen: bei der Verwendung von Skalenstufen, sollte der Grad der differenziertheit des urteils berücksichtigt werden (wie viele Abstufungen?) —> visuelle Analogskala vs. diskret gestufe Ratingskala?

Question 7

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 3. Bezeichnung von Skalenpunkten

Answer 7

1. nummerisch: mit zahlen markiert Skala, erweckt den Eindruck einer intervallskalierten Skala, wobei die Wahl der Nummerierung eine Verschiebung der Antworten verursachen kann
2. Verbal: mit Worten bezeichnet –> hier ist es vorteilhaft, dass die Skalenpunkte intersubketiv einheitlich interpretiert werden
3. optische Skala: kommen ohne Markierungen aus
4. Symbolskala: dienen lediglich Symbole zur Beurteilung

–> Alle Skalen können jedoch ebenso miteinander kombiniert werden s. Handout

Question 8

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 2. Polarität der Antwortskala

Answer 8

a) bipolare Skala: der Bereich der Zustimmung bzw. Ablehnung geht von einem positiven zu einem negativen Pol
b) unipolare Skala: besitzt einen “Nullpunkt” (z.B.: von “nie” bis “Immer”)
–> Die Entscheidung darüber hängt von den Inteminahlt bzw. von der zu erfassenden Eigenschaft ab, Beispiel s. Handout

Question 9

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen

Answer 9

1. Verwendung von Skalenstufen
2. Polarität der Antwortskala
3. Bezeichnung von Skalenpunkten
4. neutrale Mittelkategorie?
5. “Weiß-nicht”-Kategorie?
6. asymmetrische Skala

Question 10

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 4. Neutrale Mittelkategorie

Answer 10

1. dient häufig als Ausweichoption, wird als “normal” eingestuft und deshalt gewählt oder gänzlich gemieden.
2. Nachteile: Dies kann zu erheblichen Verzerrungen führen und spricht gegen die Verwendung.
3. Vorteile: Wenn es allerdingt keine neutrale Mittelkategorie gibt, werden Probant*innen zu einem Urteil gezwungen, selbst dann, wenn ihre Einstellung eigentlich neutral ist oder das gefragt Merkmal durchschnittlich/ mittel ausgeprägt ist –> dies kann eben so zu Validitätseinschränkungen führen

Question 11

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 5. “Ich-Weiß-nicht” -Kategorie

Answer 11

1. Seperat: dient als seperate Antwortalternative und ist optisch von den anderen Kategorien getrennt.
2. Verwendung: kann angekreuzt werden, wenn Probanden das Item nicht verstanden haben, keine Meinung zu dem item haben oder sie ein Statment/ eine Frage nicht beurteilen können –> daher kann sie häufig sinnvoll sein
3. Nachteile: das Ankreuzen einer “Ich-Weiß-nicht” Kategorie führt zu einem fehlenden Messwert, was sie negativ auf Reliabilität und Validität einer Skala auswirken kann –> bei zu vielen Fehlenden Messwerten ist es nicht mehr möglich eine Aussage über die Ausprägung einer Eigenschaft einer Person zu treffen

Question 12

2. Testkonstruktion: Aspekte, die bei der Konstruktion von Beurteilungsaufgaben beachtet werden sollen - 6. Verwendung asymmetrischer Skalen

Answer 12

ist dann in Betracht zu ziehen, wenn keine symmetrisches Antwortspekturm erwartet wird, dadruch kann eine höhere Differenzierung ermöglicht werden. In der Psychologie selten vertreten –> z.B.: Itemspezifisches Antwortformat s. Handout s. 2

Question 13

2. Testkonstruktion: Fehlerhafte Itembeantwortung - Definition und Arten

Answer 13

1. Definition: systematische, nicht-zufällige Fehler, die bei der Itembearbeitung entstehen. Erschweren die Interpretation der Untersuchungsergebnisse
2. Arten:
   a) Soziale Erwünschtheit
   b) Tendenz zur Mitte
   c) Akquieszenz (Zustimmungstendenz)

Question 14

2. Testkonstruktion: Fehlerhafte Itembeantwortung - 1. Soziale Erwünschtheit: Definition, Arten & Lösung

Answer 14

social desirability:
1. Definition: Häufig poitivere Darstellung/ Übereinstimmung mit Normen & WErten der Gesellschaft. Tenden als günstig erarchete Merkmale in den Vordergrund zu stellen und gleichteitig als unerwüscht vermutete Merkmale zu verbergen

2. Arten:
   a) Selbsttäuschung: selfdeceptiv enhancement
   häufig eher unbewusst
   b) Fremdtäuschung: impression management
   erzeugt Fehleindruck wird häufig zur Täuschung anderer bewusst eingesetzt
3. Lösung:
   a) Aufklärung über Untersuchungszweck
   b) Anonymität
   c) Kontrollskala: VP müssen Stellung zu negativer, weit verbreiteter Verhaltensweise beziehen –> Verneinung deutet auf hohe Tendenz der sozialen Erwünschtheit hin

Question 15

2. Testkonstruktion: Fehlerhafte Itembeantwortung -2. Tendenz zur Mitte: Definition & Lösungen

Answer 15

1. Definition: Bewusste oder unbewusste Bevorzugung der mittleren (neutralen) Antwort.
2. Lösung:
   a) keine neutrale Mittelkategorie
   b) keine extremen sprachlichen Bezeichnungen der beiden Pole
   c) eine “ich-weiß-nicht”-Kategorie
   –> Aber Härte-Effekt: Tendenz zu Extremurteilen ebenfalls möglich!

Question 16

2. Testkonstruktion: Fehlerhafte Itembeantwortung - 3. Akquieszenz

Answer 16

–> Zustimmungstendenz
1. Definition: Tendenz Fragen/Statments unkritisch zuzustimmen –> ebenfalls gibt es Ablehnungstendenz

2. Lösung:
   a) positive und negative formulierte Items –> ABER: (I) Gefahr von Effekten der Itempolung, da positiven Items häufiger zugestimmt wird und negative Items häufiger verneint werden
   (II) Probleme bei der statistischen Analyse können auftreten –> z.B.: bilden negativ gepolte Items häufig eigene Faktoren bei der Faktorenanalyse oder wenn vergessen wird sie zu recodieren hängen sie ngativ mit den anderen Items zusammen und wirken sich somit stark negativ auf die Reliabilität aus

Question 17

2. Testkonstruktion: Itemkonstruktion - wichtige Punkte

Answer 17

1. Sprachliche Verständlichkeit
2. Eindeutigkeit des iteminhalts
3. Varianz des Antwortverhaltens und Itemsschwierigkeit
4. Weitere Aspekte

Question 18

2. Testkonstruktion: Itemkonstruktion - 1. Sprachliche Verständlichkeit

Answer 18

1. oberste Priorität = Klarheit (Verständnis möglichst schon nach einmaligem Lesen)
2. Richtlinien:
   a) Items eher positiv formulieren & (doppelte) Verneinung vermeiden
   b) komplizierte Satzkonstruktionen vermeiden
   c) Wortabkürzungen vermeiden
   d) Fachbegriffe & Fremdworte vermeiden (Zielgruppe beachteten!)
   e) Achtung bei Angaben von Intensitäten und Häufigkeiten: sie die Antworten im Sinne des zu erfassenden Konstrukts interpretierbar?
   f) Sinnvolle und erschöpfende Antwortmöglichkeiten evlt. offenes Antwortformat mit klaren Maßheinheiten (z.B.: _h pro Woche)

Question 19

2. Testkonstruktion: Itemkonstruktion - 2. Eindeutigkeit des Iteminhalts

Answer 19

1. Alle VP sollten das gleiche Verständnis des iteminhalts haben
2. Richtlinien:
   a) keine Universalausdrücke (“nie” oder “immer”)
   b) schwierige Begriffe definieren
   c) Mehrdeutigkeit vermeiden
   d) nur eine Aussage pro item
   e) Vorwissen der VP berücksichtigen
   f) Zeitspannen klar angeben

Question 20

2. Testkonstruktion: Itemkonstruktion - 3. Varianz des Antwortverhatlens und Itemschwierigkeit

Answer 20

1. Items sollten interindividuelle Unterschiede abbilden (zwischen unterschiedlichen Merkmalsausprägungen differenzieren)
2. ITems vermeiden, die die meisten Menschen lösen/ bejahen bzw. nicht lösen/verneinen würden
   –> Ausnahme: im klinischen Bereich, um Störungen diagnostizieren zu können)
3. Bei Leistungstests: genung ver. Items, um auch im unteren und oberen Bereich gut differenzieren zu können

Question 21

2. Testkonstruktion: Itemkonstruktion -4. weitere Aspekte

Answer 21

1. Aktualität der Items, v.a. bei Wissensfragen
2. Vorsicht bei Fragen, die von sich aus Wertung enthalten oder mit konstruktfremden Emotionen kondunfiert sind
3. keine Suggesivfragen
4. Festlegung der Antwortrichtung:
   a) was bedeutet Zustimmung/Ablehnung für die Ausprägung des interessierenden Merkmals?
   b) Kann jedes items mit dem einheitlichen Antwortformat schlüssig beantwortet werden?

Question 22

2. Testkonstruktion: Erstellung einer vorläufigen Testversion - Überblick

Answer 22

1. Reihenfolger der Items:
   a) Aufsteigende Schwierigkeit
   b) Aktualisierungseffekte beachten
   c) Konsistenzeffekte
2. Instruktion

Question 23

2. Testkonstruktion: Erstellung einer vorläufigen Testversion: 1. Reihenfolge der Items

Answer 23

1. Aufsteigende Schwierigkeit:
   a) um Überforderung der Vp zu vermeiden
   b) “Eisbrecherfunktion” von leicht lösbaren Items am Anfang
2. Aktualisierungseffekte beachten:
   a) logische und inhaltliche Zusammenhänge zwischen den Items, die dazu führen, dass sich die Items gegenseitig erschweren oder erleichtern vermeiden (Beispiel s. Handout s. 4)
3. Konsistenzeffekte:
   a) “stimmige Antwort” durch Vermutung, dass Items das gleiche Merkmal abdecken
   b) Lösung:
   (I) Pufferaufgaben: zur Verschleierung der Messintention
   (II) Ausbalancieren: durch Randomisierung oder spezifisches Arrangement der Reihenfolge der Items
   (III) Nichtssagende Testbeschreibungen oder offene Mittleiung des Erhebungsziels: zur Vorbeugung von Kotexteffekten

Question 24

2. Testkonstruktion: Erstellung einer vorläufigen Testversion - Instruktion

Answer 24

Eine gute Instruktion solle:
1. zur Mitarbeit animieren
2. Klare Handlungsanweisungen geben
3. den Antwortmodus erläutern
4. ein Beispielitem enthalten
5. Aufforderung enthalten spontan, wahrheitsgetreu und vollständig zu antworten
6. Anonymität der VP gewährleisten
7. Zusätzlich zur Imstruktion: Angaben einer Ansprechperson für Rückfragen, Demopraphische Variablen

Question 25

Prinzipien der Itemformulierung

Answer 25

1. einfach, klar, direkt und eindeutig formuliert
2. einfach Sätze mit einer kalren Aussage, keine verschachtelten Satzgefüge/-verbindungen
3. kurz & nur in Ausnahmen 20 Wörter überschreiten
4. immer nur ein vollständiger Gedanken pro Item, der in einem Sastz formuliert wird
5. keine Wörter wie “immer”, “alle”, “niemand” oder “niemals”
6. Wörter wie “nie”, “gerade” oder “kaum” vorsichtig und nur in Ausnahmen verwenden
7. keine potenziell unverständlichen Wörter (Fachbegriffe, Abkürzungen, Fremdwörter,…)
8. keine konstruktfremden Emotionen auslösen –> dabei muss ggf. gesondert auf das Geschlecht, Alter, Kultur, Bildungsgrad und Verhtrautheit mit dem Untersuchungsmaterial/-gegenstand Rücksicht genommen werden
9. Positiv & keine (doppelte) Verneinung
10. Angaben über Häufigkeiten/Maße, wenn eindeutig interpretierbar und über das Antwortformat auch korrekt einschätzbar
11. Items sollten Abgaben zu einem Zeitpunkt oder einer Zeitspanne nur dann entahlten, wen diese eindeutig definiert sind