Gütekriterien, Indexbildung, Skalierungsverfahren (4)

Question 1

Testtheorie Formel

Answer 1

X = T + E

X = gemessener Wert
T = wahrer Wert (true score)
E = Fehler (Error)

alle Konstrukte haben wahren Wert, der aber nicht erfasst werden kann (Messfehler) → immer nur Annäherung an die Realität

Question 2

zufällige Messfehler

Answer 2

durch unvorhergesehen Umstände (zB. Baustelle stört Interview)

→ gleicht sich aus, je häufiger man misst (Wahrscheinlichkeitsrechnung)

Question 3

systematische Messfehler

Answer 3

Bsp. Menschen sind nicht ehrlich bei Fragebogen (soziale Erwünschtheit)

→ gleicht sich nicht einfach aus, sondern muss (vorher) identifiziert und eliminiert werden

Question 4

Reliabilität

Answer 4

Zuverlässigkeit
(Kommt man bei Wiederholung der Messung auf gleiches Ergebnis?)

Question 5

Validität

Answer 5

Gültigkeit
(Wird das gemessen, was gemessen werden soll?)

kann nicht mathematisch bestimmt oder gemessen werden, sondern wird in kritischem Diskurs thematisiert

Question 6

Test-Retest-Verfahren

Answer 6

2 Messungen mit gleichen Personen, zeitlicher Abstand

→ Problem: Menschen verändern sich

Question 7

Parallel-Test-Verfahren

Answer 7

2 zufällig zusammengestellte Gruppen gleichzeitige Befragung/ Codierer codieren Material gleichzeitig

Question 8

Validität

Answer 8

Gültigkeit
(Wird das gemessen, was gemessen werden soll?)

kann nicht mathematisch bestimmt oder gemessen werden, sondern wird in kritischem Diskurs thematisiert

Question 9

Inhaltsvalidität

Answer 9

Wird das zu messende Merkmal vollständig/ganzheitlich erfasst?

Question 10

Kriteriumsvalidität

Answer 10

Vergleich mit Außenkriterium (Auswahl mitunter schwierig)

z.B. Umweltbewusstsein & Mitgliedschaft in Umweltorganisation

Question 11

Konstruktvalidität

Answer 11

verwandte Konstrukte sollen mit verwendetem Konstrukt korrelieren

z.B. politisches Interesse & politisches Wissen

Question 12

Cronbachs Alpha-Koeffizient

Answer 12

Korrelation aller Merkmale untereinander

0 = tiefe Reliabilität

1 = hohe Reliabilität

Question 13

Zusammenhang zwischen Validität & Reliabilität

Answer 13

1. Reliabilität ist notwendige, aber nicht hinreichende Bedingung für Reliabilität
2. Validität sinkt mit fehlender Reliabilität
3. Reliabilität garantiert keine Validität

Question 14

Ebenen der Gütekriterien

Answer 14

1. Güte der einzelnen Variable
   
   1. einzelne Variablen bzw. Items einer Skala
2. Güte der einzelnen Messung
   
   1. Operationalisierung konkreter Merkmale (auch Skalen)
3. Güte des Messinstruments
   
   1. Gültigkeit des Messinstruments
   2. unabhängig von konkreter Teilerhebung/Stichprobe
4. Güte der Untersuchung
   
   1. Gültigkeit der gesamten Untersuchungsanalage
   2. inklusive Teilerhebung/Stichprobe

Question 15

Definition Index

Answer 15

Zusammenfassung von mehreren Einzelvariablen (Indikatoren) zu einer neuen Variable

Kombinationen des Merkmalsraums werden zu wenigen (neuen) Kombinationen zusammengefasst
“Reduktion des Merkmalsraums” → Vereinfachung

Question 16

Funktion Indizes

Answer 16

• Komplexe Phänomene
  → mehrere Indikatoren
• Indizes stehen für latente (nicht direkt messbare) Variablen, die mithilfe mehrerer Items (also Indikatoren) erfasst werden
• Indizes werden erst bei der Datenaufbereitung berechnet, nicht bei Datenerhebung erhoben

Bsp.
Medienqualität = latente Variable
→ Aufteilung in Indikatoren: Sachlichkeit, Relevanz, Vielfalt, Professionalität etc.

Question 17

1. Festlegung der Dimensionen: Merkmalsraum

Answer 17

mehrere Merkmale pro Fall
→ Positionierung der Objekte in Raum anhand der Kriterien

Koordinatensystem

Question 18

1. Festlegung der Dimensionen: Typologie

Answer 18

/ “Rekonstruktion des Merkmalsraums”

Typologie = Gesamtheit aller möglicher Kombinationen der zugrundeliegenden Variablen (praktisch alle Permutationen, die möglich sind)

wird nicht immer gemacht, nur bei Merkmalen mit wenigen Ausprägungen (z.B. dichotome Skala)
(rein theoretische Arbeit -> Tabelle)

Question 19

2. Kombination der Dimensionen: Additive Indizes

Answer 19

Index = Indk 1 + Indk 2 + … + Indk n

Problem: funktioniert nur bei gleichen Skalenniveaus, sonst Verzerrung

Bsp. Medienqualitätsbefragung

Question 20

2. Kombination der Dimensionen: Gewichtet additive Indizes

Answer 20

Index = a1Indk 1+ a2Indk 2 + … + an*Indk n

Erlaubt Berücksichtigung unterschiedlicher Bedeutung einzelner Indikatoren

Bsp. Jahrbuch Qualität der Medien 2020
“Einordnungsleistung”
- Themenorientierung 60%
- Interpretationsleistung 40%

Question 21

2. Kombination der Dimensionen: Multiplikative Indizes

Answer 21

Index = Indk 1 * Indk 2 * … * Indk n

Achtung: Multiplikation mit 0 ergibt 0

Bsp. Jahrbuch Qualität der Medien 2020
Beitragsrelevanz * Akterusrelevanz, da sich das eine nicht durch das andere “mitteln” kann

Question 22

Achtung bei Indexbildung:

Answer 22

Messungen (Indikatoren/Variablen), die in den Index einfließen, müssen dasselbe Skalenniveau aufweisen!

Question 23

Skalierungsverfahren Definition

Answer 23

Verfahren zur Konstruktion von Messinstrumenten. Das Resultat ist eine Skala.

Zusammenfassung mehrerer Items (Einzelmessunegen) zu einem Gesamtwert

Question 24

Skalen Bestandteile

Answer 24

Skalen bestehen aus Itembatterien

Items = Einzelfragen zu einem Sachverhalt, die Befragten gestellt werden

Question 25

Skalenniveau vs. Skalierungsverfahren

Answer 25

- Skalenniveau = Differenziertheit der Messung (s. letzte Sitzung) - Skalierungsverfahren = Zusammenfassung mehrerer Items (Einzelmessunegen) zu einem Gesamtwert

Question 26

Index vs. Skala

Answer 26

- Skalen messen entlang einer Dimension - Indizes erfassen mehrere Dimensionen

Question 27

Erstellung von Skalen

Answer 27

- Itembatterien finden, die entlang einer (!) Dimension messen & passende Antwortmöglichkeiten definieren - Skalensuche: bereits getestete Skalen aus Handbüchern oder anderen Studien übernehmen - Statementformulierung: wenn es keine getesteten Skalen gibt, müssen eigene formuliert werden (bei Formulierung der Statements je Item Regeln beachten)

Question 28

Likert-Skalen

Answer 28

*häufig in KoWi* 1. Sammlung/Erstellung von ca. 100 Items 1. sollen Einstellung wiedergeben 2. i.d.R. von 1 “stimme überhaupt nicht zu” bis 5 “stimme voll und ganz zu” 3. Zustimmungswahrscheinlichkeit soll mit latenter Variable korrellieren 2. Pretests 1. Items werden Personenstichprobe vorgelegt 2. nur geeignete, die Konstrukt eindimensional messen, werden ausgewählt 3. Scores werden zu Summen-Index verrechnet (negative gedreht) 4. Item-Analyse 1. Eindimensionalität & Trennschärfe werden (statistisch) geprüft 5. Auswahl 1. nur Items mit hohen Trennschärfekoeffizienten (Ladungen zur Gesamtskala)

Question 29

Semantisches Differential

Answer 29

(Sonderform der Likert-Skala) - 10-20 Gegensatzpaare - Befragte ordnen Wert zwischen Polen zu - individuelles Polaritätsprofil

Question 30

Guttman-Skalen

Answer 30

*selten in KoWi, misst eigentlich nur, wie extrem Meinung ist* - mehrere Aussagen, die immer extremer werden - letzte Zustimmung (Schwellenwert) = Wert des Befragten

Question 31

Thurstone-Skalen

Answer 31

*selten in KoWi* - neutrale Personen sollen aus Perspektive anderer Items dichotom zurordnen - Achtung: Nominalskale - Bsp. Wie würde ein guter vs. ein schlechter Autofahrer dies beurteilen?

Question 32

Magnitude-Skalen

Answer 32

*selten in KoWi, eher Psychophysik* - Probanden sollen subjektive Empfindungsstärke bspw. durch gezeichnete Linienlänge darstellen