Validitet Flashcards

Question

Vad ska man tänka på vid val av items?

Answer 1

När man konstruerar ett test eftersträvar man redan från början stor interindividuell spridning Detta uppnås genom att välja items som olika personer svarar på olika sätt – uppgifter som har varierande lösningsfrekvens Syftet är att skapa dimensioner där samtliga items inom varje dimension bidrar till homogenitet (mäter samma förmåga/färdighet) kommunalitet (har gemensam varians) Genom att studera effekten på reliabiliteten av att ändra antalet items kan man arbeta med att förbättra den Ofta bra skapa fler items än man tänkt sig att använda och sedan reducera antalet och välja de som fungerar bäst

Answer 2

Innebär att testet har utprövats i den population som den är avsedd för – ett representativt stickprov. Är testpoängen normalfördelad har man beräknat medelvärde, standardavvikelse och korrelationer av intresse som beskriver testets egenskaper i den aktuella populationen. Viktigt att det finns information om hur test standardiserats för att ta ställning till om hur rimligt det är att jämföra testpersonens resultat med normen. Barntest: viktigt med normgrupper för olika åldrar

Answer 3

...att proceduren eller administrationen av mätmetoden är väldefinierad när det kommer till instruktioner, träning av intervjuare, testledare etc. Samt att alla relevanta detaljer för att utföra testningen på det avsedda sättet finns i en manual eller liknande. Viktigt att anpassa till språk och kultur vi översättning - mätmetoden ska vara relevant för de som ska svara på den.

Answer 4

Viktigt att ta ställning till – Konceptuell ekvivalens – uppfattas fenomenet på samma sätt? – Item ekvivalens – uppfattas enskilda item på samma sätt? – Semantisk ekvivalens – betyder ett begrepp samma sak? – Operationell ekvivalens – kan man fråga på samma sätt? – Measurement equivalence – är de psykometriska egenskaperna desamma? Testning av begriplighet Eventuellt finns det kulturella skillnader som måste anpassas?

Answer 5

En modern testteori. Övergripande begrepp för ett antal olika modeller I kursboken används exemplet Logististisk itemanalys Latent trait models Item responses/testsvar är observerade manifestationer av hypotetiska egenskaper, konstrukt eller attribut Dessa modeller ger mer precis information om enskilda items

Answer 6

Dominerat testkonstruktion det senaste århundradet Många av de metoder vi diskuterat har utgått från denna teori Det finns dock en rad problem med CTT, exempelvis att: – Statistik för item och skalor är beroende av den grupp som testats – Om skalan kortas eller item ändras behöver man utvärdera på nytt – Varje item bidrar lika mycket till totalpoängen (om man inte viktar)

Answer 7

Vid testkonstruktion har klassisk testteori allt oftare kommit att kombineras med Item Response Theory (IRT). Har fokus på enskilda items mätkvaliteter istället för testet som helhet. Avancerade matematiska modeller används för att pröva samband mellan latenta (icke-observerbara) egenskaper och attribut och deras manifesta uttryck (observerbara svar, utfall och prestationer).

Answer 8

Den latenta variabeln (exempelvis upplevd stress, en viss attityd eller färdighet) och testuppgifterna kan placeras längs ett kontinuum från låg till hög nivå – vi vill veta var individen befinner sig på detta kontinuum. Den latenta variabeln utgår man ifrån är endimensionell och att det är denna latenta variabel/egenskap som reflekteras i varje testsvar. Förutsatt att antagandena stämmer så beror skillnader i testsvar mellan olika individer på skillnader i den latenta variabeln.

Answer 9

Sannolikheten att man avger ett visst svar är relaterad till ett items svårighetsgrad (difficulty) Ett svårt item besvaras korrekt bara av de som har mycket av egenskapen En persons proficiency (färdighet) avgör vilket svar som väljs Motsvarar hur mycket en person har av den latent variabeln Både intelligens och depression ses båda som “färdigheter” En persons förmåga, proficiency, betecknas theta (Θ) Transformeras till ett värde som liknar z-värde Genomsnittlig person Θ = 0 Kan varierera mellan ~ -3.0 to ~ +3.0 Även svårighet (b) transformeras på liknande sätt

Answer 10

Beskriver relationen mellan en persons färdighet (Ꝋ) och sannolikheten att man svarar “rätt” Sannolikheteten 0,5 motsvarar 50% chans att man svarar “rätt” Kurvan man får ut för ett enskilt item X-axeln - individens färdighet som baseras på antalet rätt som en individ har totalt sett på en skala Y-axeln - jämfört med sannolikheten att svara rätt (se bild)

Answer 11

Fördelar Kan ge korta skalor med hög reliabilitet Ger precisa estimat för varje item Kan jämföra individer även om de svarat på olika item Har använts mer inom folkhälsovetenskap och vid konstruktion av kunskapstest, men användning inom psykologi ökar. – Exempel: SDQ har undersökts med IRT-ansats som visat att instrumentet trots sitt korta format (5 frågor/delskala) fångar olika problemdimensioner (Hagqvist, 2007) Nackdelar Svårt att beräkna med vanliga statistikprogram Oklart om det alltid är värt det externa arbetet