Drugi kolokvijum skripta Flashcards
(76 cards)
1
Q
model merenja šta je
A
- matematički ili statistički model koji kombinuje NVe (draži/latentne osobine) sa ciljem da predvidi ZV (ponašanje/odgovor/skor na testu)
2
Q
zadatak modela merenjaH
A
formalno definisati sve varijable koje učestvuju u procesu merenja i njihove međuodnose
3
Q
svrha modela merenja
A
tumačenje prirode (baratanjem simboličkih opisa “prirodnih” stvari koji su izomorfni/paralelni sa njom)
*čak i kada je model podesan, nikada nije tačna deskripcija prirode
4
Q
Dva glavna modela merenja u psihometriji
A
- Klasična testna teorija (KTT) /Klasični merni model/Teorija pravog skora
- Teorija ajtemskih odgovora (TAO) /Teorija latentne crte/Teorija odgovora na stavke
5
Q
KTT dve glavne osobine
A
jednostavna, ali neodređena
- razvijena od strane Spirmana za potrebe merenja inteligencije
6
Q
KTT počiva na formuli
A
-> Y = T + E
Y opaženi/dobijeni skor
T pravi skor
E skor greške
dobijeni skor je podeljen na pravi skor i na skor greške
- poznat nam je jedino dobijeni skor -> problem mogućnosti bezbroj različitih rešenja
(6 = 3+3; 6 = 2+4…)
7
Q
Pretpostavke koje omogućavaju izračunavanje dobijenog skora
A
- greška je slučajna i korelira samo sama sa sobom —
matrica kovarijansi skorova greške je dijagonalna tj. kvadratna matrica kod koje su vandijagonalne vrednosti 0
. pravi skorovi i skorovi greške ne koreliraju
-> matrica kovarijansi ukupnih skorova i skorova greške je nula matrica tj. kvadratna matrica kod koje su sve vrednosti 0
. ukupni skorovi i skorovi greške ne koreliraju
-> matrica kovarijansi dobijenih skorova i skorova greške jednaka je matrici kovarijanse greške
8
Q
konsekvence izračunavanja dobijenog skora
A
i. korelacije ukupnih i pravih skorova jednake su korelacijama ukupnih skorova (posledica toga što skor greške ne korelira ni sa čim)
ii. greške ne utiču na međusobne korelacije pravih skorova
9
Q
- PRAVA VARIJANSA INDIKATORA ZAVISI …
A
SAMO OD PRAVIH SKOROVA!
kovarijanse potiču samo od pravih skorova, a na osnovu njih se procenjuje varijansa indikatora
10
Q
- nedostaci KTT
A
a) uvek je tačna
b) nekoreliranost grešaka
c) platonski pravi skorovi (ne mogu se direktno izračunati)
d) postoji više koncepcija i načina izračunavanja
e) međuzavisnost mera osobine od uzorka (lak test je težak lošim ispitanicima)
f) preplitanje definicija mernih svojstava
11
Q
*pravi skor u KTT je očekivani ..
A
prosečan skor koji bi osoba dobila na beskonačno velikom broju testiranja pod istim uslovima
12
Q
KTT pomoćni modeli svrha
A
da pruže matematičku osnovu za izračunavanje poudzanosti:
13
Q
KTT pomoćni modeli vrste
A
1) model paralelnih indikatora
2) model uzorkovanja iz domena / “slučajno paralelnih indikatora”
14
Q
model paralelnih indikatora - vrste indikatora
A
tip 1 - paralelni indikatori
tip 2 - Tau-ekvivalentni indikatori
tip 3 - kongenerički indikatori
15
Q
Teorija ajtemskih odgovora (TAO) /Teorija latentne crte/Teorija odgovora na stavke
A
- složena, ali određena
* modeli su opšti - koriste se za konstrukciju i evaluaciju mernih instrumenata, ali i za tumačenje rezultata
16
Q
OSNOVNA MERNA SVOJSTVA STAVKI I TESTA
- izdvajaju se
A
težina → odnose se na
diskriminativnost → stavke
poudzanost → odnose se na
valjanost → test
17
Q
Težina (p-vrednost)
A
- ima smisla kada pričamo o 1. paradigmi, ali kada pričamo o 2. koriste se nazivi p-vrednost, indeks težine, popularnost ili indeks lakoće
18
Q
Težina u opštem slučaju:
A
- aritmetička sredina ajtemskih skorova (što je viša, to je test lakši)
- binarne stavke(0 ili 1): proporcija pozitivnih odgovora
19
Q
TEŽINA u TAO:
A
- dihotomne stvake - parametar b (ili δ)
* za politomne ne postoji parametar težine, ali postoji za kategorije
20
Q
težina je jedan od dva osnovna kriterijuma za izbor stavki u testu -
A
> biraju se stavke različitih težina, s tim da se izbegavaju ekstremno lake i ekstremno teške (Lordov kriterijum 0.10-0.50) i da bi prosečna težina trebalo da bude 0.50
21
Q
- uticaj težine na diskriminativnost i pouzdanost
A
pouzdanost testa i diskriminativnost stavki biće veće što je varijabilnost težina stavki manja
22
Q
- težina TESTA
A
- prosečna težina stavki u testu/aritmetička sredina ukupnog skora
- zavisi od težine stavki
- varira od uzorka do uzorka, to se rešava baždarenjem na standarizacionom uzorku na kojem se uspostavljaju norme
23
Q
- Diskriminativnost (osetljivost)
A
- svojstvo stavke da razlikuje ispitanike sa niskom od ispitanika sa visokom osobinom
24
Q
klasični pokazatelj diskriminativnost
A
DP iliti diskirimativna moć/indeks diskriminativne moći
25
diskriminativna moć formula i na čemu se bazira
- DP = (G-D) / n
- od -1 do +1
- bazira se na testiranju razlika među grupama i na hi-kvadrat testu
26
diskriminativnost pokazatelj danas:
- korelacija stavke sa ukupnim skorom tj. ajtem-total korelacija
- koristi se r ili njegova modifikacija rpbis ili rbis, kao i faktorso opterećenje (tau ekv.) i korelacija sa spoljašnjim standardom
27
```
diskirmiativnost
preporučuje se korekcija u vidu...
biraju se ajtemi čije su diskriminativnosti u opsegu
-> visoko diskriminativni ajtemi su
-> nisko diskriminatini ajtemi su
```
- proporučuje se korekcija u vidu uklanjanja ajtema za koji se meri ajtem-total korelacija
- biraju se ajtemi čije su diskriminativnosti u opsegu umerenih koeficijenata (0.30-0.80)
- > visoko diskriminativni ajtemi su redundantni
- > nisko diskriminatini ajtemi su beskorisni
28
diskriminativnost testa
| +zavisi od
- nije teorijski ni empirijski čvrsto utemeljena
- zavisi od:
• dužine testa
• namene testa (normativni ili kriterijumski)
• grešaka merenja
• distribucije skorova (zavisi od ajtemskih težina i njihovih interkorelacija)
29
Jednodimenzionalnost (kongeneričnost, homogenost) testa
- svojstvo testa da se cela njegova prava varijansa može objasniti delovanjem samo jedne osobine tj. da svi njegovi ajtemi imaju samo jedan zajednički predmet merenja - zajedničko jezgro
30
ne postoji savršeno jednodimenzionalan test, zbog _____
- ona nije metrijsko svojstvo, već ______
ne postoji savršeno jednodimenzionalan test, zbog psihometrijske paradigme!
- ona nije metrijsko svojstvo, već preduslov -> ako je narušena biće ugrožena pouzdanost
31
- jednodimenzionalnost stavke
- učešće zajedničkog predmeta merenja u njenoj varijansi
| - ne koristi se često kao merno svojstvo
32
- jednodimenzionalnost kroz faktorski model
test je jednodimenzionalan ako....
fituje jednofaktoriski model tj. ako u njegovoj pravoj varijansi ubedljivo najviše učestvuje prvi faktor (x2/3 veći)
33
- homogenost i prosečna interajtemska korelacija
nije dobar pokazatelj jednodimenzionalnosti - ____
može biti visoka i kada_____
- nije dobar pokazatelj jednodimenzionalnosti - nema pretpostavke o jednom glavnom predmetu merenja
- može biti visoka i kada postoje dva ili više predmeta merenja, nije bitno na čemu se korelacije zasnivaju
34
- kao pokazatelj homogenosti koristi se _____
- kao pokazatelj homogenosti koristi se prosečna interajtemska korelacija (H1)
35
- savršeno homogen test - ______
- savršeno homogen test - skup paralelnih indikatora čije su greške merenja nulte (svaki ispitanik ima iste skor na svim ajtemima) -> interkorelacije su jedinične
36
- savršeno heterogen test -_____
- savršeno heterogen test - skup paralelnih indikatora čiji su pravi skorovi nulti -> interkorelacije su nulte
37
ocenjivanje homogenosti u KTT
- faktorska analiza je adekvatna alatka za testiranje dimenzionalnosti i homogenosti testa
- koeficijenti homogenosti se obično zasnivaju na odnosu varijanse prvog faktora prema pravoj varijansi
38
- Reprezentativnost testa
- vezana je za model uzorkovanja iz domena, konkretno za Guttmanov model i teoriju imaža
39
- odnos antiimaža varijanse i ukupne varijanse
- što test ima manje unikne varijanse, reprezentativniji je za domen
40
- imaž
- varijansa koju ajtem deli sa domenom (deo ajtema koji je objašnjen svim ostalim ajtemima iz domena)
- koeficijent višestruke determinacije nastao na osnovu regresije jednog ajtema (kriterijum) na sve ostale ajteme (prediktori) - R2j, m~j
41
- anti-imaž
- neinformisanost ajtema u odnosu na domen tj. varijansa koju ne deli sa domenom
- koeficijent višestruke nedeterminacije - 1- R2j, m~j
42
- Reprezentativnost testa najčešći pokazatelj:
KMO
43
- Pogađanje
- samo u oblasti kognitivnog testiranja, nema smisla pričati o pogađanju kod ličnosti
- klasična def. podrazumeva “slepo pogađanje” - jednake verovatnoće biranja alternativa
44
- u stvarnosti, pogađanje nije slepo:
• ispitanici koriste
• postoje i testovna
• teže će pogađati ispitanici sa
* ispitanici koriste testovnu mudrost
* postoje i testovna ankcioznost i nepažljivost koje mogu delovati u različitim uslovima primene testa (dejstvo suprotno pogađanju)
* teže će pogađati ispitanici sa nižim nivoom osobine na teškim ajtemima
45
- Abbotova formula korekcije:
Tt = T - {P/(k-1)}
T - broj tačno rešenih
P - broj netačno rešenih
k - broj ponuđenih odgovora
*nema efekta na poredak kada je korelacije T i P jedinična tj. kada svi ispitanici pokušaju da reše sve zadatke
46
u jedno i dvoparametarskim modelima ->
u troparametarskim modelima ->
u jedno i dvoparametarskim modelima -> svojstvo stvake
u troparametarskim modelima -> svojstvo ispitanika (vrv. tačnog odgovora kod ispitanika sa najnižim nivoom merene osobine)
47
- klasične preporuke za umanjivanje efekta pogađanja:
i. dati instrukciju protiv pogađanja
| ii. primeniti Abbotovu formulu
48
današnje preporuk za umanjivanje efekta pogađanja:
i. koristiti PVI
ii. pažljivo formulisati distraktore
iii. koristiti PKO sa dopunjavanjem
iv. dobro uputstvo, pravilna atmosfera, dovoljno vrimena
v. ako se daje instrukcija protiv pogađanja, mora biti jasna i precizna
vi. test dobro prilagoditi uzorku - ni prelak, ni pretežak
vii. primeniti 3P TAO model
49
- testovi brzine ...
| - ubrzani test - ....
- testovi brzine obično znatno duži od testova snage
| - ubrzani test - test snage kod kojih je vreme ograničeno iz praktičnih razloga
50
vremensko ograničenje ne bi trebalo značajno uticati na individualne razlike:
* ne sme značajno da utiče na varijansu ukupnih skorova
* ne smanjuje korelaciju između dobijenog ukupnog skora i ukupnog skora koji bi se dobio kad bi se vremensko ograničenje ukinulo
51
*praksa je pokazala da skraćivanje vrimena rada kod testova snage za 1/3, pa čak i ½
ne menja znatno merna svojstva testa
52
test sme da se ubrza ....
| *skraćivanje vremena rada može da ....
test sme da se ubrza onoliko koliko vremensko ograničenje utiče na konačan rezultat ispitanika
*skraćivanje vremena rada može da promeni predmet merenja - laki ajtemi sa početka mogu da mere nešto drugo i mogu da utiču faktori ličnosti (strategije odgovaranja)
53
- pitanja - testovi brzine
1) šta mere
2) kako im se određuju merna svojstva?
1) šta mere? -> brzinu obrade info., ali i osobine ličnosti
| 2) kako im se određuju merna svojstva? -> asimetrija distribucije utiče na korelacije
54
jedinstvena interna struktura testova brzine
- preporučen prosečni indeks težine je____,
a on se postiže tako što _____
- ajtemi na sredini testa imaju težinu oko ____ i __
- bliski ajtemi će korelirati __ zato što ____
- preporučen prosečni indeks težine je 0.50, a on se postiže tako što pitanja na početku testa svako rešava (jako laki, p oko 1), dok one na kraju skoro niko ne reši (jako teški, p oko 0)
- ajtemi na sredini testa imaju težinu oko 0.50 i potencijalno najviše koreliraju sa ostalim
- bliski ajtemi će korelirati više zato što su im distribucije sličnije
55
- koeficijent brzine (b)
- rezimira efekat vremenskog ograničenja na testne skorove, validnost.
- b - korelacija testa zadatog sa i bez ograničenja
b = br. neodgovorenih/br. pogrešnih
- ako je blizak 1, radi se o testu snage
- ako je blizak 0, radi se o testu brzine
*da bi se izbegao efekat učenja i veštačkog povećanja korelacija zadaju se alternativne forme
56
KONSTRUKCIJA TESTA
- nema ____
- konstrukcija testa je____
- svaka izmena (revidiranje, prevod, skraćivanje..) dovodi do ____
- testovi se konstruišu po određenim standardima (APA, AERA, NCME, EFPA)
- nema univerzalnog recepta
- konstrukcija testa je kolektivni poduhvat
- svaka izmena (revidiranje, prevod, skraćivanje..) dovodi do novog testa
- testovi se konstruišu po određenim standardima (APA, AERA, NCME, EFPA)
57
KONSTRUKCIJA TESTA faze
- Faze
1) priprema i plan
2) definisanje konstrukta
3) operacionalizacija
4) izbor vrste i formata stavki
5) pisanje stavki
6) pisanje uputstva, primera i vežbi
7) pilot testiranje
8) primena na konstrukcionom uzorku
9) ajtem analiza
58
1) priprema i plan
- kadrovske, administrativne, finansijske i druge logističke pripreme za konstrukciju i izdavanje testa
59
2) definisanje konstrukta
i. definisanje predmeta merenja:
a) teorija -> predikcije ponašanja -> stavke (induktivan
način, iako nema smisla?)
b) prikupljanje ponašanja -> analiza -> stavke (deduktivan način, iako nema smisla?)
c) eklektički - kombinacijom teorije i već postojećih stavki
ii. definisanje ciljne populacije
60
3) operacionalizacija
- varijablu koju želimo da merimo raščlanjivati i operacionalizovati dok ne dobijemo indikatore -> tipove reakcija, ponašanja, emocija ili mišljenja koji se mogu prevesti u stavku, a koji su karakteristični za većinu ljudi iz ciljne populacije
61
4) izbor vrste i formata stavki
i. da li se konstruiše:
ii. namena testa:
iii. način primene
iv. populacija
```
i. da li se konstruiše:
• banka ajtema
• fiksni test
• računarski adaptivni test
• računarska verzija papirnog testa
• prevedeni test
• modifikovani test
• normativno/kriterijumsko
• test brzine/snage orijentisan
```
ii. namena testa:
• istraživačka
• klinička
• selekciona
iii. način primene - individualno/grupno
iv. konačna ciljna populacija
62
5) pisanje stavki
timski, multidisciplinarni rad (doprinosi psihologa, nepsihologa, stručnjaka za datu oblast, dobrih posmatrača, onih koji razumeju ljude…)
63
*prevođenje stavki:
* idiomatski prevod (doslovni leksički prevod, može dovesti do gubljenja pravog smisla ajtema)
* dvostruki prevod (jedan prevodilac prevede na željeni jezik, a drugi ga vrati na originalni, pa se porede)
* više prevodilaca (svi prevode, cilj je saglasnost)
64
*pisanje lakih i teških ajtema:
* napisati veliki broj raznoraznih stavki, pa na uzorku odrediti težinu
* koristiti znanja -
65
*trik pitanja
- namena im je da otežaju test
- legitimna su ako mogu da uhvate nepažljivost, nerazumevanje i poluznanje
- bitno je upozoriti ispitanike
- ne smeju da ismevaju ispitanike
* atraktori kod PVI su forma trik pitanja
66
6) pisanje uputstva, primera i vežbi
- uputstvo mora biti ...štampa se na ....
- administrator ga čita ispitanicima,
utiče na:
*promena uputstva može ...
- uputstvo mora biti isto za sve, štampa se na testu
- administrator ga čita ispitanicima, utiče na:
• smanjenje pogađanja
• referentni okvir (kako se vi ponašate, kako bi trebalo da se ponašate, kako se drugi ponašaju)
• ajtemski kontekst
• zadavanje testa na drugom jeziku
*promena uputstva može promeniti metrijska svojstva testa
67
7) pilot testiranje
- primena probne verzije testa ili primena testa na probnom uzorku ili oba
- pilot verzija je samo prototip, još nije stabilna i definitivna
↓
- dovodi do modifikacije stavki, ubacivanja, izbacivanja hahaha, pravljenja uputstva, određivanja vremena rada…
- tokom pilot testiranja nije obavezna ozbiljna statistička analiza (dovoljni su težina stavki, frekvencija distraktora, korelacija sa svojstvima ispitanika)
68
8) primena na konstrukcionom uzorku
- tek nakon što se formira relativno stabilna verzija testa
- konstrukcioni uzorak mora biti reprezentativan za ciljnu populaciju testa
- na osnovu ove primene se vrši konačan izbor stavki!
69
9) ajtem analiza
određuje
- određuje se:
- prvenstveno određuje merna svojstva stavki ALI prirodan nastavak je i određivanje osnovnih mernih svojstava testa u celini
- određuje se:
• težina stavki
• diskriminativnost stavki
• faktorska struktura/valjanost stavki
• reprezentativnost, homogenost
* pogađanje, fitovanje stavki i DIF (u TAO)
- dve varijante: KTT ili TAO
70
- Faktorska ajtem analiza
faktorska opterećenja su pokazatelji:
- iz pratećih matrica se mogu utvrditi
- određivanje
- optimalna alatka za procenjivanje svojstava testa u celini
- faktorska opterećenja su pokazatelji:
• faktorske složenosti tj. jednodimenzionalnosti stavke
• faktorske valjanosti stavke
• diskriminativnosti stavke
- iz pratećih matrica se mogu utvrditi težina i reprezentativnost stavki
- određivanje broja faktora i vrste rotacije (ortogonalne bolje za proveru konstrukta, kosougle za rekonstrukciju pravih mera)
71
10) konačan izbor stavki
- na osnovu podataka ajtem analize i stavova konstruktora
| - ajtemi se biraju korak po korak na osnovu serije metrijskih svojstava, a nakon svakog koraka se evaluira učinjeno
72
12) određivanje mernih svojstava konačne verzije
- na osnovu podataka iz prethodnog koraka utvrditi pre svega pouzdanost i valjanost, pa onda i ostala svojstva
73
13) izrada normi
- norme se formiraju i ako je test orijentisan na norme, a i ako nije
- služe objektivnoj interpretaciji rezultata ispitanika tj. određivanju njihovog položaja u populaciji
* ako je populacija preširoka, potrebno formirati specifične norme (polne, uzrasne, lokalne, profesionalne…)
74
BARNUM EFEKAT
- problemom se bavio i Forer, pa se naziva i Barnuom-Forerov efekat
- psihološke procedure koje ispitanika u najvećoj meri opisuju korišćenjem trivijalnosti, nebitnih iskaza koji važe za skoro sve pacijente/ljude (Paul Meehlov termin i def.)
- sadrže i deo koji nije trivijalan, a pogrešan je - sakriven je među trivijalnostima koje su uglavnom tačne zbog visoke učestalosti u populaciji
75
BARNUM EFEKAT
| - u istraživanjima ispitanici ovim iskazima daju prosečnu ocenu
- u istraživanjima ispitanici ovim iskazima daju prosečnu ocenu preko 4 (1-5 skala), a više poverenja imaju ako:
• se izveštaj odnosi baš na njih - perzonalizovan je ostalim ličnim podacima
• su tvrdnje dominantno pozitivne
• imaju poverenja u onoga ko im prezentuje izveštaj
76
BARNUM EFEKAT - sami izveštaji su
Barnumovski izveštaji , a pojava da ih osoba prihvata kao tačne je Barnum efekat
