Aspecte esenţiale ale fidelităţii testelor

Question 1

Ce este fidelitatea testelor?

Answer 1

Fidelitatea testului se refera la incredere in scorurile obtinute, la stabilitatea lor in timp. Astfel, fidelitatea e o caracteristica a scorurilor obtinute la teste, nu a testelor.

Se bazeaza pe consistenta si precizia rezulatelor procesului de masurare, adica scorurile ar fi constante daca ar fi aplicat testul in mod repetat acelorasi indivizi sau grupuri si au o precizie rezonabila, cu o eroare de masura mica.

Question 2

Ce este lipsa fidelitatii?

Answer 2

Eroarea de masurare, adica orice fluctuatie a scorurilor rezultata din factori legati de procesul de masurare care sunt irelevanti pentru ce e masurat.

Question 3

Ce este scorul real?

Answer 3

Din teoria clasica a testarii, scorurile reale sunt entitati ipotetice care ar rezulta dintr-o masurare lipsita de eroare.

Astfel, metodele de estimare a fidelitatii scorurilor este un mod de a estima scorurile reale sau a limitelor in interiorul carora s-ar putea situa scorurile reale.

Question 4

Cum interpretam conceptul de scor real in datele individuale?

Answer 4

Scorul real al unui individ este scorul mediu al unei distributii ipotetice de scoruri care s-ar obtine daca individului i s-ar aplica acelasi test de un infinit de ori.

Question 5

Care e ecuatia in cazul scorului observat pentru un singur individ?

Answer 5

Xo=Xreal+Xeroare

Question 6

Cum interpretam conceptul de scor real in datele de grup? (+ecuatie)

Answer 6

Datele tin de o anume variabilitate intre indivizi. Astfel:

s2=st2+se2

s2=dispersia (varianta )totala a esantionului

st2=dispersia (varianta )reala

se2=dispersia (varianta )erorii

Question 7

Ce e dispersia esantionului? (s2)

Answer 7

Gradul mediu de variabilitate intr-un grup de scoruri.

Question 8

Ce e dispersia (varianta) reala?

Answer 8

Acele diferente intre scorurile indivizilor in cadrul unui grup care reflecta nivelul lor sau pozitia lor la o anumita caracteristica evaluata de test.

Question 9

Cum poate fi definit coeficientul de fidelitate? +ecuatie

Answer 9

Poate fi definit ca raportul dintre varianta reala a scorurilor si varianta totala a scorurilor.

rxx=st2/s2 sau rxx=st2/st2+se2

Adica o fidelitate totala ar fi=1.00

Question 10

Care sunt pasii pe care ii parcurgem pentru evaluarea fidelitatii scorurilor?

Answer 10

1. determinarea posibilelor surse de eroare care pot interveni in scoruri
2. estimarea marimii acestor erori

Question 11

Care sunt sursele de eroare la teste?

Answer 11

1. contextul in care are loc testarea (persoana care administreaza, scoreaza, motivele testarii)
2. persoana testata
3. testul insusi

Question 12

Care sunt tipurile de fidelitate?

Answer 12

a. diferentele interevaluatori
b. eroarea determinata de esantionarea timpului
c. eroarea determinata de esantionarea continutului
d. inconsistenta inter-item

Question 13

Ce sunt diferentele interevaluatori si cum putem estima eroarea cauzata de ele?

Answer 13

Erori care apar in scoruri atunci cand avem subiectivitatea celor care scoreaza un test, daca acestia:

a. nu primesc aceleasi instructiuni clare din manualul testului
b. sunt indiferenti la scorare

Estimam prin:

Fidelitatea inter-evaluatori

Question 14

Cum estimam Fidelitatea inter-evaluatori?

Answer 14

Indicatorii sunt corelatiile dintre seturile de scoruri generate de 2 sau mai multi evaluatori.

De ex, 0,9 sugereaza ca proportia de eroare este de aprox 10% (0,10)

Question 15

Ce e eroarea determinata de esantionarea timpului?

Answer 15

Variabilitatea inerenta in scorurile testului deoarece acestea sunt obtinute la un anumit moment de timp, mai ales ca:

a. orice construct sau comportament poate sa fluctueze in timp
b. unele constructe sunt mai putin schimbabile sau se schimba mai lent ca altele

Estimam prin:

Fidelitatea test-retest

Question 16

Cum estimam Fidelitatea test-retest?

Answer 16

Se administreaza acelasi test in doua situatii diferite, separate de un interval de timp. Se obtine o corelatie intre scorurile de la aceste doua teste (coeficient de fidelitate test-retest sau stabilitate).

Astfel, corelatia este un indicator al masurii in care este probabil ca scorurile sa fluctueze ca rezultat al erorii de esantionare a timpului.

Question 17

Ce e eroarea determinata de esantionarea continutului?

Answer 17

Este variabilitatea irelevanta pentru trasatura care poate intra in scorurile testelor ca rezultat al factorilor random legati de continutul itemilor specifici ale testului.

Adica este un mod defectuos de a construi un test care implica anumite raspunsuri care nu isi atinge scopul initial (e.g a testa toate cunostintele)

Se estimeaza prin:

a. Fidelitatea prin metoda formelor alternative
b. Prin metoda injumatatirii

Question 18

Cum estimam Fidelitatea prin metoda formelor alternative (paralele)?

Answer 18

Se fac doua sau mai multe forme ale testului (acelasi scop, dar itemi diferiti) administrate aceluiasi grup de subiecti.

Se obtine o corelatie din scorurile pentru fiecare versiune pentru a obtine coeficientii de fidelitate prin forme alternative.

Question 19

Cum estimam Fidelitatea prin metoda injumatatirii?

Answer 19

Deoarece e costisitor sa faci 2 forme ale aceluiasi test, putem sa taiem testul in doua: half 1 si half 2 si apoi sa administram testul la un grup.

Se obtin coeficienti de fidelitate prin injumatatire (metoda Spearman-Brown). Dar trebuie sa fim atenti la:

a. diferente sistematice ale itemilor testului
b. cand performantele la test depind de viteza

Question 20

Cum putem injumatati testele pentru a iesi OK?

Answer 20

Daca difera mult itemii sau viteza de rezolvare, atunci putem avea rezultate aiurea, dar daca facem asta e mai OK:

a. divizarea in doua jumatati comparabile - par/impar
b. daca conteaza viteza cu care rezolva itemii - asa ca putem folosi test-retest sau forme alternative sau jumatati cronometrate separat

Question 21

Ce presupune metoda Spearman-Brown?

Answer 21

Estimeaza consistenta scorurilor in cele doua jumatati ale testului prin rhh. Adica S-B va obtine o estimare pentru intregul test.

Se bazeaza ca un numar mare de observatii va produce un rezultat de fidelitate mai mare decat un numar redus de observatii (adica un test mai bun e mai lung.) Si putem estima fidelitatea daca se adauga, sa zicem la 30 de itemi inca 60 de itemi comparabili.

Question 22

Ce e inconsistenta inter-item?

Answer 22

Erorile scorurilor care rezulta din fluctuatiile itemilor din intregul test (itemii vor corela putin). Inconsistentele se pot datora unor factori diferiti, printre care eroarea de esantionare a continutului si eterogenitatea continutului.

Estimam prin:

a. metoda injumatatirii (par/impar) pentru a avea jumatati comparabile
b. formula Kuder-Richardson
c. coef alpha (alpha Cronbach)

Question 23

Ce este eterogenitatea continutului?

Answer 23

Eterogenitatea apare din includerea unor itemi sau un set de itemi care sunt diferiti de ceilalti itemi din test, prin:

a. continut si format
b. cunoasterea continutului
c. functii psihice ce difera de cele vizate de alti itemi
d. grupul de persoane carora li se aplica testul

Question 24

Ce estimeaza Kuder Richardson si coef alpha?

Answer 24

Amandoua au o estimare combinata a erorii de esantionare a continutului si de inconsistenta inter-itemi pentru ca depind mult de gradul de variabilitate (omogenitate vs eterogenitate) inter-item dintr-un test.

E important sa stim ca daca vrem sa avem un test divers, acesti indici vor fi mici, dar e bun pentru un test mai omogen.

Question 25

Ce sunt erorile combinate de esantionare a timpului si a continutului?

Answer 25

Aceste erori combinate pot fi estimate deoarece avem teste care necesita si stabilitate si consistenta in timp.

Se face prin modelul formelor alternative decalate in timp.

Question 26

Ce estimeaza Fidelitatea prin forme alternative decalate in timp?

Answer 26

Cand doua sau mai multe forme alternative sunt administrate in doua situatii diferite, separate de un anumit interval de timp unuia sau a mai multe grupuri.

Problema poate fi efectul exersarii.

Question 27

Care sunt pasii in a alege un test?

Answer 27

1. determinarea a potentiale surse de eroare care poti sa intre in scoruri
2. examinarea datelor cu privire la fidelitate ale intrumentelor, tipurile de esantione care au participat
3. evaluarea datelor obtinute luand in considerare si date normative, de validitate, restrictii cost si timp
4. selectarea testului cel mai bun - adica cele mai fidele scoruri in raport cu scopul testarii si populatia disponibila