Aspecte esenţiale ale validităţii testelor

Question 1

Ce este validitatea constructului?

Answer 1

Validitatea de construct reprezintă măsura în care se poate susţine că testul măsoară o variabilă sau o trăsătură specifică. În termeni generali “constructul” este sinonim cu acela de concept (Kline, 1992) fiind utilizat pentru a desemna o serie de fenomene într-un cadru ştiinţific. El este util atunci când poate fi operaţionalizat.

Identificarea mecanismelor teoretice subiacente performantei la o sarcina e.g descompunerea sarcinii. e.g usor de aplicat unor sarcini cognitive, cum ar fi judecatile sociale (ce strategii sau cunostinte folosesc?)

Question 2

Ce este domeniul nomotetic?

Answer 2

Relatiile semnificative dintre scorurile testului si alte instrumente care masoara aceleasi trasaturi (sau diferite) intre scorurile la test si instrumentele criteriului.

Question 3

Cum putem sa validam constructul dupa schema lui Embretson? (2 directii)

Answer 3

1. din sursele de dovezi pentru validitatea scorurilor testului relevante pentru a cunoaste ce masuram (reprezentarea constructului)
2. sursele care au de-a face cu inferentele pe care le putem face pe baza a ce masuram (domeniul nomotetic)

Question 4

Care sunt sursele de dovezi bazate pe tipare de convergenta si divergenta?

Answer 4

a. consistenta interna a rezultatelor testelor si alte masuri ale fidelitatii (fidelitatea scorurilor)
b. corelatii teste-subteste
c. matrice multi-trasatura-multi-metoda
d. diferentierea scorurilor pe varsta si alte criterii
e. rezultate experimentale
f. analiza factoriala exploratorie
g. echivalarea structurala a tehnicilor de modelare

Question 5

Care sunt sursele de dovezi in raport cu criteriul?

Answer 5

a. precizia deciziilor bazate pe validarea concurenta (corelatii inre scorurile testelor si criteriile existente)
b. precizia deciziilor sau predictiilor bazate pe validarea predictiva (scor test si predictia facuta pentru criteriu)

Question 6

Care sunt exemple de domenii/teste in care trebuie sa specificam foarte atent domeniul de continut, procese cognitive aptitudini etc.?

Answer 6

1. curicule scolare, teste standardizate
2. ocupational: analiza muncii
3. evaluarea neuropsihologica: procese, capacitati cognitive evaluate

Question 7

Procedurile de validare a continutului presupun reviziurea critica si examinarea continutului din 2 perspective. Care sunt acestea?

Answer 7

1. relevanta continutului esantionat de test pentru domeniul specificat
2. reprezentativitatea continutului in raport cu domeniul destinat sa il acopere

Question 8

Ce este validitatea de aspect?

Answer 8

Validitatea de aspect se refera la ceea ce masoara testul din perspectiva subiectului testat sau al altui observator naiv.

Promoveaza o anumita raportare la test, acceptarea lui si a rezultatelor sale de catre subiect.

Question 9

Ce presupune corelatiile intre teste si subteste?

Answer 9

Stabilirea unor corelatii inalte intre scorurile unui test si cele ale altor instrumente destinate sa evalueze acelasi construct.

De ex, convergenta: editiile noi si vechi ale aceluiasi instrument.

Sau validitate discriminatorie (divergenta) bazata pe corelatii scazute intre instrumente cum ar fi diferentele intre o scala pentru tulburare bipolara si una pentru depresie majora.

Question 10

Ce presupune matricea multi-trasatura-multi-metoda?

Answer 10

Colectarea datelor pentru doua sau mai multe trasaturi distincte (e.g anxietate, afiliere si dominanta) prin doua sau mai multe metode diferite (chestionare, observatii comportamentale si tehnici proiective). Urmareste si validitatea convergenta si divergenta!

Ele vor prezenta:

a. coef de fidelitate pt fiecare instrument
b. corelatiile dintre scorurile pt aceeasi trasatura evaluata prin metode diferite (date ale validitatii convergente)
c. corelatii intre scorurile la diferite trasaturi masurate prin aceleasi metode (valid discriminatorie)
d. corelatii intre scorurile obtinute pt diferite trasaturi evaluate ptin metode diferite (valid discriminatorie)

Question 11

Ce presupune diferentieri in functie de varsta?

Answer 11

De ex, Binet si masurarea capac cognitive in functie de varsta elevilor. Ne asteptam sa avem cresteri sau descresteri ale scorurilor consonante cu asteptarile conform varstei, desi nu sunt dovezi suficiente pt a masura constructul.

Question 12

Ce presupun rezultatele experimentale?

Answer 12

O sursa indirecta de dovezi prin investigatii care utilizeaza scorurile obtinute la un test psihologic ca variabila dependenta pentru a determina efectul interventiilor experimentale.

De ex, scoruri obtinute pre si post interventie. De ex, daca masuram abil cognitive inainte de interventie si vedem ca acestea cresc post interventie, putem sa spunem ca interventia este eficienta.

Question 13

Ce presupune analiza factoriala?

Answer 13

Urmarim sa reducem numarul de dimensiuni necesare pt a descrie datele derivate dintr-un numar mare de masuratori. Prin:

a. analiza factoriala exploratorie: ce factori (ie variabile latente sau constructe) sunt subiacenti variabilelor analizate
b. analiza factoruala confirmatorie: testeaza ipoteze sau confirma teorii despre factori pe care i-am ales deja.

Question 14

Ce e validitatea de continut?

Answer 14

Validitatea de conţinut implică examinarea sistematică a conţinutului testului pentru a se verifica dacă testul acoperă un eşantion reprezentativ din domeniul care se cere a fi evaluat prin test (Anastasi, 1976). Astfel pentru a vorbi de o validitate de conţinut ridicată trebuie ca itemii care alcătuiesc testul să fie reprezentativi pentru ceea ce testul doreşte să măsoare. Se face pe baza de rationamente.

Question 15

Cand folosim analiza de continut?

Answer 15

Cand avem teste de cunostinte, cand avem de masurat un atribut ce nu poate fi masurat printr-un construct (e.g cunostinte de mate la elevii de clasa 1), pentru performanta in scopuri de selectie/clasificare a angajatilor.

Question 16

Ce trebuie sa contina analiza validitatii unui test de continut?

Answer 16

a. Definirea si descrierea domeniului de continut a testului
b. Analiza itemilor inclusi in test
c. Compararea structurii testului cu domeniul de conţinut: acopera toate aspectele domeniului?

Question 17

Ce este validitatea de criteriu/empirica?

Answer 17

Validitatea de criteriu indică deci măsura în care testul este un bun predictor pentru un eşantion de comportamente viitoare. În acest caz performanţa la un test trebuie raportată la o altă performanţă pe care o numim criteriu. “În ce măsură performanţa la un test de inteligenţă este predictivă pentru reuşita şcolară?”

Question 18

Ce este validitatea predictiva? (criteriu)

Answer 18

Validitatea predictivă este definită ca acurateţea cu care putem estima în ce măsură o anumită caracteristică sau aptitudine a unei persoane se va manifesta în viitor pe baza măsurii în care persoana posedă o serie de caracteristici sau aptitudini curente (Ghiselli, et. all).

a. Abordarea pe baza de trasaturi (ce este persoana)
b. Abordarea pe baza generalizarii comportamentelor (ce face persoana)

Question 19

Ce este validitatea concurenta? (criteriu)

Answer 19

Validarea concurentă presupune obţinerea scorurilor la criteriu aproximativ în acelaşi timp cu scorurile la test. În cazul validităţii concurente este vorba tot de o predicţie, dar la aceasta se ajunge pe o cale puţin diferită faţă de cea urmată în studierea validităţii predictive (Cronbach, 1970).

Dacă rezultatele la predictor (test) sunt obţinute simultan cu rezultatele la criteriu, măsura relaţiei dintre predictor şi criteriu o constituie validitatea concurentă.

Question 20

Care este diferenta dintre validitatea predictiva si concurenta?

Answer 20

Astfel, în timp ce validitatea concurentă are ca scop rezolvarea unei probleme privind starea actuală a subiectului, validarea predictivă vizează evoluţia sa în viitor. Diferenţa între cele două tipuri de validitate poate fi sumarizată pe baza următoarelor întrebări: “Este X anxios?” (validare concurentă) şi “Este posibil ca X să devină anxios?” (validare predictivă).

Question 21

Cum operationalizam un construct?

Answer 21

a. identificarea comportamentelor care au legătură cu constructul;
b. identificarea altor constructe, pentru fiecare decizându-se dacă au sau nu legătură cu constructul măsurat de test;
c. alcătuirea pentru fiecare construct a unei liste de comportamente prin care acestea se exprimă

Question 22

Ce este validitatea divergenta? (construct)

Answer 22

Un test are validitate de discriminare dacă evaluează altceva decât alte teste despre care se ştie că se referă la constructe ce nu au legătură cu constructul măsurat de test. Acest lucru înseamnă că între scorurile la test şi scorurile la alte teste sau variabile nu există o relaţie funcţională.

Question 23

Ce este validitatea divergenta?

Answer 23

Un test are validitate de discriminare dacă evaluează altceva decât alte teste despre care se ştie că se referă la constructe ce nu au legătură cu constructul măsurat de test. Acest lucru înseamnă că între scorurile la test şi scorurile la alte teste sau variabile nu există o relaţie funcţională.