Cours 5

Question 1

Qu’est-ce qu’on veut savoir, généralement, lorsqu’on évalue la validité d’un instrument de mesure?

Answer 1

S’il mesure vraiment ce qu’il prétend mesurer ou devrait mesurer

On veut savoir si l’échantillon d’items (i.e., les questions) de l’échelle représente bien le construit qu’on veut mesurer

Question 2

Que permet de déterminer le degré de validité?

Answer 2

L’interprétation et les inférences que l’on peut faire à partir des scores d’une échelle

Question 3

Est-ce que le nom d’un test ou d’une échelle constitue un indice adéquat du construit mesuré?

Answer 3

Non, pas toujours

Question 4

La vraie question n’est pas «est-ce que ce test est valide ou pas», mais quoi?

Answer 4

«Est-ce que ce test est une mesure valide de ce construit, pour cette population particulière et pour cette application particulière»

Question 5

La validité d’un test ou d’une mesure doit être évaluée relativement à trois aspects, lesquels?

Answer 5

1. Est-ce qu’il mesure bien le construit qu’il prétend mesurer?
2. Est-ce qu’il mesure bien ce construit pour la population ciblée?
3. Est-ce qu’il mesure bien ce construit pour une application particulière?

Question 6

Les organisations professionnelles soulignent trois points clés à propos de la validité des tests (AERA, APA, NCME), lesquels?

Answer 6

1. La validité concerne l’interprétation des scores procurés par un test pour un construit spécifique; ce n’est pas une caractéristique du test
2. La validité est une question de degré; ce n’est pas une question absolue, de tout ou rien
3. La validité d’un test repose sur de solides bases théoriques et empiriques

Question 7

Quelles sont les différentes sources de validité?

Answer 7

Contenu

Construit:
- Factorielle
- Convergente
- Discriminante

Critère
- Concomitante
- Prédictive
- Incrémentielle

Question 8

Qu’est-ce que la vraisemblance?

Answer 8

Aussi appelée validité d’apparance

Le degré auquel une mesure semble adéquate et reliée à un construit spécifique selon le jugement de
A. les personnes qui sont évaluées avec le test
B. Les personnes qui utilisent le test

Question 9

Est-ce que la vraisemblance est une forme ou une source de validité?

Answer 9

Non

Question 10

Quand est-ce qu’une mesure détient une bonne vraisemblance?

Answer 10

Lorsque les personnes évaluées ou celles qui l’utilisent jugent qu’elle «semble pertinente et adéquate» pour mesurer le construit

Question 11

Avec quoi est parfois confondue la vraisemblance?

Answer 11

La validité de contenu

Question 12

Qu’est-ce qui peut devenir une menace à la validité?

Answer 12

Si l’instrument ne paraît pas valide ou vraisemblable pour les personnes évaluées/utilisatrices dans les situations concrètes d’évaluation

Question 13

Plusieurs facteurs peuvent influencer la vraisemblance. Lesquels?

Answer 13

• Format de présentation de l’instrument
• Contexte d’évaluation
• Capacités cognitives des répondants
• Santé mentale et état psychologique des répondants
• Personnalité des répondants
• Motif de l’évaluation (désirabilité sociale + ou -)

Question 14

Qu’est-ce que la validité de contenu?

Answer 14

Réfère au degré de représentativité des items (questions) utilisés pour mesurer un construit

Question 15

Comment est-ce que la validité de contenu est-elle établie?

Answer 15

La plupart du temps, de façon déductive
(Les auteurs du test demandent à un groupe d’experts indépendants de se prononcer sur la pertinence des items)

On demande est-ce que:
1. Chaque item individuellement correspond bien au construit?
2. Tous les items d’une échelle considérés comme un groupe constituent un échantillon représentatif de tous les domaines (et sous-domaines) du construit d’intérêt?

Question 16

Est-il facile ou difficile de faire un bon échantillonnage de contenu pour des construits psychologiques complexes?

Answer 16

Difficile - et ici, les méthodes statistiques ne sont d’aucune aide… ou presque

Question 17

Qu’est-ce qui est central dans la validité de contenu?

Answer 17

La représentativité (tous les domaines et sous-domaines du construit sont-ils représentés?)

Question 18

En lien avec la validité de contenu, qu’est-ce que les auteurs doivent faire avant de construire une échelle?

Answer 18

Doivent toujours décrire en détails et de façon compréhensive les différents domaines et sous-domaines du construit d’intérêt

Question 19

À partir de quoi les chercheurs définissent-ils un construit (et donc, son contenu?)

Answer 19

1) Cadre théorique
2) Recherches empiriques (recension de la littérature)
3) Connaissances et expériences professionnelle/pratiques

Question 20

Quels sont les deux types de validité de contenu?

Answer 20

• Nominale: auteurs du test
• Consensuelle: groupe de spécialistes indépendants

Question 21

Comment estimer le degré de validité de contenu empiriquement?

Answer 21

Avec une échelle de mesure quantitative, on demande à des experts indépendants d’estimer
A. À quel point (degré) chacun des items d’un test est pertinent et représentatif du construit d’intérêt
B. À quel point (degré) l’ensemble des items constitue un bon échantillon représentatif du contenu du construit

Question 22

Comment quantifier le degré de validité de contenu?

Answer 22

On donne aux experts un choix de réponse avec une gradation à propos de chaque item afin de systématiser le tout

Question 23

Comment est-il possible de calculer un Indice de validité de contenu (IVC)?

Answer 23

Avec les données numériques

On calcule un indice pour chaque item (IVC-I) et pour l’échelle totale (IVC-É)
- IVC-I = Nombre d’experts qui ont jugé l’item représentatif, divisé par le nombre total d’experts
- IVC-É = Somme des IVC-I, divisée par le nombre total d’experts

Question 24

Quelles sont les deux grandes menaces à la validité de contenu?

Answer 24

1. Inclusion de contenu conceptuellement non pertinent (e.g., des items d’hyperactivité sont intégrés dans une échelle d’inattention)
2. Sous-représentation conceptuelle de certains domaines du construit

Question 25

À quoi réfère la validité de construit?

Answer 25

Réfère au degré de (a) reproductibilité de la structure interne théorique sous-jacente à l’instrument ainsi que les (b) relations du construit d’intérêt avec d’autres construits externes

Question 26

Quelles sont les deux grandes façons de vérifier la validité de construit?

Answer 26

1. Validité factorielle 2. Validité convergente/discriminante

Question 27

Que faut-il bien connaitre avant d’entamer ces évaluations?

Answer 27

La théorie sous-jacente au construit

Question 28

Qu’est-ce que le réseau nomologique?

Answer 28

La théorie expliquant le construit par le biais de ses interrelations avec d’autres construits Nomologie = Étude des lois, donc bien plus qu’une liste de domaines ou sous-domaines Devrait donc représenter la structure interne et les interrelations (ordonnées et prévisibles) entre les domaines (ou sous-domaines) importants du construit et des construits externes théoriquement importants Concerne souvent relations concurrentes, mais peut inclure des facteurs étiologiques (précurseurs, facteurs de risque, conséquences développementales)

Question 29

Dans la littérature, quelle source de validité est souvent la plus négligée?

Answer 29

Validité de contenu

Question 30

Où devrait toujours être le réseau nomologique?

Answer 30

Dans le manuel du test, mais y est rarement

Question 31

Qu’est-ce que la validité factorielle?

Answer 31

On veut vérifier si la **structure factorielle théorique** qui représente le construit est reproduite sur le plan empirique

Question 32

Le terme facteur est généralement utilisé pour représenter quoi? Qu’est-ce qu’un facteur?

Answer 32

Une dimension latente Facteur: Une réduction parcimonieuse de plusieurs variables (items ou questions) expliquées par une variable latente

Question 33

Comment se regroupent les items dans les instruments multidimensionnels?

Answer 33

En plusieurs facteurs

Question 34

Quel est l’objectif de la validité factorielle?

Answer 34

Vérifier deux aspects inter-reliés de la structure factorielle théorique 1. Les items sont-ils significativement (statistiquement) associés au facteur (construit)? 2. Dans le cas d’un instrument multidimensionnel, A) Les items sont-ils significativement associés au bon facteur et non associés aux autres facteurs? B) Dans le cas d’une structure hiérarchique, est-ce que les sous-domaines sont significativement associés au domaine général?

Question 35

Qu’est-ce que l’analyse factorielle exploratoire (validité factorielle)?

Answer 35

On identifie des regroupements d’items inter-corrélés, signifiant que les individus tendent à y répondre de façon similaire Les chercheurs n’impose aucune restriction à la matrice de corrélations (ou de covariance) entre les items Critère classique: on devrait avoir des saturations factorielles de 0,40 ou plus pour les items associés à un facteur

Question 36

Qu’est-ce que l’analyse factorielle confirmatoire (validité factorielle)?

Answer 36

Le chercheur impose une structure stricte a priori à la matrice de corrélations et teste si elle correspond aux données (i.e., on programme quels items sont associés à un facteur, tout en leur imposant une corrélation de 0 avec les autres facteurs) C’est la méthode qu’il faudrait normalement employer à l’étape de la validation puisque la structure est supposée être connue (encore trop peu employée en psychométrie, en partie parce que les analyses statistiques sont plus complexes)

Question 37

Qu’est-ce que la validité convergente?

Answer 37

Degré auquel les scores d’une échelle sont associés avec ceux d’une autre échelle existante qui mesure le **même construit** théorique

Question 38

Qu’est-ce que la validité discriminante?

Answer 38

Degré auquel les scores d’une échelle ne sont pas associés avec ceux d’une échelle qui ne mesure pas le même construit

Question 39

Quel est l’idéal pour tester rigoureusement la validité convergente et la validité discriminante?

Answer 39

Employer la méthode de la matrice multitraits-multiméthodes

Question 40

Qu’est-ce que la validité de critère?

Answer 40

Aussi appelée validité pragmatique ou validité critériée Réfère au degré auquel les scores à une échelle sont associés à l’adaptation (ou la performance) des individus Les scores à l’échelle sont donc comparés à ceux d’un **critère externe** Le critère devrait être une **mesure objective et indépendante de l’instrument**, mais reliée conceptuellement au construit d’intérêt (réseau nomologique)

Question 41

Quels sont les deux grands types de validité de critère?

Answer 41

- Concomitante - Prédictive

Question 42

Quelles sont les deux façons d’estimer la validité de critère concomitante?

Answer 42

1. Corrélation avec un critère indépendant - Test d’intelligence avec réussite académique (notes) - Test d’empathie avec conduites délinquantes 2. Méthode des groupes contrastés - On teste les différences de scores moyens entre des groupes

Question 43

Qu’est-ce que la validité de critère prédictive?

Answer 43

Le degré auquel les scores d’une mesure sont capables de prédire un critère externe **prospectivement** (plus tard dans le temps) Besoin d’une étude longitudinale prospective

Question 44

Qu’est-ce que la validité incrémentielle?

Answer 44

À quel point les scores à un test ont une « valeur ajoutée » pour prédire un critère externe, au-delà de la capacité d’autres facteurs (ou autres tests) prédictifs importants? Liée à l’idée de « contrôle statistique » en analyse de régression (e.g., quel est l’effet d’un prédicteur important après que le SSE ait été contrôlé?) Forme de validité pas toujours présente dans les livres de psychométrie, mais dans les faits, est une forme spécifique de validité de critère

Question 45

Dans quel contexte peut s’appliquer la validité incrémentielle?

Answer 45

- En contexte de **classification** (ex: les scores d’une échelle de dépistage qui procurent une meilleure sensibilité et spécificité que ceux d’une autre échelle similaire) (sur le plan clinique, ceci signifie qu’on prend possiblement de meilleures décisions avec la nouvelle échelle) - Peut aussi s’appliquer à la **révision d’un test** (les scores de la nouvelle version (a) prédisent-ils mieux que l’ancienne version un critère au-delà de facteurs de contrôle? Ou encore (b) procurent-ils une meilleure sensibilité et spécificité que l’ancienne version?)

Question 46

Qu’est-ce que la théorie de la décision?

Answer 46

Comprend une série de concepts visant l’analyse des effets quantitatifs des décisions prises avec des tests Pertinent dans différents contextes de classification tels que pour le dépistage, le diagnostic, la sélection du personnel, la certification, la dérogation scolaire, etc. Intimement lié à la validité de critère! Il s’agit essentiellement de déterminer à quel point les scores d’un test peuvent **classifier adéquatement** les personnes dans des groupes

Question 47

Qu’est-ce que la sensibilité?

Answer 47

Capacité d’une échelle de **procurer un résultat positif** pour les personnes présentant le statut qu’elle prétend identifier Se rapporte donc à la **capacité de détection** Vrais positifs divisés par tous ceux qui ont vraiment le statut

Question 48

Qu’est-ce que la spécificité?

Answer 48

Capacité d’une échelle de **procurer un résultat négatif** pour les personnes ne présentant pas le statut qu’elle prétend identifier Se rapporte donc à sa **capacité de discrimination** Vrais négatifs divisés par tous ceux qui n’ont réellement pas le statut

Question 49

Que sont les indices de sensibilité et de spécificité?

Answer 49

Observations empiriques de la **performance rétrospective** d’un test calculés à partir d’une classification de différents groups diagnostiques (ou d’attributs autres) On estime la proportion des individus dont le **statut est connu** en regard du trouble mesuré qui obtiennent un score au dessus ou au dessous d’un score critère Ces indices sont déterminées par le score critère établi par les auteurs du test Renseignent sur la capacité de classification d’une échelle ou d’un test lorsque ce dernier est utilisé avec des personnes dont le statut est connu (pas toujours le cas en pratique, par exemple pour le dépistage)

Question 50

Qu’arrive-t-il aux indices de sensibilité et de spécificité si le score critère suggéré pour identifier le trouble est changé?

Answer 50

Les indices vont aussi changer

Question 51

En clinique, quelle est la tâche de l’évaluateur?

Answer 51

De déterminer le **niveau de confiance** qui peut être accordé à un résultat obtenu (positif ou négatif) pour un individu classifié - Autrement dit, on veut savoir la probabilité qu’un individu présente réellement le trouble, étant donné un résultat positif au test -Inversement, on veut savoir la probabilité qu’un individu ne présente réellement pas le trouble, étant donné un résultat négatif au test

Question 52

Comment faire pour obtenir des indices probabilistes?

Answer 52

Calculer le **pouvoir prédictif** d’une échelle

Question 53

Qu’est-ce que le pouvoir prédictif positif (PPP)?

Answer 53

La probabilité qu’un individu avec un résultat positif sur une échelle ait réellement le statut prédit i.e., proportion d’individus ayant un trouble qui obtiennent un résultat positif, parmi tout ceux qui ont obtenu un résultat supérieur au score critère

Question 54

Qu’est-ce que le pouvoir prédictif négatif (PPN)?

Answer 54

La probabilité qu’un individu avec un résultat négatif sur une échelle n’ait réellement pas le statut prédit i.e, proportion d’individus n’ayant pas de trouble qui obtiennent un résultat négatif, parmi tout ceux qui ont obtenu un résultat inférieur au score critère

Question 55

Que sont les PPP et PPN?

Answer 55

Des indices de performance extrinsèques d’un test et ils dépendent de la prévalence du trouble. Autrement dit, pour une sensibilité et spécificité données, les PPP et PPN vont varier selon la prévalence Sensibilité et spécificité sont des paramètres d’un test - ils sont seulement influencés par le score critère choisi (la prévalence est fixe, puisqu’elle est connue) PPP et le PPN sont quant à eux des paramètres d’un test ET de la prévalence du trouble

Question 56

Quelle est la règle générale pour l’ensemble des tests de dépistage quant au PPP et au PPN?

Answer 56

Lorsque la prévalence est faible, le PPN > PPP - et c’est l’inverse lorsque la prévalence est élevée

Question 57

Quels sont les deux problèmes potentiels avec les indices de sensibilité, spécificité et de pouvoir prédictif?

Answer 57

1. L’estimation de ces indices statistiques dépend de la validité et de la fidélité de critère de statut utilisé (e.g., est-ce que les diagnostics du DSM sont suffisamment valides et fiables?) 2. L’estimation de la prévalence réelle dans différents contextes cliniques peut être difficile (néanmoins, des estimés imprécis n’ont pas un impact important sur les estimés du pouvoir prédictif pour les échelles qui ont une sensibilité et spécificité élevées)

Question 58

Est-ce que la validité et la fidélité sont interreliées?

Answer 58

Oui

Question 59

La fidélité est une condition nécessaire à quoi?

Answer 59

La validité! (Est-ce qu'on mesure vraiment ce qu'on prétend mesurer si on fait beaucoup d'erreurs de mesure?)

Question 60

La validité est un préalable à quoi?

Answer 60

La fidélité! (À quoi sert de ne pas faire d'erreur de mesure si on ne sait pas ce qu'on mesure vraiment?)

Question 61

Pourquoi dit-on que la validité et la fidélité sont interreliés empiriquement?

Answer 61

Les indices de validité sont directement influencés par le degré de fidélité Quantité d'erreur influence la taille des corrélations; le nombre d'items aussi (Prophétie de Spearman)

Question 62

Complète la phrase: En fait, il faut toujours se rappeler que les chercheurs.euses valident un instrument d'évaluation pour...

Answer 62

Une population particulière et/ou une utilisation particulière. Les scores d'un instrument peuvent être tout à fait valides et fiables pour une population et une utilisation particulière, mais peu ou pas du tout pour une autre population ou une autre utilisation

Question 63

Complète la phrase: Ne jamais oublier: autant la fidélité que la validité est...

Answer 63

Une question de degré

Question 64

Quel est le classement classique des types ou sources de validité?

Answer 64

- Validité de contenu - Validité de construit - Validité de critère

Question 65

Quel est le nouveau classement des types ou sources de validité?

Answer 65

- Évidence basée sur le contenu du test - Évidence basée sur la structure interne - Évidence basée sur les relations avec d'autres variables (évidence convergente/discriminante + évidence basée sur les relations test-critères) - Évidence basée sur les processus de réponse - Évidence basée sur les conséquences du testing