Cours 10 - Validité

Question 1

Un score à un test psychologique n’est utile que s’il…

Answer 1

…est relié à quelque critère externe ou construit théorique ayant un certain intérêt.

En d’autres termes, dans quelle mesure les différences individuelles quant aux scores obtenus reflètent des différences pertinentes quant à une question posée.

Question 2

Quel est le but de la validation d’un test?

Answer 2

Préciser deux aspects fondamentaux:

• Ce que le test mesure et;
• avec quel degré de précision il le mesure.

Question 3

La validité d’un test réfère à quoi?

Answer 3

Au degré avec lequel un test mesure ce qu’il est supposé mesurer, mais plusieurs facteurs, théoriques et pratiques, justifient l’utilisation des tests psychologiques et chacun de ceux-ci influence différemment la notion de validité.

Question 4

V ou F

Il n’y a pas de définition absolue de la validité d’un test.

Answer 4

Vrai

Puisque cette validité dépend du contexte d’utilisation de ce test, des fins pour lesquelles il est utilisé et des questions auxquelles il tente de répondre. Par exemple, un thermomètre risque de fournir une mesure valide de la température de votre corps, mais invalide de votre compréhension de la psychométrie. C’est donc dire qu’un test n’est jamais valide en soi, mais c’est plutôt son utilisation spécifique qui est valide ou invalide. De façon globale, la validité d’un test réfère donc à la pertinence des inférences que l’on tire des résultats fournis par le test.

Question 5

Comment peut-on illustrer la validité d’un test?

Answer 5

En se rappelant la notion de score vrai. Le score au test s’exprime ici sous la forme…

Question 6

Formule du score vrai.

Answer 6

Ici, c’est comme si on décomposait le score vrai en score pertinent (Xp) et en score non pertinent (Xn), i.e.

Question 7

Quelles sont les trois grandes méthodes de validation d’un test?

Answer 7

• Validation de contenu: (que l’on a étudié lors de l’analyse des items) et qui porte en fait sur la pertinence et la couverture des contenus.
• Validation de construit: cohérence avec la «structure théorique».
• Validation critériée ou pragmatique: relation avec un critère externe.

Question 8

Qu’est-ce que la validation pragmatique?

Answer 8

La validation pragmatique ou critériée est une méthode qui s’applique à tous les cas où il existe une mesure indépendante et directe de la caractéristique que le test est supposé mesurer. On appelle cette mesure: critère (externe).

La méthode consiste à calculer la corrélation entre le résultat au test et le critère.

Question 9

Quelques exemples de validité critériée (pragmatique).

Answer 9

• Test d’aptitudes mécaniques -> performance ultérieure comme machiniste (critère) (prédictif)
• Test d’aptitudes scolaires au secondaire-> résultats scolaires au collégial (critère) (prédictif)
• Test de tendances névrotiques -> diagnostic clinique professionnel. (critère) (concomitante)

Question 10

Cette méthode de validation présuppose l’existence de quoi?

Answer 10

Du critère.

Par conséquent, le test ne mesure pas un construit purement théorique, mais a plutôt pour but de prédire où se situe l’examiné par rapport à ce critère.

Question 11

Quels sont les deux types de validation critériée?

Answer 11

• La validation concomitante (lorsque l’administration du test et la mesure du critère sont simultanées)
• La validation prédictive (lorsque l’administration du test précède d’un certain intervalle de temps la mesure du critère).

Question 12

La méthode de validation concomitante s’avère appropriée lorsque le test à valider sera éventuellement utilisé à des fins de…

Answer 12

…diagnostic, c’est-à-dire à la mesure d’un état actuel.

Par exemple, un test de connaissances en pilotage d’avions commerciaux chez des pilotes commerciaux.

Question 13

La méthode de validation prédictive s’avère appropriée lorsque le test à valider sera éventuellement utilisé à des fins de…

Answer 13

…pronostic, c’est-à-dire que le test servira à prédire un état futur.

Par exemple, un test d’aptitudes au pilotage (utilisé avant un cours).

Question 14

Quelle est l’exception à cette règle?

Answer 14

Lors de l’étape de validation, il s’avère parfois que l’intervalle de temps qui sépare l’administration du test de la mesure du critère est trop long. On s’en remet alors à la validation concomitante en contrastant la performance d’échantillons «pré-sélectionnés», i.e. composés d’examinés pour lesquels les données critériées sont déjà disponibles.

Par exemple, en passant le test d’aptitudes au pilotage à un groupe de pilotes et à un groupe de non-pilotes.

Question 15

Quelles sont les grandes catégories de critères qui sont souvent considérés lors de l’analyse de la validité de certains types de tests?

Answer 15

• La performance académique
• La performance à un cours spécialisé
• Rendement au travail
• Groupes contrastés (critère composite)
• Diagnostic psychiatrique
• Jugements appréciatifs
• Liens avec les tests existants

Question 16

Exemples de critères de performance académique.

Answer 16

• Notes scolaires
• promotion de classe
• obtention d’un diplôme
• niveau d’éducation atteint (chez les adultes)
• etc.

Utilisé pour mesurer la validité des tests d’«intelligence générale», des tests d’aptitudes scolaires.

Question 17

Exemples de critères de performance à un cours spécialisé.

Answer 17

• Appréciations par les instructeurs
• achèvement vs abandon du cours
• etc.

Utilisés pour mesurer la validité de tests visant à mesurer des aptitudes spécifiques (aptitudes mécaniques, de pilotage, etc.).

Question 18

Exemples de critères de rendement au travail.

Answer 18

• Mêmes fins que dans l’exemple précédent (i.e. performance à un cours spécialisé).
• La standardisation est plus difficile car il peut y avoir beaucoup de différences d’un lieu de travail à l’autre.

Question 19

Exemples de critères de groupes contrastés (critère composite, non homogène).

Answer 19

• Par exemple, un test d’aptitudes musicales -> comparaison entre les élèves du conservatoire de musique et ceux des autres disciplines.
• Cette méthode est souvent utilisée pour «valider» les tests de personnalité.
• Par exemple, Leadership -> comparaison entre les directeurs d’entreprise et les employés de bureau.

Question 20

Exemples de critères de diagnostic psychiatrique.

Answer 20

Le diagnostic sert de critère pour établir la validité de certains tests de personnalité qui pourraient éventuellement faciliter le travail diagnostic.

Question 21

Exemples de critères de jugements appréciatifs.

Answer 21

Les jugements appréciatifs servent surtout à valider les tests de personnalité.

• Pour certains types de «traits», les appréciations de l’entourage de l’examiné sont possiblement le meilleur critère.
• Par exemple, votre conjoint est en mesure de porter un jugement sur votre «niveau de libido».
• C’est comme le critère précédent (i.e. «diagnostic psychiatrique»), mais ce sont les personnes de l’entourage immédiat qui agissent comme «experts».

Question 22

Exemples de critères de liens avec les tests existants.

Answer 22

Lorsqu’on élabore un nouveau test pour remplacer un test reconnu, mais lourd à administrer, le résultat à ce dernier peut être vu comme étant un «critère» pour établir la validité du nouveau test.

On a ici un certain recoupement avec la validation de construit.

Question 23

Qu’est-ce que la validité de construits?

Answer 23

La validation de construit n’est pas une méthode unique et explicite pour établir la validité d’un test, mais bien un ensemble de méthodes qui visent toutes le même but: établir jusqu’à quel point le test fournit une mesure adéquate du construit théorique qu’on prétend qu’il mesure.

Question 24

La validité de construit d’un test ne pourra se faire que si…

Answer 24

nous avons une définition claire et explicite du construit qu’on prétend mesurer.

Question 25

Le processus de validation de construit implique plus que la «qualité» de la mesure, elle implique également…

Answer 25

…la «qualité» de la construction théorique sous-jacente.

On peut difficilement envisager la mesure valide d’un construit théorique issu d’une théorie farfelue (p. ex. «votre habileté à devenir invisible»).

Question 26

Qu’arrive-t-il lorsque le construit mesuré est intrinsèquement relié à une ou plusieurs caractéristiques de l’individu?

Answer 26

La mesure du construit doit être sensible à cette relation.

Un exemple clair est certainement celui de la mesure de l’«intelligence» qui doit se développer avec l’âge de l’enfance à l’adolescence.

Question 27

Pour appuyer la validité de construit d’une échelle ordinale, il est essentiel de…

Answer 27

…démontrer que les résultats respectent intégralement la séquence ordinale supposée.

Question 28

On peut également penser à d’autres caractéristiques, selon la théorie à laquelle appartient le construit.

Answer 28

Par exemple, un test de «masculinité-féminité» devrait montrer une relation entre les scores qu’il fournit et le sexe des examinés.

Question 29

Pour appuyer la validité de construit d’un certain test, on a recours à quoi?

Answer 29

Au calcul de plusieurs corrélations entre les scores obtenus à ce test et ceux fournis par un ensemble d’autres tests. Ce calcul vise deux buts, aussi importants l’un que l’autre:

• Montrer la présence de corrélation entre le test et d’autres tests qui sont supposés mesurer le même construit ou des construits théoriquement liés;
• Montrer l’absence de corrélation entre le test et d’autres tests qui sont supposés mesurer des construits théoriquement indépendants (preuves négatives de validité).

Question 30

Certains auteurs de tests considèrent les coefficients d’homogénéité comme quoi?

Answer 30

Des indices de la validité de construit.

Question 31

Le calcul de ces coefficients est fondé sur quoi?

Answer 31

La corrélation entre chacun des items du test et le score total au test.

Le score total est alors vu comme la meilleure mesure du construit que le test est supposé mesurer.

Question 32

La même technique peut être utilisée pour établir la «validité» des sous-tests qui forment une batterie de tests pour laquelle il existe un score global.

Answer 32

Par exemple, tous les sous-tests (p. ex. vocabulaire, calcul,…) de certains tests d’intelligence devraient être corrélés avec le score total au test (souvent appelé «Q.I. global»).

Question 33

Les coefficients d’homogénéité sont des indices de quoi?

Answer 33

De cohérence de la mesure (qui ne sont pas équivalents à des facteurs) et, par conséquent, ils ne peuvent être considérés que comme des indices très indirects et peu informatifs de la validité de construit.

Question 34

Quarrive-t-il lorsque plusieurs tests sont administrés à peu près simultanément?

Answer 34

Le nombre de coefficients de corrélation calculables augmente très rapidement.

Question 35

L’analyse factorielle est une méthode statistique sophistiquée qui permet quoi?

Answer 35

Permet de faciliter l’interprétation d’une telle structure de coefficients de corrélation.

Globalement, elle permet de mettre ensemble les tests qui semblent mesurer à peu près le même construit et de distinguer les tests qui mesurent des construits distincts (i.e. peu corrélés). On appelle facteurs ces «construits» extraits de façon empirique.

Question 36

Qu’est-ce que le coefficient de validité factorielle?

Answer 36

Le coefficient de corrélation calculé entre le score à un certain test et le score factoriel correspondant (les saturations).

Question 37

Les scores à un test doivent démontrer des corrélations élevées avec d’autres variables aveclesquelles ils doivent théoriquement être reliés. Comment appelle-t-on cette technique?

Answer 37

La validation convergente.

Par exemple, montrer qu’un test de «raisonnement numérique» est corrélé avec un test d’«habiletés arithmétiques».

Question 38

Qu’est-ce que la validation discriminante?

Answer 38

Dans la validation discriminante, on doit trouver des corrélations nulles (ou faibles) avec les autres variables avec lesquelles ils ne doivent pas, en principe, être reliés.

Par exemple, montrer qu’un test de «raisonnement numérique» est peu (ou même, pas) corrélé avec un test de «compréhension de texte».

Question 39

Qu’est-ce que la méthode multitraits/multiméthodes?

Answer 39

Proposée par Campbell et Fiske (1959) est une méthode très générale qui permet d’analyser en détail les qualités psychométriques de plusieurs tests. Elle permet d’étudier simultanément: La fidélité; la validité convergente; la validité discriminante.

Question 40

La méthode multitrait/multiméthodes consiste à quoi?

Answer 40

Mesurer deux ou plusieurs construits (appelés ici «traits psychologiques») théoriquement distincts à l’aide de deux ou plusieurs méthodes différentes età calculer les différents coefficients de corrélation possibles.

L’analyse à faire est de comparer:

• Les coefficients obtenus en mesurant le même construit «D ou A» à l’aide de différentes méthodes «1 et 2» (validation convergente)

ET

• Les coefficients obtenus en mesurant différents construits «D et A» à l’aide de la même méthode «1 ou 2» ou des méthodes différentes «1 et 2» (validation discriminante)

Il est logique de s’attendre à ce que les coefficients de validité convergente «les E» soient toujours plus élevés que tous les coefficients de validité discriminante «les F et les TF». Sinon, les différences individuelles observées seraient attribuables à la méthode utilisée au lieu du «construit» que l’on suppose mesurer.

Question 41

Quels sont les deux points importants à souligner pour la méthode multitraits/multiméthodes?

Answer 41

• La fidélité correspond au degré d’accord entre deux mesures d’un même trait obtenues à l’aide de méthodes maximalement apparentées (tels un même test ou les versions parallèles d’un même test) «les r de la ligne diagonale »

ET

• La validité convergente (de construit) correspond au degré d’accord entre deux mesures d’un même trait obtenues à l’aide de méthodes maximalement différentes «les E».

Question 42

Fidélité et validité peuvent être vues comme…

Answer 42

…les deux extrêmes d’un même continuum quant aux méthodes utilisées «apparentés vs différentes» pour les mettre en évidence.

Cette «continuité» explique peut-être pourquoi il est parfois difficile de déterminer si telle ou telle méthode contribue plus à appuyer la fidélité ou la validité d’un certain test.

Question 43

V ou F

La fidélité est un prérequis à la validité.

Answer 43

Vrai

Question 44

La vérification expérimentale d’une hypothèse à propos d’un construit contribue à la validité de construit du test qui prétend le mesurer.

Answer 44

Par exemple, la validité de construit d’un «test de dépression» sera renforcée si l’on montre que les résultats à ce test changent radicalement pour ceux qui suivent un certain traitement «anti-dépressif», alors qu’ils ne changent pas pour les membres du groupe contrôle.

Question 45

Certaines recherches en psychologie fondamentalepeuvent également contribuer à quoi?

Answer 45

La compréhension de ce qu’un test mesure.

Il s’agit d’analyser en détail les «processus» qui interviennent lorsque l’examiné répond au test et qui déterminent sa performance. Des manipulations expérimentales de la tâche elle-même peuvent apporter plusieurs informations.

Par exemple, on peut systématiquement manipuler le mode de présentation des questions, les consignes, etc. afin d’en déterminer l’impact sur la performance des examinés.

Question 46

V ou F

La validation de construit est certainement la manière la plus riche d’identifier correctement «ce qu’un test mesure».

Answer 46

Vrai

Cependant, c’est aussi la manière la plus délicate d’établir la validité de ce test. N’oublions pas qu’un «construit» est, par définition, inaccessible et que la validité «de construit» du test qui prétend en donner une mesure exacte ne peut être établie que par une accumulation progressive d’«appuis indirects» (plutôt que par des preuves directes).

Question 47

Pour établir la validité d’un test, diverses démarches sont utilisées. Elles reposent toutes sur quoi?

Answer 47

La démonstration des liens entre la performance au test et d’autres «observations» de la caractéristique que l’on tente de mesurer.

C’est pourquoi les «coefficients de validité» prennent la forme de coefficients de corrélation.

Question 48

Qu’est-ce qui peut influencer le degré de validité d’un test?

Answer 48

Plusieurs facteurs, associés principalement aux spécificités de l’échantillon de validation.

Par conséquent, toute présentation d’un coefficient de validité devrait être accompagnée d’une description détaillée du groupe auprès duquel ce coefficient fut obtenu (tout comme pour les coefficients de fidélité).

Question 49

V ou F

Ce coefficient ne peut être appliqué, en termes d’indice de validité, qu’auprès de populations comparables à l’échantillon de validation.

Answer 49

Vrai

Question 50

Un même test peut mesurerdifférentes caractéristiques pour différents groupes d’examinés.

Answer 50

Par exemple, un test d’aptitudes académiques prédit bien la performance ultérieure des collégiens à l’université, mais, chez les candidats «adultes», il est d’abord relié au temps pris à compléter leur diplôme.

Question 51

Est-ce possible qu’un test soit soit valide pour une population mais pas pour une autre?

Answer 51

Oui, il est possible qu’un test s’avère valide pour une certaine population, mais pas ou peu valide pour d’autres populations.

Par conséquent, le manuel technique devrait toujours préciser pour quelles populations spécifiques le test peut être considéré comme valide.

Question 52

V ou F

«toutes choses étant égales par ailleurs», un coefficient de corrélation est affecté à la baisse lorsqu’on restreint l’étendue de la distribution des scores mis en corrélation. Par conséquent, tout comme pour le cas de la fidélité, une réduction d’étendue des scores a également un impact (à la baisse) sur les coefficients de validité (lorsque ces derniers sont présentés sous forme de corrélations).

Answer 52

Vrai

Plus on restreint l’étendue de la distribution des scores de chacune des mesures misent en corrélation, moins il y a de variance, plus notre corrélation risque de baisser.

S’il n’y a aucune variation, si notre mesure est fixe, il est impossible de faire une corrélation. Puisque ce devrait être fait entre deux mesure continues.

Question 53

Rappelons que le calcul du coefficient de corrélation r n’est justifié que si la relation entre les deux mesures impliquées est linéaire.

Answer 53

Si ce n’est pas le cas, la valeur de ce coefficient est atténuée et peut laisser supposer un certain manque de validité. Pour éviter ce type de problèmes, il est préférable de toujours observer le diagramme de corrélation pour vérifier la forme de la relation plutôt que de calculer machinalement un coefficient r.