Cours 7

Question 1

Définissez ce qu’est la validité.

Answer 1

Degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement.

ex: Concept=agressivité. S’assurer que l’instrument se rapporte uniquement à l’agressivité, et non pas à la frustration, colère, impulsivité, etc.

Question 2

Qu’offre le processus de validation?

Answer 2

Il offre un degré, ou un indice qui représente la validité.

Question 3

Pourquoi est-il nécessaire de procéder au processus de validation?

Answer 3

Car plusieurs instruments de mesure ne permettent pas d’observer directement le concept que l’on cherche à étudier.

Question 4

Vrai ou faux.

La validité ne concerne pas l’instrument de mesure lui-même.

Answer 4

Vrai.

La validité concerne l’interprétation des résultats.

Question 5

Que permet de déterminer le processus de validation?

Answer 5

Le processus de validation permet de déterminer le niveau de confiance qu’on peut avoir par rapport aux inférences qu’on fait en s’appuyant sur les résultats obtenus à un test.

Question 6

Quand peut-on dire qu’un test est valide?

Answer 6

Jamais.
La validité d’un test n’est pas inhérente à l’instrument lui-même, mais plutôt au contexte de son utilisation.

Notre test n’est valide qu’avec la clientèle qui correspond à l’échantillon normatif. Si le test est validé avec un certain échantillon normatif, le test ne doit être utilisé qu’avec le même genre de participants.
Le test doit aussi être appliqué dans le même environnement que celui dans lequel il a été validé.

Question 7

Complétez.

La validité d’un instrument est directement et uniquement lié au …

Answer 7

… contexte dans lequel le processus de validation a été effectué (n’est valide qu’avec telle clientèle et sous telles conditions).

Question 8

L’évaluation de la validité d’un test est un … de preuves ou d’évidences (normalement quantitatives.

Answer 8

L’évaluation de la validité d’un test est un processus continu d’accumulation de preuves ou d’évidences (normalement quantitatives). Plusieurs chercheurs différents utilisent le test et accumulent des données.

Question 9

Quelle mise en garde peut-on donner au sujet du nom d’un test?

Answer 9

Il faut éviter de considérer le nom d’un test comme un indice précis de ce qu’il mesure.

Ex: Échelle de dépression de Beck ne mesure pas la dépression, mais les facteurs liés à la dépression.

Question 10

Information au sujet de la validité.

Answer 10

Un test n’est jamais 100% valide. La validité n’est pas une affaire de «tout ou rien» (valide ou pas valide), mais plutôt une question de «degré» de validité.

Question 11

Dans le «Standards for Educational and Psychological Testing» plusieurs techniques destinées à recueillir des preuves de validité ont été regroupées en trois grandes catégories. Lesquelles?

Answer 11

• Validation de contenu
• Validation pragmatique
• Validation de construit

Question 12

Qu’est-ce que la validation de contenu?

Answer 12

C’est l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux-la seulement.

Les items mettent en évidence que le contenu pour lequel ils ont été créés.

Question 13

Quand la validation de contenue est la plus pertinente?

Answer 13

Quand nous élaborons un instrument (choix des items).

Question 14

Comment convient-on de la validité de contenue d’items?

Answer 14

• Par l’évaluation de juges experts.
• Par l’utilisation des résultats.
• Par opinion.

Évidemment, il y a une possibilité d’erreur même si les experts nous assurent que l’instrument est bon.

Question 15

Quand les contenus des items utilisés contribuent tous à évaluer un aspect significatif (dimension) de ce phénomène, que forment-ils?

Answer 15

Ces contenus forment alors un échantillon important de tous les items (qui représentent les contenus).

Question 16

En validation de contenu, on doit veiller à ce que les contenus des items ne fassent pas appel à quoi?

Answer 16

Les contenus des items ne doivent pas faire appel à des caractéristiques que l’on souhaite explicitement ne pas solliciter.

Question 17

Comment les juges experts estiment la validité de contenu d’un instrument?

Answer 17

Grâce à leurs bonne connaissance du concept à mesurer, et à leur expertise dans l’élaboration d’instruments de mesure, ceux-ci vont se prononcer sur le contenu des énoncés.
Opinion

• Clarté des items (l’item sera-t-il compris par tous?)
• Représentativité de l’item (représente-t-il bien la théorie?)
• Exhaustivité des items (est-ce que les items couvrent l’ensemble du sujet?)
• Dimensionnalité (les items sont-ils divisés convenablement selon les différents aspects à couvrir?)
• Pertinence théorique (est-ce que l’item est approprié, est-ce qu’il correspond à la théorie?)

Question 18

Qu’est-ce que la validation pragmatique?

Answer 18

Aptitude d’un instrument à prédire (le plus précisément possible) le phénomène à l’étude chez un ensemble d’individus par rapport à des situations qu’ils rencontreront (possiblement) ultérieurement.

Question 19

Quel mot est particulièrement associé à la validation pragmatique?

Answer 19

Prédiction.

Question 20

En validation pragmatique, plusieurs problèmes peuvent se présenter si nous procédons par l’étude des corrélations. Quelle autre méthode peut être privilégiée pour éviter ceux-ci?

Answer 20

Par l’analyse de régressions. Les régressions permettent de faire des prédictions, puisqu’une variable est dépendante (prédite, critère), contrairement aux autres qui sont indépendantes (prédicteurs). Une variable indépendante va prédire la position (résultat) de la variable dépendante.
Le but de la régression est de prédire la situation future d’un individu sur la base d’éléments qui caractérisent sa situation présente.

Question 21

Pour évaluer la validité pragmatique d’un instrument, quelle est la procédure la plus simple?

Answer 21

Étude de corrélation entre les résultats obtenus par un même groupe d’individus à deux moments différents (comparaison de moyenne).

Analyse peu robuste.

Question 22

En validation pragmatique, comment évalue-t-on la qualité d’un instrument?

Answer 22

En déterminant dans quelle mesure les prédicteurs retenus permettent de fournir une estimation valide des résultats qui seront obtenus ultérieurement.

Pourcentage de variance prédite/expliquée.

Question 23

Il y a 2 types de validité pragmatique, lesquelles? Définissez-les.

Answer 23

• Validité concomitante/concourante: Degré de corrélation entre les scores obtenus au test, et les scores obtenus à une mesure de référence (test - critère en même temps).
• Validité prédictive: Qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (test - critère séparés par long laps de temps).

Question 24

Qu’est-ce que la validité de construit?

Answer 24

Justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique ; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle (items formulés en respectant le contexte théorique).

Question 25

Quel type de validité est la plus importante?

Answer 25

Validité de construit.

Les éditeurs de revue se fient surtout à celle-ci.

Question 26

Qu’est-ce qu’un construit?

Answer 26

C’est une entité hypothétique qui résulte d’une élaboration psycho-sociale et théorique (intelligence, aptitudes, personnalité, motivation, etc.). Elles sont générés par l’humain.

Les construits sont des mini-théories qui expliquent la relation entre différents concepts (comportements, attitudes, etc.). On les nomme aussi ‘‘facteurs/dimensions/composantes’’. Ils expliquent les corrélations qu’on observe entre différentes variables.

Question 27

Que peut-on dire au sujet de l’observation et mesure des construits (entités hypothétiques)?

Answer 27

Elles ne sont pas directement accessibles.

Mais, ceux-ci sont accessibles par les comportements (données).

Question 28

Quelle est la méthode la plus usuelle pour calculer la validité de construit? Nommez son principal objectif.

Answer 28

En ayant recours à une méthode issue de l’approche corrélationnelle (analyse factorielle, analyse multitrait-multiméthode).
Elle cherche, ici, à démontrer la pertinence (relation, association) d’un item par rapport à sa propre dimension théorique (AF).

Question 29

Nommez les 4 plus grand types de validité de construit selon la littérature scientifique. Présentez les 2 plus importants en premier.

Answer 29

• Analyse multitrait-multiméthode
• Analyse factorielle
• Validité Convergente
• Validité Discriminante

Question 30

Qu’est-ce que l’analyse multitrait-multiméthode?

Answer 30

Forme de validation de construit.
Matrice de corrélation entre les résultats obtenus à différents tests (illustre validité convergente et discriminante).

Même trait-méthode= Forte corrélation
Différent trait-méthode= Faible corrélation

Traits-Dépression (A), tristesse (B), désespoir (C).
Méthodes-Observation directe (méthode 1), questionnaire papier (méthode 2), entrevue semi-structurée (méthode 3).

Aucun tests ne peuvent être parfaitement équivalents

Question 31

Nommez les limites de l’analyse multitrait-multiméthode.

Answer 31

Demande beaucoup de temps de la part des participants (plusieurs tests). Difficile de trouver des tests qui évaluent les mêmes traits.

Question 32

Complétez. En analyse multitrait-multiméthode, ile y a toujours …

Answer 32

… deux temps de mesure.

Question 33

Prenez un moment pour consulter le tableau d’analyse multitrait-multiméthode à la page 22.

Answer 33

…

Question 34

Dans le tableau d’analyse multitrait-multiméthode à la page 22, que signifie :
1- Les résultats sur la diagonale principale?
2- Les résultats sur les diagonales secondaires?
3- Les fortes corrélations sur la diagonale principale?

Answer 34

1- Corrélations entre même trait et méthode. Fidélité.
2- Corrélations entre même trait et différente méthode. Validité Convergente. (Autres=Validité discriminante).
3- Les temps de passation sont probablement proches (corrélations diminuent avec le temps).

Question 35

Nommez les éléments à considérer quand on analyse un coefficient de corrélation.

Answer 35

1- Direction (positif/négatif)
2- Force (faible 0.15 ; modérée 0.35 ; fort 0.55)
3- Coefficient de détermination (variance expliquée ; corrélation au carré)
4- Significativité statistique p<0,05 ; p=0,05 (n=10 - r=0,63 ; n=104 - r=0,25 ; n=800 - r=0,08)

Si avec analyse multitrait-multiméthode, considérer traits et méthodes

Question 36

Qu’est-ce que l’analyse factorielle?

Answer 36

Utilisée en validation de construit.
Elle projette 3 variables (ou plus) qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente alors le facteur.
Type de validité la plus utilisée (99% des gens l’utilisent et présentent ses résultats).

Question 37

Pourquoi, en analyse factorielle, devons-nous absolument utiliser un minimum de 3 variables?

Answer 37

Car en incluant moins de 3 variables, il est très probable d’obtenir une variance faible. Il y aurait trop peu de variabilité expliquée dans le comportement.

Question 38

Présentez les trois grandes questions de l’analyse factorielle.

Answer 38

1- Combien de facteurs l’analyse nous propose?
2- Quel est le pourcentage d’explication de la variance?
3- Est-ce que tous les items sont valides par le biais de la validation de construit, ou y a-t-il des items nécessitant une reformulation?

Question 39

Comment peut-on répondre à la première grande question de l’analyse factorielle?

Combien de facteurs l’analyse nous propose?

Answer 39

On peut commencer par considérer le nombre de dimensions (autant de facteurs que de dimensions)*.

Tableau (Total Variance Explained) -> Colonne Extraction … -> Nbr facteurs.
Par le biais de la variance totale expliquée, les données disponibles affichent le nombre de facteurs. (P.24 = 3 facteurs)

*Même si le test est analysé selon le même nombre de facteurs que le nombre de dimensions, celui-ci pour contenir plus de facteurs (Big 5 = 16PF = 63 Facteurs).

Question 40

Comment peut-on répondre à la deuxième grande question de l’analyse factorielle?

Quel est le pourcentage d’explication de la variance?

Answer 40

Tableau (Total Variance Explained) -> Colonne Rotation … -> % of variance / Cumulative%

• Variance Individuelle de chaque facteur (% pas expliqué par les autres facteurs) = % of Variance
• Variance totale expliquée = Dernière valeur colonne Cumulative %.

Question 41

Quelle pourcentage de la variance totale doit être expliquée pour être satisfaisante?

Answer 41

40% à 60%. Cela donne une bonne explication de variance.

Question 42

Comment peut-on répondre à la troisième grande question de l’analyse factorielle?

Est-ce que tous les items sont valides par le biais de la validation de construit, ou y a-t-il des items nécessitant une reformulation?

Answer 42

On cherche à y comprendre où un facteur commence, et où il fini (quels items le compose).

• Facteur commence= Corrélation + forte
• Facteur Fini= Fin tableau ou espace.
• Nombre d’items qui composent le facteur (au moins 3).
• Items Complexes (items qui ont un haut coefficient de corrélation dans plusieurs facteurs).*

*Validité = Mesurer ce qu’on veut, et cela seulement.

Question 43

Dans le tableau ‘‘Rotated Factor Matrix’’, qu’est-ce qu’une saturation factorielle?

Answer 43

C’est simplement la forme que prend le coefficient de corrélation.

Saturation Factorielle la plus forte = Coefficient de corrélation le plus élevé.

Question 44

Dans le tableau ‘‘Rotated Factor Matrix’’, si un facteur ne contient que 2 items, que doit-on faire?

Answer 44

On doit revoir l’analyse ou le test.
Toutefois, qu’il y ai révision ou pas, il est important de mentionner dans le manuel du test le degré de validité (dire que l’item est à désirer).

Question 45

On élevant les saturations factorielles au carré, et en additionnant le tout, il est possible d’obtenir un résultat plus haut que 100%. Pourquoi?

Answer 45

Car ce résultat, qui concerne la variance commune, implique la relation de chaque item avec la dimension.

Question 46

À quoi mène le résultat du processus de validation de construit?

Answer 46

Il propose plusieurs résultats (et non un indice statistique unique). Chaque résultats doivent être interprétés en lien avec les éléments théoriques sur lesquels le test se base.

Question 47

Complétez:

La validité de construit d’un instrument sera plus facilement mesurable si la théorie utilisée est …

Answer 47

… explicite et bien défini.

Question 48

Autre l’analyse multitrait-multiméthode et l’analyse factorielle, quels sont les 2 autres types de validité de construit?

Answer 48

• Validité convergente: Correspondance, d’une échelle reliée à des variables et des mesures du même construit, d’un test avec un autre. (corrélation entre trait et méthode de deux tests) (On prend un autre instrument, on met en relation les dimensions similaires et on s’attend à obtenir un coefficient fort) (On prend un autre instrument, on met en relation les dimensions similaires et on s’attend à obtenir un coefficient fort.).
• Validité discriminante: Divergence/écart de variables et de mesures de construits différents. (Met en relation des phénomènes différents, on va avoir une corrélation mais on s’attend à ce qu’elle soit faible.)