Cours 4 : Traduction, développement de tests et validation de contenu

Question 1

Types de biais possibles

Answer 1

Biais de construit
Biais de méthode
Biais d’items

Question 2

Biais de construit

Answer 2

Lorsque le construit mesuré est différent en termes de conceptualisation (par exemple, définitions différentes
de l’intelligence qui inclut ou non les habiletés de
communication) ou de comportements associés au construit (par exemple, être un bon enfant en Chine est plus exigeant qu’en occident). Lorsqu’on soupçonne l’existence d’une telle tendance
ethnocentrique, il faut alors effectuer une enquête avec une
équipe multiculturelle et multilingue ayant une expertise en regard du construit.

Question 3

Biais de méthode

Answer 3

Réfère à la façon dont le test est administré, ce qui peut en affecter la validité. Plusieurs sources possibles incluant des différences dans : les effets de l’examinateur, la désirabilité sociale, la familiarité avec les items, la familiarité avec le format des items (choix multiples ou échelle de Likert),
les situations de test en général.
Une façon d’évaluer ce biais est de mesurer le construit de différentes manières (triangulation de
la mesure) ou d’utiliser une mesure répétée.
On peut aussi
mesurer la désirabilité sociale ou administrer le test d’une façon non standard.

Question 4

Biais d’items

Answer 4

Inclut la faiblesse de la langue, le contenu inapproprié des items et la traduction inadéquate.
Les items sont
biaisés si deux groupes ayant le même score global ont des
résultats attendus différents aux items.
Pour des items
dichotomiques, une façon d’évaluer ce biais est le test de
Mantel-Haenszel.
Pour des items à intervalles, on peut utiliser des analyses de variance où les groupes et les scores globaux sont les variables indépendantes et le résultat à l’item est la variable dépendante

Question 5

Traduction littérale

Answer 5

Lorsqu’on assume qu’il n’y a qu’une possibilité de biais
d’items, une traduction littérale peut être utilisée.
Il s’agit alors de faire la traduction et une « back translation » que l’on compare. Après une possible révision, le test est administré aux groupes source et cible et les résultats sont comparés.

Question 6

Différentes façons d’adapter le test lorsqu’il y a possibilité de biais de construit ou de biais de méthode

Answer 6

Adaptation des items Adaptation du format des items
Entraînement de l’examinateur Emploie de la triangulation
Lorsqu’on voudra par la suite comparer l’ancien test au
nouveau, il faudra utiliser une analyse factorielle
confirmatoire*

Question 7

À quel biais sont habituellement reliés les changements les plus radicaux où l’on doit parfois éliminer complètement un ou des items

Answer 7

Biais de construit
Si ce biais est trop fort, il
vaut mieux procéder à la création d’un nouveau test que d’en traduire un.
L’intérêt n’est pas alors de comparer les scores dans les deux groupes, mais de s’assurer que le même construit est mesuré, ce qui peut se faire en utilisant des analyses de régression

Question 8

Les étapes d’élaboration d’un test

Answer 8

1- La détermination des utilisations prévues du test
2- La définition de ce que l’on souhaite mesurer
3- La création des items
4- L’évaluation des items
5- La détermination des propriétés métriques du
test définitif

Question 9

La détermination des utilisations prévues du test

Answer 9

Les usages prévisibles d’un test déterminent grandement
ses caractéristiques.
Quels sont les buts du test ?
À quelle clientèle est-il destiné ?

Question 10

La définition de ce que l’on souhaite mesurer

Answer 10

Le point de départ d’un test est un objectif relativement vague et général qu’il faut opérationnaliser
L’élaboration du plan de la structure du test sera guidée soit par la théorie dans le cas de la mesure d’un construit mental ou soit par une analyse de contenu de domaine de
comportements ou des exigences d’emploi dans le cas de la mesure d’un domaine de comportements

Question 11

La création des items

Answer 11

Il faut tout d’abord choisir le format des items en fonction des objectifs du test et des conditions de création, de passation et de cotation
On détermine par la suite le niveau de difficulté des items
en fonction des objectifs du test et en fonction du type de
test
Enfin, on décide du nombre d’items à créer en fonction de
la durée du test et en fonction du niveau de fidélité
recherché
On passe alors à la rédaction
des items

Question 12

Ce qu’il faut noter en lien avec le nombre d’items

Answer 12

Il est à noter qu’il faut prévoir entre 30 à 50% plus d’items que ce que l’on désire, car on éliminera des items lors de la mise à l’essai

Question 13

L’évaluation des items

Answer 13

Les items sont évalués de deux façons, d’abord par des

juges, puis par une mise à l’essai des items

Question 14

Évaluation des items par les juges

Answer 14

Les juges apprécient la conformité des items aux exigences définies lors de la seconde étape, i.e. suite à la définition opérationnelle de ce que l’on souhaite mesurer

Question 15

Évaluation des items par la mise à l’essai

Answer 15

La mise à l’essai consiste à faire passer tous les items à un
échantillon restreint de la population.
Les résultats sont
ensuite analysés de façons qualitative et quantitative
(niveau de difficulté, pouvoir discriminant) afin de
sélectionner les meilleurs items qui serviront à construire la version définitive du test

Question 16

La détermination des propriétés métriques du

test définitif

Answer 16

Les propriétés métriques, qui seront rapportées dans un
manuel accompagnant le test, sont déterminées suite à la
passation du test à un échantillon normatif.
Il faut tout d’abord établir des normes (pour un test normé)
ou des scores de référence (pour un test critérié).
Il faut par la suite faire des analyses de fidélité et de
validité.

Question 17

Validité de contenu

Answer 17

Méthode qui consiste à analyser le contenu du test afin de s’assurer qu’il est représentatif en tant
qu’échantillon du domaine de comportements à mesurer

Question 18

Deux questions sur la représentativité

Answer 18

1- À quel point chaque item ou question qui forme le test appartient à l’univers du construit défini? 2- À quel point l’ensemble des items ou des questions représente tous les aspects de cet univers?

Question 19

La représentativité du test

Answer 19

Ne peut se juger que par rapport à la définition donnée au construit mesuré

Question 20

Validité apparente v. validité de contenu

Answer 20

La validité apparente correspond à ce que le test semble mesurer, i.e. est-ce que le test semble valide
Ceci est donc différent de la question de ce que le
test mesure de fait.
On peut augmenter la validité apparente en modifiant quelque peu les questions afin qu’elles paraissent plus
pertinentes aux examinés.

Question 21

Procédure de validation de contenu

Answer 21

1- La détermination des utilisations prévues du test
2- La définition de ce que l’on souhaite mesurer
3- La création des items*
4- L’évaluation des items

Question 22

La création des items (dans la procédure de validation de contenu)

Answer 22

Lorsqu’on a déterminé le format, le niveau de difficulté et le nombre d’items à créer « devis de rédaction », on passe alors à la première rédaction en s’aidant d’une « table croisée de spécification »
Par la suite, on rédige les items pour chaque catégorie de la table (correspondant à chaque aspect important du domaine ou de la tâche), ce qui crée la banque initiale d’items
Ensuite, on détermine la structure du test : Ordre (séquentielle et logique) des items dans le test (par exemple difficulté croissante); Organisation en sous-tests distincts ou mélange des
items

Question 23

Pertinence et domaines d’application de la validation de contenu

Answer 23

La validation de contenu est une méthode qui ne
s’applique pas aussi aisément à tous les types de tests
psychologiques

Question 24

La validation de contenu s’applique bien aux …

Answer 24

-Tests de rendement typique ou optimal, occupationnel ou
scolaire. Dans ce dernier cas, on parle alors de validité
didactique pour savoir si le contenu d’un test a bien été couvert
dans un programme pédagogique.
-Tests de sélection et de classification

Question 25

La validation de contenu s’applique difficilement aux …

Answer 25

Tests de personnalité et d’aptitudes :
Relation plus lointaine entre les items du test et les
caractéristiques mesurées traditionnellement dans ces tests
Conception des aptitudes et de la personnalité comme des
traits plutôt que comme des performances situationnelles
Les théories à la base de ces tests supposent l’existence
d’un trait homogène que le test doit mesurer. La validité de
contenu, en fractionnant le concept, fait disparaître le caractère général et homogène du trait à mesurer.