Cours 6 : Construction et analyse d'items d'un test

Question 1

Quand est-ce que se fait l’analyse des items d’un test ?

Answer 1

Après la mise à l’essai des tests

4e étape de la construction d’un test, soit celle de l’évaluation des items

Question 2

2 types d’analyse des items d’un test qui font partie de la validité de contenu

Answer 2

Une analyse qualitative

Des analyses quantitatives

Question 3

2 grands objectifs parallèles de l’analyse du test

Answer 3

Augmenter la fidélité du test;

Augmenter la validité du test

Question 4

À quoi aident les méthodes d’analyse, qualitative et quantitative ?

Answer 4

Sélectionner les meilleurs items;
Substituer les items qui donnent peu ou pas d’information;
Réviser les items qui posent problème

Question 5

Raisons de contrôler la difficulté des items

Answer 5

-Items de difficulté croissante dans un test : Confiance du sujet examiné ; Moins de perte de temps
-Choix du niveau adéquat de difficulté pour augmenter la
sensibilité du test : Aucune information apportée par les items trop faciles ou trop difficiles dans les tests autres que les tests de maîtrise

Question 6

Deux façons de définir et de mesurer la difficulté d’un

item

Answer 6

1-Façon empirique traditionnelle, selon la théorie
classique des tests (TCT) à partir des scores bruts : Pourcentage de personnes qui réussissent l’item ;
2-Façon théorique, selon la théorie de la réponse à l’item (TRI) à partir de la courbe caractéristique de l’item (CCI). Le modèle le plus utilisé en TRI est celui de Rasch.

Question 7

TRI

Answer 7

modèle à 1 paramètre : difficulté de l’item (+ important, le modèle de Rasch)
modèle à deux paramètres : difficulté de l’item et pouvoir discriminant
modèle à trois paramètres : difficulté de l’item, pouvoir discriminant et pseudo-chance

Question 8

CCI

Answer 8

Représente le rapport entre d’une part ou habileté que veut mesurer l’échelle (Thêta) et d’autre part la performance à l’item

Question 9

Le score Thêta

Answer 9

Situé sur l’axe des X et peut varier de -4 (item facile) à +4 (item difficile) en passant par 0 (item de
difficulté moyenne). On ajoute habituellement +5 au Thêta pour n’avoir que des scores positifs variant de 1 à 9.
La performance à un certain item (probabilité de bonne réponse) est située sur l’axe des Y.
On compare la difficulté des différents items (thêta) requis pour atteindre 50% de probabilité de bonne réponse.

Question 10

Quand est-ce qu’on obtient un maximum d’info dans une grille dichotomique (TCT) ?

Answer 10

lorsque le pourcentage de réussite est de 50%

Question 11

Quels groupes peut on différencier si tous les items ont un même pourcentage de réussite ?

Answer 11

Ceux qui ont un score nul (i.e. échec à tous les 59 items) et ceux qui ont un score parfait (i.e. succès à tous les
items)

Question 12

Comment faire pour contrer le fait d’avoir un même pourcentage de réussite pour tout le monde ?

Answer 12

Maximiser
simultanément l’homogénéité du test et les différences
individuelles sur les scores totaux, pour ce faire, on fait varier les pourcentages de réussite des items autour de la valeur optimale de 50%

Question 13

Quels sont les meilleurs items, sur des différenciations entre les sujets ?

Answer 13

Seront ceux pour lesquels toute l’échelle est utilisée ou en termes plus techniques, ce seront ceux dont la
60 distribution des scores (intra-items) possède une variance élevée

Question 14

Sur quoi dépend le choix de distribution des scores à un test (meilleurs items) ?

Answer 14

De ce que l’on sait de la distribution du construit;

Des objectifs du test

Question 15

Effet plancher

Answer 15

Lorsqu’un test a pour objectif de déterminer les
meilleurs candidats (par exemple pour une bourse d’excellence), il est inutile d’obtenir des différences entre
les plus faibles. Dans ce cas, le test peut être formé uniquement d’items difficiles

Question 16

Effet plafond

Answer 16

De façon inverse, lorsqu’un test a pour objectif de déterminer les candidats en difficulté, il est inutile d’obtenir des différences entre les candidats qui fonctionnent bien

Question 17

Pouvoir discriminant des items

Answer 17

Sa capacité à donner des scores différents à des individus différant réellement sur le trait
mesuré par l’item
Le degré de précision avec lequel cet item en particulier, considéré de façon isolée, mesure bien ce que le test prétend mesurer

Question 18

Deux façons de mesurer le pouvoir discriminant d’un item

Answer 18

1-Façon traditionnelle, selon la théorie classique des
tests (TCT) ;
2- Façon théorique, selon la théorie de la réponse à l’item (TRI) à partir de la pente de la courbe caractéristique de l’item (CCI).
- Plus la pente est forte, plus l’item est discriminan

Question 19

Selon la TCT, méthode générale pour analyser le pouvoir discriminant d’un item

Answer 19

Consistera à mettre en relation les résultats obtenus à cet item avec une quelconque autre observation de la caractéristique que l’on tente de mesurer.
Plus cette relation est forte, meilleur est le pouvoir discriminant de l’item. Si cette relation est nulle, l’item est
inutile

Question 20

Critère

Answer 20

Lorsqu’il existe un critère, il n’y a pas vraiment d’ambiguïté et on peut utiliser ce critère.
En choisissant de cette façon les items les plus discriminants, on peut améliorer la validité critériée du test (parfois, aux dépens de son homogénéité)

Question 21

Si pas de critère externe

Answer 21

On assumera souvent que la meilleure mesure disponible de la caractéristique est le score total au test.
Dans ce cas, on jugera qu’un item est discriminant dans la mesure où il est en corrélation positive
avec le score total.
En choisissant de cette façon les items les plus discriminants, on améliore avant tout l’homogénéité du test

Question 22

Indice de discrimination

Answer 22

Un indice de discrimination est une valeur qui quantifie le
pouvoir discriminant d’un item.
Une méthode désormais très utilisée consiste à calculer la corrélation entre le résultat à l’item et l’autre mesure.

Question 23

Méthode des groupes extrêmes

Answer 23

Consiste à former deux groupes contrastés en regard du critère (ou du score total), puis de comparer la performance de ces deux groupes pour chaque item du test
Pour un item donné, plus les performances respectives des deux groupes sont différentes, plus l’item est discriminant
Plus les groupes sont extrêmes, meilleure est la
discrimination, mais ces groupes sont plus petits et les indices obtenus sont plus variables.

Question 24

Dangers de l’analyse

Answer 24

-Si on analyse l’item pour tous les individus de l’échantillon,
qu’ils répondent ou non à l’item, la mesure obtenue est fonction
de la position de l’item dans le test, car moins d’individus
répondent aux derniers items du test à cause de la limite de temps qui empêche de répondre à tous les items
-Difficulté de l’item : Les derniers items paraissent plus difficiles, car moins de gens y répondent sans erreur
-Pouvoir discriminant de l’item : Le pouvoir discriminant est exagéré puisque surtout les individus les plus brillants se rendent jusqu’à la fin du test sans faire d’erreur

Question 25

Solutions possibles

Answer 25

-Analyser l’item seulement à partir des individus qui y
répondent.
-Allonger le temps de passation du test : Adéquat si la vitesse
n’est pas reliée à l’habileté mesurée
-Créer des versions différentes avec les mêmes items, mais dans un ordre différent

Question 26

Inconvénients de la première solution

Answer 26

-Diminution de la fidélité des items auxquels peu
d’individus répondent parce que l’échantillon de sujets est alors trop petit ;
-Les individus qui répondent aux derniers items sont soit : …

Question 27

Les individus qui répondent aux derniers items sont soit

Answer 27

1-un sous-échantillon non représentatif et biaisé de
l’ensemble des sujets qui répondent au test puisque ces
individus sont les plus capables, puisqu’ils peuvent répondre à plus items et sans trop d’erreurs, d’où, sous-estimation de la difficulté réelle de l’item et de son pouvoir de discrimination ;
2-un mélange inégal d’un grand nombre d’individus très
capables qui répondent sans erreur parce qu’ils sont bons et d’un petit nombre d’individus peu capables qui répondent sans erreur parce qu’ils sont chanceux;
3-un petit nombre d’individus peu ou moyennement
capables, mais qui répondent au hasard pour aller plus vite et répondre à tous les items dans le temps prescrit, d’où, surestimation de la corrélation item-critère.