Cours 6 - Construction et analyse des items d'un test

Question 1

Il existe deux types d’analyse des items d’un test qui font partie de la validité de contenu. Quels sont-ils?

Answer 1

1. Analyse qualitative
2. Analyse quantitative

Question 2

L’analyse d’items poursuit deux grands objectifs parallèles. Quels sont-ils?

Answer 2

1. Augmenter la fidélité du test
2. Augmenter la validité du test

Question 3

À quoi aident les méthodes d’analyse qualitative et quantitative?

Answer 3

• Sélectionner les meilleurs items
• Substituer les items qui donnent peu ou pas d’information
• Réviser les items qui posent problème

Question 4

Quelles sont les raisons de contrôler la difficulté des items?

Answer 4

• Items de difficulté croissante dans un test : Confiance du sujet examiné ; Moins de perte de temps
• Choix du niveau adéquat de difficulté pour augmenter la sensibilité du test : Aucune information apportée par les items trop faciles ou trop difficiles dans les tests autres que les tests de maîtrise

Question 5

Quels sont les deux façons de définir et de mesurer la difficulté d’un item?

Answer 5

1. Façon empirique traditionnelle, selon la théorie classique des tests (TCT) à partir des scores bruts : Pourcentage de personnes qui réussissent l’item
2. Façon théorique, selon la théorie de la réponse à l’item (TRI) à partir de la courbe caractéristique de l’item (CCI). Le modèle le plus utilisé en TRI est celui de Rasch.

Question 6

Qu’est-ce que la CCI représente?

Answer 6

Courbe Caractéristique de l’Item (CCI)

La CCI représente le rapport entre d’une part, le trait ou habileté que veut mesurer l’échelle (Thêta) et d’autre part la performance à l’item.

Question 7

Qu’est-ce que le score Thêta?

Answer 7

Le score Thêta est situé sur l’axe des X et peut varier de -4 (item facile) à +4 (item difficile) en passant par 0 (item de difficulté moyenne). On ajoute habituellement +5 au Thêta pour n’avoir que des scores positifs variant de 1 à 9. La performance à un certain item (probabilité de bonne réponse) est située sur l’axe des Y. On compare la difficulté des différents items (thêta) requis pour atteindre 50% de probabilité de bonne réponse.

Question 8

Quand est-ce qu’on obtient un maximum d’info dans une grille dichotomique fr pourcentage de réussite (TCT)?

Answer 8

Lorsque le pourcentage de réussite (p) est de 50%.

Question 9

Quels groupes peut on différencier si tous les items ont un même pourcentage de réussite?

Answer 9

Ceux qui ont un score nul (i.e. échec à tous les items) et ceux qui ont un score parfait (i.e. succès à tous les items).

Question 10

Comment faire pour contrer le fait d’avoir un même pourcentage de réussite (TCT) pour tout le monde?

Answer 10

Maximiser simultanément l’homogénéité du test et les différences individuelles sur les scores totaux, pour ce faire, on fait varier les pourcentages de réussite des items autour de la valeur optimale de 50% (généralement, environ de 30% à 70%).

Question 11

Le tableau suivant indique une variation de 20% à 80% de réussite (en excluant l’item 1 qui est trop facile) pour un test composé de 5 items.

Answer 11

Question 12

Quels sont les meilleurs items pour les différenciations entre les sujets?

Answer 12

Ceux pour lesquels toute l’échelle est utilisée ou en termes plus techniques, ce seront ceux dont la distribution des scores (intra-items) possède une variance élevée.

Question 13

Sur quoi dépend le choix de distribution des scores à un test?

Answer 13

De ce que l’ont sait de la distribution du construit, des objectifs du test.

Question 14

Qu’est-ce que l’effet plancher?

Answer 14

Lorsqu’un test a pour objectif de déterminer les meilleurs candidats (par exemple pour une bourse d’excellence), il est inutile d’obtenir des différences entre les plus faibles. Dans ce cas, le test peut être formé uniquement d’items difficiles (effet plancher).

Question 15

Qu’est-ce que l’effet plafond?

Answer 15

Lorsqu’un test a pour objectif de déterminer les candidats en difficulté, il est inutile d’obtenir des différences entre les candidats qui fonctionnent bien (effet plafond) (par exemple: test de dépistage des difficultés graves d’apprentissage).

Question 16

Qu’est-ce que le pouvoir discriminant des items?

Answer 16

Le pouvoir discriminant d’un item est sa capacité à donner des scores différents à des individus différant réellement sur le trait mesuré par l’item. En d’autres termes, c’est le degré de précision avec lequel cet item en particulier, considéré de façon isolée, mesure bien ce que le test prétend mesurer.

Si l’item fournit bien la mesure supposée, alors il discrimine bien les individus sur la caractéristique que l’on veut mesurer.

Question 17

Quelles sont les deux façons de mesurer le pouvoir discriminant d’un item?

Answer 17

1. Façon traditionnelle, selon la théorie classique des tests (TCT)
2. Façon théorique, selon la théorie de la réponse à l’item (TRI) à partir de la pente de la courbe caractéristique de l’item (CCI). Plus la pente est forte, plus l’item est discriminant.

Question 18

Selon la TCT, la méthode générale pour analyser le pouvoir discriminant d’un item consisterait à mettre quoi?

Answer 18

Mettre en relation les résultats obtenus à cet item avec une quelconque autre observation de la caractéristique que l’on tente de mesurer. Plus cette relation est forte, meilleur est le pouvoir discriminant de l’item. Si cette relation est nulle, l’item est inutile.

Question 19

Qu’arrive-t-il lorsqu’il existe un critère?

Answer 19

Il n’y a pas vraiment d’ambiguïté et on peut utiliser ce critère. En choisissant de cette façon les items les plus discriminants, on peut améliorer la validité critériée du test (parfois, aux dépens de son homogénéité).

Question 20

Qu’arrive-t-il lorsqu’il n’y a pas de critère externe?

Answer 20

On assumera souvent que la meilleure mesure disponible de la caractéristique est le score total au test. Dans ce cas, on jugera qu’un item est discriminant dans la mesure où il est en corrélation positive avec le score total. En choisissant de cette façon les items les plus discriminants, on améliore avant tout l’homogénéité du test.

Question 21

Qu’est-ce qu’un indice de discrimination?

Answer 21

Un indice de discrimination est une valeur qui quantifie le pouvoir discriminant d’un item.

Une méthode désormais très utilisée consiste à calculer la corrélation entre le résultat à l’item et l’autre mesure.

Question 22

Qu’est-ce que la méthode des groupes extrêmes?

Answer 22

Consiste à former deux groupes contrastés en regard du critère (ou du score total), puis de comparer la performance de ces deux groupes pour chaque item du test.

Pour un item donné, plus les performances respectives des deux groupes sont différentes, plus l’item est discriminant.

Plus les groupes sont extrêmes, meilleure est la discrimination, mais ces groupes sont plus petits et les indices obtenus sont plus variables.

Question 23

Quels sont les dangers de l’analyse des items des tests de vitesse?

Answer 23

• Si on analyse l’item pour tous les individus de l’échantillon, qu’ils répondent ou non à l’item, la mesure obtenue est fonction de la position de l’item dans le test, car moins d’individus répondent aux derniers items du test à cause de la limite de temps qui empêche de répondre à tous les items
• Difficulté de l’item: Les derniers items paraissent plus difficiles, car moins de gens y répondent sans erreur
• Pouvoir discriminant de l’item : Le pouvoir discriminant est exagéré puisque surtout les individus les plus brillants se rendent jusqu’à la fin du test sans faire d’erreur

Question 24

Quelles sont les solutions possibles pour éviter les dangers de l’analyse des items des tests de vitesse?

Answer 24

• Analyser l’item seulement à partir des individus qui y répondent.
• Allonger le temps de passation du test : Adéquat si la vitesse n’est pas reliée à l’habileté mesurée
• Créer des versions différentes avec les mêmes items, mais dans un ordre différent

Question 25

Quel est l’inconvénient d’analyser l’item seulement à partir des individues qui y répondent?

Answer 25

Diminution de la fidélité des items auxquels peu d’individus répondent parce que l’échantillon de sujets est alors trop petit

Question 26

Les individus qui répondent aux derniers items sont…

Answer 26

Soit :

1. un sous-échantillon non représentatif et biaisé de l’ensemble des sujets qui répondent au test puisque ces individus sont les plus capables, puisqu’ils peuvent répondre à plus items et sans trop d’erreurs, d’où, sous-estimation de la difficulté réelle de l’item et de son pouvoir de discrimination
2. un mélange inégal d’un grand nombre d’individus très capables qui répondent sans erreur parce qu’ils sont bons et d’un petit nombre d’individus peu capables qui répondent sans erreur parce qu’ils sont chanceux
3. un petit nombre d’individus peu ou moyennement capables, mais qui répondent au hasard pour aller plus vite et répondre à tous les items dans le temps prescrit, d’où, surestimation de la corrélation item-critère.