Cours 9 - Fidélité Flashcards
À quoi réfère la fidélité?
À la reproductibilité des scores obtenus par les mêmes personnes lorsqu’on leur administre un même test deux fois, ou qu’on leur administre des ensembles équivalents d’items, ou qu’ils sont soumis à des conditions d’administration variables.
La fidélité repose sur quel concept?
Le concept d’erreur de mesure, c’est-à-dire les fluctuations du score sous l’effet de facteurs non pertinents et dus au hasard.
- Facteurs non pertinents par rapport aux objectifs du test. Par exemple, l’anxiété dans un test d’anxiété est pertinente; tandis qu’elle ne l’est pas dans un test d’intelligence.
- Dus au hasard, car si ces facteurs sont prédictibles, ils peuvent être contrôlés.
Qu’est-ce que le score observé?
Score observé = Score vrai + Erreur de mesure
Étant donné qu’on ne connaît que les scores observés, c’est la corrélation provenant de deux séries indépendantes de scores observés qui sera interprétée comme le pourcentage de la variance des scores vrais, qui lui sera appelé coefficient de fidélité. Par conséquent (1-r) s’interprète comme le pourcentage de la variance d’erreur.
Qu’est-ce qu’un facteur non pertinent?
Par rapport aux objectifs du test.
Quels sont les différents types de fidélité et les différentes méthodes pour les évaluer?
- Stabilité,
- Équivalence,
- Cohérence interne;
- Homogénéité,
- Fidélité inter-correcteurs.
Qu’est-ce que la stabilité?
Fidélité dans le temps.
Fidélité par test-retest.
Qu’est-ce que la fidélité test-retest?
La fidélité par test-retest consiste simplement à administrer à nouveau le même test aux mêmes sujets après un certain intervalle de temps.
Qu’est-ce que le coefficient de fidélité pour la stabilité?
La corrélation entre les scores obtenus à chacune des deux (ou plus) passations.
La stabilité d’un test indique quoi?
À quel point on peut généraliser les résultats au test à diverses occasions.
Quelles sont les sources d’erreur pour la stabilité?
Les sources d’erreur sont les conditions de testage (par exemple, bruit, mauvais éclairage, etc.) et les caractéristiques des sujets (par exemple, anxiété, fatigue, etc).
Un postulat important sur la stabilité.
La caractéristique mesurée est stable (ne change pas) à l’intérieur de l’intervalle de temps considéré.
V ou F
Habituellement, la corrélation test-retest diminue à mesure que l’intervalle de temps augmente.
Par exemple, les tests d’intelligence sont relativement stables sur de courtes périodes (p. ex. moins d’un an), mais peu stables sur de plus longues périodes. En conséquence,on ne devrait pas dépasser six mois.
Vrai
Quelles sont les difficultés de la stabilité?
- L’apprentissage peut modifier de façon différentielle la performance au test (mémorisation, découverte de stratégies), ce qui est le cas avec la plupart des tests.
- Par conséquent, l’analyse de la fidélité par test-retest est rarement utilisée sauf lorsque le test est peu ou pas sensible à l’effet de la répétition, par exemple, avec les tests de discrimination sensorielle ou de motricité.
Qu’est-ce que l’équivalence?
Fidélité par version parallèle.
En quoi consiste l’équivalence?
Consiste à administrer deux versions du même test aux mêmes sujets, soit tout de suite après ou après un certain intervalle de temps.
Qu’est-ce que le coefficient de fidélité pour l’équivalence?
Le coefficient de fidélité est la corrélation entre les scores obtenus pour chacune des deux versions du test.
Quelles sont les sources d’erreur pour l’équivalence?
Les sources d’erreur sont celles que l’on retrouve dans la stabilité si l’intervalle de temps qui sépare l’administration des deux versions est non nul; ainsi que celles reliées à l’échantillonnage particulier des contenus d’items de chaque version. Dans ce dernier cas, l’équivalence d’un test indique donc à quel point les scores fournis sont indépendants du contenu spécifique des items qui composent letest.
Quelles sont les difficultés pour l’équivalence?
- Construction de deux tests vraiment équivalents.
- Si la caractéristique mesurée est sensible à l’effet de pratique, cette technique n’élimine pas entièrement l’effet d’apprentissage.
Qu’est-ce que la cohérence interne?
Aussi appelé fidélité par bissection.
La fidélité par bissection est une technique qui consiste à diviser un test (une seule version) en deux parties «équivalentes» afin de calculer un «sous-score» pour chacune de ces parties.
Qu’est-ce que le coefficient de fidélité pour la cohérence interne?
Le coefficient de fidélité est la corrélation (corrigée) entre les deux «sous-scores».
La formule de Spearman-Brown permet de corriger quoi?
Le coefficient de cohérence pour tenir compte du raccourcissement d’un test ou son facteur d’allongement
où rt est le coefficient calculé avec le test actuel
n est le facteur d’allongement (p. ex. n = 2 pour un test deux fois plus long)
Alternative à la formule de Spearman-Brown. (celle qu’on utilisera)
Exemple de la formule de Spearman-Brown.
Quelle est la formule générale du coefficient d’homogénéité (coefficient alpha)?
où:
n est le nombre d’items qui composent le test
ÉTT est l’écart type (et ÉTT2est la variance) des scores totaux au test
ÉTi est l’écart type (et ÉTi2est la variance) des scores obtenus au ie item
Σi est le symbole de sommation (addition) sur tous les item
Dans de nombreux cas, le score attribué à chaque item est dichotomique (i.e.succès/échec). Dans ces cas…
…la variance des scores à un item peut être remplacée par le produit pq, où:
p représente la proportion d’individus qui ont réussi l’item et q représente la proportion d’individus qui ont échoué l’item (q= 1-p)
Dans ce cas, la formule donnée précédente devient:
Ce coefficient de Kuder-Richardson est connu sous le nom de «coefficient KR-20»
Comment calculer l’erreur type de mesure?
Pour calculer l’erreur type de mesure associée à un certain coefficient de fidélité, on se rappelle d’abord que le coefficient de fidélité (r ) s’interprète toujours comme un pourcentage de «variance vraie».
Par conséquent, ce qui reste, i.e. (1-r ), s’interprète comme un pourcentage de «variance d’erreur», donc
(formule)
où ÉT est l’écart type de la distribution des scores au test (calculé auprès du même échantillon que le coefficient de fidélité r)
Exemple de calcul de l’erreur type de mesure.
On constate que plus on est confiant…
…moins on est précis, i.e. plus l’intervalle de confiance est grand; et vice-versa.
Il s’agit donc de faire un compromis entre la confiance et la précision et habituellement en recherche on choisi 95% de confiance, i.e. une erreur alpha de 0,05.
À quoi servent les bandes de scores (probables)?
Pour tenir compte de cette erreur type de mesure, on peut rapporter les scores à comparer sous la forme de bandes de scores (probables): Le centre de chaque bande correspond au score observé; La longueur de chaque bande correspond à l’intervalle où, pour un certain niveau de confiance donné, risque de se trouver le «vrai score».
