module 4 Flashcards
(38 cards)
Qualités métrologiques des outils de mesure
- Fidélité
- Validité
- Sensibilité aux changements
- Faisabilité
- Interprétabilité
la fidélité
- À quel point la mesure est exempte d’erreur aléatoire de mesure, sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions.
- Bien que la fidélité soit un concept complexe ayant plusieurs dimensions, on fait habituellement état de deux dimensions, soit la cohérence interne et la stabilité de l’outil.
Fidélité : Stabilité de l’outil (fidélité relative vs absolue)
Fidélité relative :
- Si un outil est fidèle, les valeurs obtenues à l’intérieur d’un
groupe devraient conserver le même ordre lors de mesures répétées. Réfère à l’association entre deux séries de mesures répétées ou plus. Nous indique jusqu’à quel point les valeurs obtenues lors de mesures répétées chez un même groupe conservent leur ordre initial.
Fidélité absolue :
- Réfère à la variabilité de la mesure lors de plusieurs mesures
répétées prises chez un même participant. Réfère à la variabilité des pointages obtenus lors de plusieurs mesures répétées chez un même participant.
Étude méthodologique sur la fidélité (stabilité) d’un outil de mesure
- Deux évaluations par 1 ou 2 évaluateurs
- Délai court entre les deux passations pour éviter les changements dans la situation des participants
- Recrutement de la clientèle-cible (30-50 participants)
Types de fidélité : Fidélité test-retest (ou stabilité dans le temps)
- Jusqu’à quel point le résultat obtenu à l’aide d’un outil de mesure demeure stable dans le temps, c.-à-d. lors d’évaluations répétées, dans les mêmes conditions, à différents temps.
- Pas d’influence externe d’un intervenant ou administrateur de l’outil de mesure
- S’applique surtout pour les questionnaires standardisés ou lors de la calibration d’un instrument de mesure
Types de fidélité : Fidélité intra-évaluateur
Jusqu’à quel point le résultat obtenu à l’aide d’un outil de mesure demeure stable dans le temps, c.-à-d. lors d’évaluations répétées par le même évaluateur. Contrairement à l’évaluation test-retest, on reconnait l’impact que peut avoir l’évaluateur sur la stabilité des résultats lors de l’évaluation intra-évaluateur.
Types de fidélité : Fidélité inter-évaluateur
Jusqu’à quel point le résultat obtenu par un évaluateur est comparable à celui obtenu par un ou plusieurs autres évaluateurs chez les mêmes participants à l’étude
statistiques pour la fidélité relative
De façon générale, ce sont des coefficients de corrélation qui permettent l’interprétation des résultats de fidélité :
- Coefficients de corrélation intraclasse (Intraclass correlation coefficient ou ICC) pour les variables proportionnelles ou par intervalle
- Coefficients de Kappa pour des variables nominales ou ordinales
NB : Plus la valeur du coefficient s’approchera de 1, plus la fidélité de la mesure sera élevée et, inversement, plus elle tendra vers « zéro », plus il y aura de variabilité et, par conséquent, de sources potentielles d’erreurs dans la mesure.
Coefficient de corrélation intraclasse (ICC)
- il mesure l’accord véritable entre deux résultats.
- Préférable au coefficient de Pearson puisqu’il tient compte des différences entre les évaluateurs
- Basé sur une analyse de la variance à mesures répétées
coefficient intraclasse au lieu de pearson
L’utilisation d’une mesure d’association telle que le coefficient de corrélation de Pearson (r = 0,97) montre que les deux séries de données sont fortement corrélées. Cependant, voulant plutôt évaluer le niveau d’accord et non pas le niveau d’association, le calcul d’un coefficient de corrélation intraclasse est plus approprié et donne une valeur de 0,85 qui tient compte de l’erreur systématique dans le niveau d’accord entre les deux thérapeutes. VOIR exemple page 12
Le coefficient Kappa de Cohen
utilisé dans le cas d’un test générant un résultat qualitatif dichotomique (ex: signe positif ou signe négatif) ou ordinal (ex: 1, 2, 3, 4). Essentiellement, le coefficient peut s’interpréter comme la proportion d’accord entre les deux évaluateurs soit, la proportion d’éléments classés de façon identique par ceux-ci, ajusté pour la proportion d’accord liée au hasard. La valeur statistique du coefficient varie entre 0 et 1.
Interprétation des coefficients
regarder tableau page 15
- Il est par contre important d’utiliser ce barème d’interprétation des coefficients de fidélité avec prudence puisque les valeurs ont été déterminées de façon arbitraire.
Statistiques pour la fidélité absolue
- Différence minimale détectable (minimal detectable difference ou MDD)
-> Représente un estimé du plus petit changement qui peut être détecté chez le patient. La MDD est basée sur la SEM
Sources de variabilité influençant la fidélité
La différence obtenue entre des mesures répétées d’une même caractéristique (source de variabilité) peut être attribuée à quatre composantes :
- L’outil de mesure
- L’évaluateur
- Des variations entre les évaluateurs
- Le participant à l’étude
Sources de variabilité : goniomètre
Outil de mesure :
- Axes trop ou pas assez mobiles, différences entre les
instruments
Évaluateurs :
- Variation dans la position du sujet, dans l’identification des points de référence, dans l’intensité de pression en fin de mouvement
- Mauvaise stabilisation
- Erreur de lecture
Différences entre évaluateurs :
- Variation dans la position du sujet, l’identification des points
de référence, l’intensité de pression en fin de mouvement
- Mauvaise stabilisation
- Habilité à obtenir la confiance du sujet
- Erreur de lecture et utilisation des décimales
Usager :
- Niveau de douleur variable
- Tolérance différente à la pression en fin de mouvement
- Changement d’humeur
- Activités effectuées avant la mesure
- Variations biologiques
Cohérence interne d’un outil
- Le degré de relation entre les items d’un même outil de mesure
- Homogénéité de l’outil de mesure
- Synonyme : Consistance interne
- Terme anglais : Internal Consistency
- Statistiques utilisées : Alpha de Cronbach
coefficient alpha de Cronbach
c’est la corrélation moyenne entre les items d’un même outil. L’homogénéité d’un outil de mesure est évaluée statistiquement à l’aide du coefficient alpha de Cronbach.
VOIR diagramme page 24
Interprétation du Coefficient Alpha de Cronbach
Le coefficient Alpha de Cronbach s’interprète comme tout coefficient de corrélation dont la valeur est positive, c’est-à-dire que la valeur alpha varie de 0 à 1. La cohérence interne est d’autant plus forte que le coefficient alpha est près de 1. En pratique, la cohérence interne doit être assez grande, mais le coefficient ne doit pas est trop près de 1, puisque cela signifierait que plusieurs items sont redondants.
La validité
- La validité désigne la capacité d’un outil à mesurer ce qu’il prétend mesurer
- Absence d’erreur systématique dans la mesure
- Elle est relative à un contexte, une population
- Trois types principaux :
-> De contenu
-> De critère (concomitante et prédictive)
-> De construit
validité du contenu
- Degré avec lequel le contenu d’une mesure représente toutes les dimensions du concept d’intérêt
- Surtout évaluée pour qualifier les propriétés d’un questionnaire auto-administré ou d’une grille d’observation
- L’étude de validité de contenu se réalise souvent en soumettant l’outil à un groupe d’experts et en recueillant leurs impressions et commentaires
validité de critère
- Étendue avec laquelle une mesure est reliée à une autre mesure de référence ou étalon (gold standard)
- Le critère est habituellement un outil déjà établi, standardisé, utilisé et parmi les meilleurs de son domaine.
- Les nouveaux outils de mesure lui sont comparés pour déterminer la validité relative au critère
Validité concomitante
- Association entre les résultats mesurés à l’aide d’un nouvel outil et ceux obtenus avec une mesure étalon (gold standard)
- Exemple : Mesure de force avec un dynamomètre manuel et un dynamomètre isocinétique
Validité prédictive
- Étendue avec laquelle un test effectué à un temps donné peut prédire les résultats futurs d’un autre test, permet de déterminer si un outil de mesure peut prédire des résultats obtenus par un outil qui mesure un autre concept, mais dont le construit est supposé être associé au concept initial.
- Exemple : L’amplitude articulaire actuelle prédit la capacité locomotrice dans 6 mois (vitesse de marche)
NB : particulièrement importante pour les outils de dépistage.
Validité de construit
- L’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude et jusqu’à quel point le construit à l’étude est bien défini
- Exemple de construits : la force, la douleur, la fonction respiratoire, la capacité motrice, la capacité ambulatoire, l’autonomie fonctionnelle, la qualité de vie, etc.
