Module 4

Question 1

À quoi servent les qualités métrologiques d’un outil (fidélité, validité, sensibilité aux changements, faisabilité et interprétabilité)?

Answer 1

1. Déterminer si l’outil est développé en conformité avec le concept qu’il mesure.
2. Déterminer si les scores ou les observations produit(e)s sont exempts d’erreurs.
3. Déterminer si l’outil peut discriminer différents degrés d’intensité du concept mesuré.

Question 2

Est-ce que la fidélité dépend du contexte d’utilisation?

Answer 2

Oui! Elle dépend d’une certaine population et de certaines conditions.

Note : lors de l’évaluation de la fidélité, il faut éviter que le groupe soit trop homogène (moins de variabilité = sous-estimation de la fidélité) ou trop hétérogène (trop de variabilité = surestimation de la fidélité).

Question 3

Est-ce que la validité dépend du contexte d’utilisation?

Answer 3

Oui! Elle dépend d’une population et d’un contexte précis.

Question 4

À quoi correspond “la capacité à donner des mesures exemptes d’erreurs”?

Answer 4

La fidélité

Question 5

Quels types de fidélité font partie de la stabilité de l’outil?

Answer 5

Les fidélités relative, absolue, test re-test, intra-évaluateur et inter-évaluateur.

Question 6

Cette fidélité se retrouve à l’intérieur d’un groupe.

Answer 6

Fidélité relative

Question 7

Cette fidélité se retrouve chez un même participant.

Answer 7

Fidélité absolue

Question 8

Type de fidélité qui a une stabilité dans le temps, mais qui n’est pas influencé par une source externe. Par exemple, un questionnaire standardisé ou la calibration d’un outil.

Answer 8

Test re-test

Question 9

Type de fidélité qui a une stabilité dans le temps, mais lorsque la mesure est faite par un même évaluateur. Par exemple, pour une grille d’observation de la marche.

Answer 9

Intra-évaluateur

Question 10

Type de fidélité qui a une stabilité pour les mesures faites par plusieurs évaluateurs.

Answer 10

Inter-évaluateur

Question 11

Quelles sont les statistiques utilisées pour la fidélité relative?

Answer 11

Le coefficient intraclasse (ICC) et le coefficient Kappa de Coher

Question 12

Quelles sont les statistiques utilisées pour la fidélité absolue?

Answer 12

L’erreur standard de mesure (SEM) et la différence minimale détectable (MDD)

Question 13

Ce coefficient tient compte des différences entre évaluateurs, est basé sur une analyse à variances répétées et est utilisé pour les variables proportionnelles ou par intervalle.

Answer 13

Coefficient ICC

Question 14

Ce coefficient prend en compte la probabilité observée et la probabilité par chance. Il est utilisé pour les variables nominales ou ordinales.

Answer 14

Coefficient Kappa de Coher

Question 15

Ce coefficient peut être utilisé pour un résultat ordinal ou un résultat qualitatif dichotomique.

Answer 15

Coefficient Kappa de Coher

Question 16

Si les coefficients utilisés pour la fidélité relative tendent vers le 0, qu’est-ce que ça signifie?

Answer 16

Ça signifie qu’il y a une grande variabilité entre les mesures, donc qu’il y a des sources d’erreurs.

Question 17

Quels coefficients ont des valeurs comprises entre 0 et 1?

Answer 17

Coefficients ICC et Kappa de Coher

Question 18

Que signifie un coefficient ICC ou un coefficient Kappa de Coher dont la valeur tend vers 1?

Answer 18

La fiabilité de l’outil de mesure est élevée.

Question 19

Cette statistique correspond à “l’écart-type de l’erreur de mesure” et est calculée à partir de la variance intra-sujet.

Answer 19

Erreur standard de mesure (SEM)

Question 20

Cette statistique correspond à “l’estimé du plus petit changement détectable chez l’usager”. Aussi, sa valeur est plus grande que celle de l’erreur de mesure.

Answer 20

Différence minimale détectable (MDD)

Question 21

Quelle est la différence entre la différence minimale détectable (MDD) et le changement minimal cliniquement important (MCID)?

Answer 21

La différence minimale détectable (MDD) est la plus petite différence de mesure détectable qui permet d’affirmer que l’écart n’est pas attribuable à une erreur de mesure.

Le changement minimal cliniquement important (MCID) est un changement dans la mesure qui est nécessaire pour démontrer qu’il y a un changement significatif ou une amélioration du point de vue de l’usager.

Question 22

Quels sont les sources de variabilités possibles lorsqu’on évalue la fidélité d’un outil de mesure?

Answer 22

L’outil, l’évaluateur, les différences entre les évaluateurs et le participant.

Question 23

À quoi correspond “l’homogénéité de l’outil de mesure”, soit “le degré de relation entre ses items”?

Answer 23

La cohérence interne

Question 24

Que représente une trop grande cohérence interne en pratique?

Answer 24

Ça représente une redondance des items. Aussi, ça indique que les items mesurent le même concept.
**S’il y a une trop grande cohérence interne, on peut éliminer certains items.

Question 25

Quelle statistique, qui est un indicateur de la cohérence interne et dont les valeurs se situent entre 0 et 1, correspond à la “corrélation moyenne entre les items d’un même outil”?

Answer 25

Alpha de Cronbach

Question 26

Une bonne cohérence interne indiquée avec la statistique Alpha de Cronbach se situe dans quel intervalle de valeurs?

Answer 26

Entre 0,70 et 0,85.

Question 27

À quoi correspond “la capacité d’un outil à mesurer ce qu’il prétend mesurer”?

Answer 27

La validité

Question 28

Quelle qualité métrologique permet de limiter la présence des erreurs systémiques?

Answer 28

La validité

Question 29

Quels sont les trois types de validité?

Answer 29

De contenu, de critère et de construit

Question 30

Quels sont les deux types de validité de critère?

Answer 30

1. Concomitante : validité qui se vérifie en comparant les résultats de l’outil évalué avec ceux d’un gold standard.
2. Prédictive : validité qui permet de prédire, avec le test évalué, les résultats d’un autre test, test dont le construit est à la fois différent et associé au test évalué.

Question 31

Quels sont les trois types de validité de construit qui sont mesurés avec des tests d’hypothèses?

Answer 31

1. Convergente : forte corrélation entre les résultats de concepts apparentés/similaires.
2. Divergente : faible corrélation entre les résultats de concepts différents.
3. Discriminante : distinguer/discriminer les résultats obtenus par deux groupes ayant des caractéristiques différentes.

Question 32

Qu’est-ce que la validité de structure?

Answer 32

C’est un sous-aspect de la validité de construit. Elle consiste à faire une analyse factorielle, donc à évaluer les relations entre les variables en faisant des analyses statistiques pour identifier les facteurs décrits par l’outil.

Question 33

Quelle est la première étape d’un chercheur qui construit un nouvel outil?

Answer 33

Vérifier la validité de contenu.

Question 34

Qu’est-ce que la validité de contenu?

Answer 34

Ce type de validité s’assure que “toutes les dimensions du concept sont représentées par le contenu de la mesure” en étant évaluée par groupe d’experts qui fait des recommandations. Par exemple, elle est utilisée pour les questionnaires auto-administrés et les grilles d’observation.

Question 35

Qu’est-ce que la validité de critère?

Answer 35

Ce type de validité compare le nouvel outil à un outil standardisé pour voir à quel point leurs mesures sont reliées.

Question 36

Quel type de validité est importante pour les outils de dépistage?

Answer 36

La validité prédictive (fait partie de la validité de critère)

Question 37

Ce type de validité est utilisé s’il n’y a pas de gold standard existant, par exemple quand les construits sont plus abstraits. Cette validité consiste à faire une argumentation.

Answer 37

Validité de construit

Question 38

De quoi dépend la sensibilité aux changements?

Answer 38

Elle dépend de la fidélité et de la validité.

Question 39

Cette qualité métrologique permet de détecter des changements de mesure ou de score significatifs dans le temps, même si la mesure ou le score est petit.

Answer 39

Sensibilité aux changements

Question 40

Cette analyse statistique permet de mesurer la sensibilité aux changements en prenant en compte l’écart-type des résultats obtenus avant l’intervention. Si sa valeur est de 0,2 ça signifie que l’effet est petit, tandis que si sa valeur est de 0,8 ça signifie que l’effet est grand. Un effet moyen a une valeur de 0,5.

Answer 40

Taille de l’effet (ES)

Question 41

Cette analyse statistique permet de mesurer la sensibilité aux changements en prenant en compte l’écart-type des différences des résultats obtenus avant et après l’intervention.

Answer 41

Réponse moyenne standardisée (SRM)

Question 42

Cette analyse statistique permet de mesurer la sensibilité aux changements. Elle correspond à un changement dans la mesure qui est nécessaire pour démontrer qu’il y a un changement significatif ou une amélioration du point de vue de l’usager. Pour déterminer quelle valeur de changement de mesure permet une amélioration de la condition, il faut utiliser, par exemple, l’échelle globale de changement, donc il faut associer le qualificatif “d’amélioration” à un score particulier. Cette analyse statistique est très utile pour déterminer les objectifs de traitement.

Answer 42

Changement minimal cliniquement important (MCID)

Question 43

Vrai ou faux?

Un outil doit obligatoirement être valide afin d’être fidèle.

Answer 43

Faux. Au contraire, “un outil doit obligatoirement être fidèle afin d’être valide “(Module 4 p. 36).

Question 44

Avec quoi est calculé le changement minimal cliniquement important (MCID)?

Answer 44

1. Avec un calcul comprenant des scores présents sur l’échelle globale de changement.
2. Avec une courbe ROC. Sur cette courbe, le point le plus près du coin supérieur gauche correspond au MCID.

Question 45

Qu’est-ce que la faisabilité?

Answer 45

Cette qualité métrologique consiste à déterminer si l’utilisation de l’outil est envisageable en pratique en prenant en compte son coût, son temps d’utilisation, la formation nécessaire pour que les évaluateurs apprennent à l’utiliser et sa difficulté d’utilisation. On l’utilise pour les mesures directes, les entrevues et l’auto-administration.

Question 46

Qu’est-ce que l’interprétabilité?

Answer 46

Cette qualité métrologique consiste à associer une signification qualitative à un changement de scores. Elle permet de comparer la personne évaluée aux autres personnes de sa population.

Question 47

Il est important de faire ces deux étapes pour s’assurer que l’outil de mesure est le même peu importe la langue et les modifications culturelles faites.
Très important : une fois ces deux étapes faites, il faut évaluer à nouveau les qualités métrologiques parce que l’outil est considéré comme étant nouveau!

Answer 47

Traduction et adaptation culturelle

Question 48

Vrai ou faux?

Lorsqu’on évalue la fidélité d’un outil, le temps entre les deux évaluations du ou des participant(s) peut être long.

Answer 48

Faux, il faut que le temps soit court (quelques heures à maximum deux semaines) pour éviter que la condition du ou des participant(s) ne change, ce qui pourrait biaiser les résultats.