Module4

Question 1

Qu’est-ce qu’une qualité métrologique?

Answer 1

Caractéristiques qui permettent de déterminer si:
- Un outil a été développé en conformité avec le concept qu’il est supposé mesurer.
- Si les scores ou observations qu’il produit sont relativement exempts d’erreurs de mesure
- S’il peut discriminer différents degrés d’intensité du concept qu’il mesure

Question 2

Comment mesure-t-on les qualités métrologiques?

Answer 2

En vérifiant 3 objectifs:
- Validité
- Fidélité
- Sensibilité aux changements

• Interprétabilité
• Faisabilité

Question 3

Qu’est-ce que la fidélité?

Answer 3

Capacité à donner des mesures exemptes d’erreurs et donc à sa constance à donner des résultats identiques lorsqu’il est appliqué dans le même contexte à plusieurs occasions

• Cohérence interne
• Stabilité de l’outil

Question 4

Quels sont les 2 types de fidélité?

Answer 4

• Fidélité relative
• Fidélité absolue

Question 5

Qu’est-ce que la fidélité relative?

Answer 5

Nous indique jusqu’à quel pt les valeurs obtenues lors de mesures répétées chez un même groupe conservent leur ordre initial.

Question 6

Qu’est-ce que la fidélité absolue?

Answer 6

Réfère à la variabilité des pointages obtenus lors de plusieurs mesures répétées chez un même patient

Question 7

Comment effectue-t-on une étude métrologique de fidélité?

Answer 7

• Participants évalués à min. 2 reprises, soit par 1 évaluateur ou plusieurs dépendnat du type de fidélité étudié
• Temps entre passation est relativement court pour éviter les changements dans situation des participants
• Recrutement de 30-50 participants et recruter un échantillon qui représente la population avec qui l’outil de mesure sera utilisé

Question 8

Dans le cadre d’une étude méthodologique de fidélité, que se passe-il s’il y a une évaluation de l’outil avec un groupe homogène et avec un groupe trop hétérogène?

Answer 8

groupe trop homogène: Induit une sous-estimation de la fidélité de l’outil

Group trop hétérogène: Risque de causer une surestimation de la fidélité de l’outil

Question 9

Qu’est-ce que la fidélité de type Test-retest?

Answer 9

Consiste à répéter une mesure chez les mêmes participants avec le même outil et dans les mêmes conditions pour en mesurer la stabilité dans le temps.

S’applique lors de l’administration d’un outil de mesure au cours duquel il n’y a pas d’influence possible de l’évaluateur (ex: remplir un questionnaire seul, l’utilisation de mesures répétées d’une valeur connue)

Question 10

Qu’est-ce que la fidélité intra-évaluateur?

Answer 10

Indique la stabilité d’une mesure réalisée par le même évaluateur ou sa capacité à répéter plusieurs fois une mesure et à obtenir les mêmes résultats

Implique, pour 1 patient, 2 passations ou plus qui seront effectuées par le même évaluateur.

On reconnait l’impact que peut avoir l’évaluateur sur la stabilité des résultats

Question 11

Qu’est-ce que la fidélité inter-évaluateur?

Answer 11

Indique la stabilité d’une mesure réalisée par plusieurs évaluateurs chez les mêmes participants à l’étude, et cela de façon indépendante

Peut se réaliser en une seule session lors de laquelle 2 évaluateurs ou plus effectuent leur prise de mesure. Dans certains cas, des séances subséquentes à intervalles de quelques jours seront nécessaires pour éviter des biais de rappel ou pour éviter une fatigue qui pourrait influencer les résultats

Question 12

Qu’est-ce qui permet, de façon générale, d’interpréter des résultats de fidélité?

Answer 12

• Coefficient de corrélation intraclasse
• Coefficient de Kappa

Question 13

Le coefficient de corrélation intraclasse permet d’interpréter des variables mesurées avec type d’échelle?

Answer 13

Évalue variables mesurées avec échelles proportionnelle ou par intervalle

Question 14

Le coefficient de Kappa permet d’interpréter des variables mesurées avec type d’échelle?

Answer 14

Pour des variables à échelles nominales ou ordinales

Question 15

Qu’est-ce que le coefficient de corrélation intraclasse?

Answer 15

Mesure l’accord véritable entre 2 résultats.

Se calcule à partir des composantes d’une analyse de la variance à mesures répétées

Prend en compte les erreurs systématiques

Question 16

Qu’est-ce que le coefficient Kappa de Cohen?

Answer 16

Utilisé dans le cas d’un test générant un résultat qualitatif dichotomique ou ordinal

Coefficient peut s’interpréter comme la proportion d’accord entre les 2 évaluateurs, soit la proportion d’éléments classés de façon identique par ceux-ci, ajusté pour la proportion d’accord liée au hasard

Varie entre 0-1

Implique le calcul de la proportion d’accord observée (Po) et de la probabilité d’accord liée à la chance (Pc)

Question 17

Comment interpréter les coefficients de KAPPA et de corrélation intraclasse?

Answer 17

Il existe des catégories associant le coefficient à un indice de la qualité de la qualité de l’accord entre 2 passations d’un outil de mesure. Les valeurs ont cependant été déterminées de façon arbitraire.

Coefficient de kappa presque parfait: > ou = 0,81
Coefficient de Kappa minime: < 0,20

CCI:
excellent: > ou = 0,75
Faible: < ou = 0,40

Question 18

À quoi sert l’erreur standard de mesure (SEM) au niveau de la fidélité?

Answer 18

Utilisé pour quantifier la fidélité absolue d’une mesure dans la même unité que les mesures originales

Erreur standard de mesure représente l’écart-type de l’erreur de mesure. Calculé à partir de la variance intra-sujet obtenue à l’aide d’un ANOVA

Question 19

Qu’est-ce que la différence ou l’erreur minimale détectable?

Answer 19

représente un estimé du plus petit changement qui peut être détecté chez l’usager, un changement qui est donc sup. à l’erreur de mesure.

Calculé à partir de l’erreur standard de mesure. Calculé en multipliant le score-z correspondant au niveau de signification voulu, généralement 95% par l’erreur de mesure et par la racine-carrée de 2.

Question 20

D’où peut provenir la variabilité d’une mesure?

Answer 20

• Outil de mesure lui-même
• Caractéristiques de l’évaluateur
• Caractéristiques entre des évaluateurs différents
• Caractéristiques des usagers eux-mêmes

Question 21

Que permet la reconnaissance des différentes sources de variabilité?

Answer 21

Permet d’ajuster le processus de mesure, afin de les controler.
Cette procedure par laquelle nous controlons le max de sources de variabilités représente la standardisation de l’évaluation

Question 22

Comment minimiser les sources de variabilité avec un goniomètre?

Answer 22

Évaluateur devrait toujours utiliser le même goniomètre lors de différentes évaluations

Procédure pourrait être développée pour s’assurer que la mobilité des axes est tjrs optimale.

Opter pour une procédure standardisée, afin de controler la position du sujet, l’identification des pts de référence et l’intensité de pression appliquée à la fin du mouvement.

Utiliser l’outil de mesure dans des conditions similaires chaque fois pour minimiser les sources de variabilité liées à l’usager. ex: tjrs prendre la mesure au même moment

Question 23

Qu’est-ce qu’un outil de mesure ayant une bonne cohérence interne?

Answer 23

Lorsque ses items représentent un ensemble cohérent ou un même concept.
Plus les réponses aux items sont correlées entre elles et au résultat total de l’outil, plus la cohérence de cet outil est éleve.

Si les réponses de plusieurs items vont dans le sens contraire du résultat total, on peut douter de la cohérence de cette échelle

Plus l’outil de mesure est fidèle au sens de la cohérence interne des items, plus on peut croire que les items mesurent un seul et même construit

Plus la cohérence interne est élevée, plus les items mesurent le résultat réel de l’individu, diminuant ainsi l’erreur de mesure qui fait varier le résultat total d’une mesure à l’autre dans le temps

Question 24

Pourquoi une trop grande cohérence interne des items n’est pas souhaitable?

Answer 24

Car indique que des items sont redondants et mesurent le même concept.

Question 25

Qu’est-ce que le coefficient alpha de Cronbach?

Answer 25

Évalue statistiquement l’homogénéité d’un outil de mesure

La cohérence interne est d’autant plus forte que le coefficient alpha est près de 1. En pratique, la cohérence interne doit être assez grande, mais pas trop près de 1, puisque cela signifierait que plusieurs items sont redondants.

Question 26

Quels sont les 3 types de validité?

Answer 26

• Validité de contenu
• Validité de critère
• Validité de construit

Question 27

Qu’est-ce que la validité de contenu?

Answer 27

Se définit comme le degré avec lequel le contenu d’une mesure représente les dimensions du concept d’intérêt.
Généralement la 1ère étape que réalise le chercheur qui a dev. un outil de mesure.

Consiste à soumettre l’outil à un groupe d’experts qui connaissent le domaine d’intérêt et porteront un jugement sur la qualité de l’outil à partir de certains critères.

La validité du contenu décrit comment l’outil de mesure reflète l’information à propos d’un concept particulier

Question 28

Qu’est-ce que la validité de critère?

Answer 28

Désigne l’étendue avec laquelle une mesure est reliée à une autre mesure de référence ou une mesure étalon.

Consiste à confronter le nouvel outil à certains critères, habituellement à des outils déjà développés et validés. Permet de det. s’ils présentent des résultats similaires, en étudiant la validité concomitante de façon plus spécifique ou s’ils présentent des résultats que l’on peut prédire lorsque la validité prédictive est à l’étude

Question 29

Qu’est-ce que la validité concomitante?

Answer 29

S’évalue en mesurant un groupe de participants avec le nouvel outil, et avec un outil déjà reconnu comme une mesure étalon dans le domaine à l’étude

Des analyses de corrélations détermineront si les mesures des 2 procédures sont fortements associées, ce qui confirmerait la validité de l’utilisation

Question 30

Qu’est-ce que la validité prédictive?

Answer 30

Permet de déterminer si un outil de mesure peut prédire des résultats obtenus par un outil qui mesure un autre concept, mais dont le construit est supposé être associé au concept initial

Particulièrement important pour les outils de dépistage, car objectif de outil de dépistage est de prédire tôt dans le processus de réadaptation le risque qu’un individu développe certaines problématiques.

Question 31

Qu’est-ce que la validité de contruit?

Answer 31

lorsqu’il n’y a pas de mesure étalon et le chercheur doit présenter son argumentation pour montrer que l’outil mesure bien le concept voulu.

Validité de contruit se définit comme l’étendue avec laquelle une mesure est liée ou est représentative du construit à l’étude

Question 32

Au niveau de la validité du construit, quelles sont les 3 stratégies que pourrait utiliser le chercheur pour tenter de démontrer la validité de son outil? Expliquer.

Answer 32

Administrer à un groupe de personne l’outil du chercheur + d’autres outils déjà existants en même temps:
- Validité de convergence: corrélations fortes
- Validité de divergence: corrélations faibles

• Validité discriminante: démontre que l’outil peut discriminer entre des groupes de personnes ayant des caractéristiques différentes

Question 33

Qu’est-ce qu’une analyse factorielle?

Answer 33

On évalue à quel pt le pointage de chacun des items est corrélé avec les autres items.
Si les résultats de certains items d’un outil se comportent de façon similaire, on considère qu’ils sont associés à un même facteur

En fct des résultats de cette analyse, on peut identifier les différents facteurs qui sont décrits par l’outil de mesure

Question 34

Qu’est-ce que la sensibilité au changement?

Answer 34

Désigne la capacité de l’outil de mesure à détecter des changements significatifs du contruit évalué dans le temps

Représente l’étendue avec laquelle un changement significatif dans l’état d’un individu est traduit par un changement substantiel dans la valeur observée par l’outil de mesure

Particulièrement pertinente dans le cas d’une étude longitudinale, donc une étude qui permet de mesurer une variable chez un groupe de participants à différents moments dans le temps

Un outil sensible permettra de mettre en évidence la présence ou non de changement dans la condition du participant

Se définit comme la capacité de la mesure à détecter l’effet d’une intervention jugé cliniquement important ou sa capacité à détecter des différences de scores qui sont cliniquement importantes même si ces différences sont petites

Question 35

Quelles analyses statistiques ont été développées pour mesurer la sensibilité aux chang.?

Answer 35

• Réponse moyenne standardisée
• taille de l’effet
• Corrélations avec des mesures de chang. physiologiques ou des mesures subjectives de chang.
• Changement minimal cliniquement important (courbe ROC)

Question 36

Qu’est-ce que le calcul de la taille de l’effet?

Answer 36

Consiste à soustraire au résultat post-intervention, le résultat pré-intervention pour chaque participant. On divise la moyenne de ces différences par l’écart-type des résultats obtenus lors de l’évaluation pré-intervention

Question 37

Qu’est-ce que la réponse moyenne standardisée?

Answer 37

Obtenue en divisant la moyenne des différences par l’écart-type de ces différences

Question 38

Qu’est-ce que le changement minimal cliniquement important?

Answer 38

Représente le chang. minimal requis pour démontrer un changement significatif du pt de vue de l’usager

Le chang. minimal cliniquement important est exprimé dans la même unité que les mesures originales

Nécessite de comparer les changements obtenus avec l’outil de mesure suite à une intervention à un critère externe de changement cliniquement important

Représente une valeur de changement de score de l’outil de mesure qui permet de discriminer ceux dont la condition n’a pas changé de ceux dont la condition s’est améliorée

Question 39

Quelle est la différence entre le changement minimal cliniquement important et l’erreur minimal cliniquement important?

Answer 39

Erreur minimale détectable réfère à un changement qui est statistiquement sup. à l’erreur de mesure

Changement minimal cliniquement important réfère à un chang. qui est cliniquement significatif pour l’usager

Question 40

Qu’est-ce que les courbes ROC?

Answer 40

Fait appel aux concepts de sensibilité et de spécificité

Question 41

Qu’est-ce que la faisabilité d’un outil?

Answer 41

Consiste à déterminer si l’utilisation d’un outil est compatible avec les contraintes inhérentes dans le milieu de pratique et si elle n’entraine pas un fardeau trop important

Certains outils de mesure peuvent dmd des procédures très longues et très couteuses qui ne sont pas compatibles avec le contexte clinique. D’autres exigent une formation préalable ou des méthodes de calcul difficiles à appliquer, particulièrement dans un contexte clinique

Question 42

Que faut-il prendre en compte lors de la traduction d’un outil de mesure?

Answer 42

Nécessite un processus aussi rigoureux que lors du dev. inital de l’outil de mesure, car permet de nous assurer que la version traduite évalue bien les mêmes construits que l’outil de mesure original.

Dans certains cas, certaines adaptations sont nec. en fct des différences culturelles entre la population visée par l’outil original et la population visée par la traduction de l’outil

Essentiel de procéder à l’évaluation des qualités métrologiques du nouvel outil de mesure pour s’assurer qu’il se comporte de façon similaire à la version originale