1-Validité instrument de mesure Flashcards

(61 cards)

1
Q

Quelle est la définition d’un instrument validé?

A

Instrument dont la qualité des mesures à été évaluée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Nomme des exemples de questionnaires destiné à mesurer des concepts abstraits et/ou multidimensionnels (4)

Nomme un instrument destiné à mesurer des paramètres physiques (1)

A

Sévérité de la douleur
Satisfaction face aux services de santé
Niveau de stress ou d’anxiété
Sévérité d’un hémorragie

Coagucheck

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

À quoi sert le SF-36?

A

Évaluer la qualité de vie
Ensemble de 36 questions destinés à mesurer différents domaines d’un concept et dont les propriétés psychométriques ont été évaluées

Ex:
Concept: Qualité de vie reliée à la santé
Domaines: Perception de la santé, capacité physique, limitations dues à des problèmes de santé physique, douleur corporelle, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Quelles sont les avantages d’un questionnaire validé (3)?

A

-Économie de temps et d’argent
-Permet de comparer nos résultats avec ceux obtenus dans d’autres populations à d’autres moments
-Crédibilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Quelles sont les désavantages d’un questionnaire validé (3)?

A

-Plus ou moins adapté à notre étude
-L’évaluation des propriétés psychométriques est incomplète ou plus ou moins pertinente pour notre étude
-Aspects pratiques ne conviennent pas (longueur, langue, mode d’administration)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Si on a bcp d’instruments validée, lequel on choisit pour notre étude?

But et hypothèse

A

But: Le choix du questionnaire peut varier en fonction de l’objectif de l’utilisation du questionnaire. Le questionnaire est-il utilisé pour répondre à un objectif primaire ou un objectif secondaire?

Hypothèse de recherche: Le choix du questionnaire dépend du concept et des domaines que l’on désire évaluer

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Pour la sélection d’un instrument il faut s’assurer d’avoir des ressources disponibles. Quelles sont-elles (3) ?

A

-TEMPS requis pour l’administration: Auto-administré/entrevue téléphonique (30min)/face à face (60min)

-COÛT d’acquisition du questionnaire, manuel de codage, programme pour calculer les résultats

-PERSONNEL requis pour la collecte (interviewer, formation de l’interviewer), programmation (statisticien)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Pour la sélection d’un instrument, on doit prendre en compte les caractéristiques de la population à l’étude. Quelles sont-elles (4) ?

A

-Les symptômes et les incapacités
-L’âge
-Les habileté cognitives
-La culture et identité ethnique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Comment trouver un répertoire d’instruments (3)?

Par exemple: pour identifier les questionnaires les plus fréquemment utilisés dans un domaine donné

A

-Recherche informatisée avec des mots clés
-Dictionnaire avec des concepts
-Experts

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Quelles sont les 3 grandes catégories de propriétés psychométriques?

A

1.Fiabilité
2.Validité
3. Capacité de détecter des changements dans le temps (responsiveness)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

PRÉCISON
Fait référence à quelle propriété psychométrique?

A

Fiabilité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

EXACTITUDE/JUSTESSE
Fait référence à quelle propriété psychométrique?

A

Validité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Nomme les 2 échelles de mesure

A

-Continue
-Catégorique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Définition de: fiabilité

A

Capacité de mesurer un objet/concept de façon reproductible

Fait référence à la précision

Plus un instrument est précis ou fiable, plus il produit des scores similaires lorsque les mesures sont répétées dans des conditions similaires aux mêmes sujets.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Définition: fiabilité du test-retest

A

Habilité d’un test à reproduire les mêmes résultats lorsque ré-administré, dans des conditions similaires aux mêmes sujets.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Définition: cohérence interitems

A

Homogénéïté des items (questions) ou le degré de corrélation entre les différents items d’un test mesurant le même domaine.

Le test doit être formé de plusieurs items qui mesurent un même concept.

Plus la corrélation entre les items sera grande plus la fiabilité sera élevée

(Ex: on évalue l’état de bien-être d’une personne. Question: comment allez-vous vs comment allez-vous mais avec la personne dans un café… on ne veut pas de questions superfloues ex: c’est quoi ton café pref?)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Définition: Fiabilité intercorrecteurs

A

Mesure de concordance entre les mesures obtenues par différents évaluateurs

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Quelle est le devis expérimental pour évaluer la fiabilité du test-retest?

A

Administrer le même instrument aux mêmes participants à 2 occasions différentes

Si intervalle trop court: surestimation due è la mémoire
Si intervalle trop long: ce que l’on mesure peut avoir changé

Toujours les mêmes conditions d’administration:
-Environnement (anonymat, lieu, séquence d’administration)
-Consignes
-Limite de temps

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

EXAMEN!!

Quelles sont les tests statistiques pour évaluer la fiabilité du test-retest (4) ?

(Identifier aussi les 2 bonnes techniques et les 2 moins bonnes techniques)

A

Mauvaises techniques:
-Coefficient de corrélation de Pearson ou de Spearman
-Différence moyenne entre le test et le re-test

Bonnes techniques:
-Coefficient de corrélation intra-classe (CIC)
-Coefficient de concordance: Kappa

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Mauvaise technique: Coefficient de corrélation de Pearson ou de Spearman

But?
Coefficients?
Ce qui ne détecte pas?
Dépend de?
Pour des mesures obtenues sur?

A

But: Indiquer le niveau de correspondance entre les scores obtenus au test et au re-test

Coefficient de 1 = Correspondance parfaite
Coefficient de 0 = Pas de correspondance

Ne détecte pas les différences systématiques qui viennent biaiser les résultats
(ex: étudiants qui décident d’étudier pour s’améliorer donc au 2e examen tous les étudiants se seront améliorés et auront la même corrélation qu’avec le 1er examen sans étude)

Dépend de la variabilité des résultats
(Plus l’écart entre les résultats individuels est grande, plus la corrélation sera élevée. Comparer à si on recrute moins de patients, petit carré de points et moins de tendance… suit moins la diagonale)

Pour des mesures obtenues sur une échelle d’intervalle ou de ratio

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Bonnes techniques: Coefficient de corrélation intra-classe (CIC)

But?
Formule?
Variance totale vs vraie variance?
Coefficients?
Sensible à ?

A

But: Indique la proportion de la variance totale qui est attribuable à des différences réelles entre les répondants

CIC = variance entre les participants (vraie variance) / variance totale

Variance totale: variance entre les individus + variance entre le test et le re-test + variance due aux erreurs de mesures

(*Si la variance due aux manipulateurs est ajoutée dans la variance totale, le dénominateur va augmenter un peu donc le coefficient de corrélation interclasse va diminuer un peu)

Vraie variance: Variance entre les individus

CIC=1 : 100% vrai variance, aucune erreur de mesure, précision parfaite
CIC=0 : 0% de vrai variance, aucune précision

Sensible à la variabilité des résultats (augmentation de la variabilité = diagonale)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Vrai ou faux,
La corrélation de Pearson et le CIC sont équivalents s’il n’y a pas de différence systémique entre le test et le re-test?

A

VRAI

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

EXAMEN!!
Interprétation du CIC

Seuil plus grand ou égale à 0.7 pourquoi?
Seuil plus grand ou égale à 0.9 pourquoi?

A

Seuil plus grand ou égale à 0.7
(environ 70% de ce qu’on mesure est de la vrai variance entre individu)
Pour utilisation au niveau des GROUPES
ex: Échelle de mesure de la douleur pour comparer 2 groupes dans un essai clinique

Seuil plus grand ou égale à 0.9 (on est plus sévère on veut les mêmes résultats tests et re-tests)
Pour utilisation au niveau INDIVIDUEL
ex: échelle de mesure de la douleur pour décider si on doit augmenter la dose d’analgésique

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

Mauvaise technique: Différence moyenne entre le test et le re-test

But?
Si aucune différence?
Problème? Solution?

A

But: Comparaison des scores moyens obtenus au test et au re-test

Si aucune différence entre le score moyen obtenu au test et au re-test = test fiable

Problème: de grandes différences entre les résultats du test et du re-test pourraient passer inaperçues si elles se produisent dans des directions inverses.
Solution: Calculer la moyenne des différences absolues

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Bonne technique: Coefficient de concordance: Kappa But? Kappa vs Kappa pondéré?
But: Indique le degré de correspondance entre le test et le re-test lorsque les mesures sont faites sur: Kappa: Échelle nominale/ catégorique (présent/absent, oui/non, accord/désaccord) (2 niveaux) Kappa pondéré: échelle ordinale à plus de 2 niveaux Le coefficient kappa (est une mesure statistique utilisée pour évaluer le degré de concordance entre deux évaluateurs, au-delà de ce qui serait attendu par le hasard.
26
Interprétation du kappa Nomme les seuils établis pour chaque catégorie (concordance faible à concordance très élevée)
<0,4 concordance faible 0,4-0,6 concordance modéré 0,61-0,8 concordance élevée >0,8 concordance très élevée (presque parfaite)
27
Cohérence interitems Quel est le devis expérimental? Quels sont les tests statistiques (2)?
On administre le test à un groupe de patients à une seule occasion. 1.Formule de Kruder-Richardson (catégorique) 2.Coefficient alpha de Cronbach (continue)
28
Cohérence inter-items Décrit le test statistique Bissection
Le questionnaire est séparé en 2 parties égales et on évalue la corrélation entre les résultats de chacune des parties. Peu utilisé
29
Cohérence inter-items Décrit le test statistique formule de Kruder-Richardson
Représente la moyenne de tous les coefficients de bissection S'applique à des mesures catégorielles (vrai/faux, accord/désaccord)
30
Cohérence inter-items Décrit le test statistique coefficient alpha de Cronbach
Représente la moyenne de tous les coefficients de bissection. S'applique à des mesures continue
31
Fiabilité intercorrecteurs Quel est le devis expérimental? Tests statistiques (3) ?
Devis: on demande à différents évaluateurs d'évaluer un même objet et on mesure le degré de corrélation entre les résultats des différents évaluateurs Tests statistiques: -Kappa (pour mesure catégorielle) -Kappa pondéré (pour mesure ordinales "ordre") -Coefficient intra-classe (pour des mesures continues)
32
Vrai ou faux Moins un test est fiable, plus le nombre de sujets requis pour détecter une différence statistiquement significative sera élevé?
Vrai
33
Vrai ou faux Les mesures de fiabilité sont spécifiques aux populations étudiées?
Vrai
34
Vrai ou faux La fiabilité est une condition essentielle mais non suffisante pour évaluer la qualité d'un instrument de mesure?
Vrai
35
Quelles sont les étapes pour développer un instrument de mesure (7)?
-Définir le concept -Sélectionner les dimensions à évaluer -Définir le nombre d’items par dimension -Créer chaque item -Choisir une échelle de mesure pour chaque item -Définir comment les résultats seront calculés -Validation
36
Quelles sont les 3 types de fiabilité?
Fiabilité du re-test Cohérence inter-items Fiabilité inter-correcteurs
37
Examen!!! Tableau résumé Test re-test Devis expérimental? Test statistique (continue)? Test statistique (catégorique)?
Administrer le test 2 fois aux mêmes sujets dans des conditions similaires Test statistique (continue): Coefficient intra-classe Test statistique (catégorique): Kappa et kappa pondéré "ordre"
38
Examen!!! Tableau résumé Interévaluateurs Devis expérimental? Tests statistiques?
Les mêmes sujets sont évalués par différents évaluateurs Tests statistiques: (Même chose que test-retest) Test statistique (continue): Coefficient intra-classe Test statistique (catégorique): Kappa et kappa pondéré "ordre"
39
Examen!!! Tableau résumé Cohérence inter-items Devis expérimental? Tests statistiques?
Administre le test une seule fois à un groupe de sujets Test statistique (catégorique): Kruder-Richardson Test statistique (continue): Alpha de Cronbach
40
Une des propriétés psychométriques: Validité Définition de la validité?
Capacité d'un test à mesurer ce qu'il est censé mesuré (EXACTITUDE des résultats) Processus long et complexe
41
Définition: Validité de contenu?
Basé sur le bon jugement... Déterminer si le contenu d'un test est un échantillon représentatif du domaine mesuré Processus subjectif basé sur le jugement d'experts, de patients et de cliniciens Il est important de savoir comment un questionnaire à été développé
42
Quels sont les 3 types de validité?
Validité de contenu Validité de critère Validité conceptuelle
43
Définition validité de critère? et quelles sont les 2 types?
Comparer notre objet avec un gold standard "vérité absolue" Validité concourante: au même moment on administre le test et un test gold standard Validité prédictive: Plus tard dans le temps... On administre le test au temps 0 et le test gold standard au temps 1
44
Validité de critère Quels sont les tests statistiques (continue)? Quels sont les tests statistiques (catégorique)?
Quels sont les tests statistiques (continue): CIC (coefficient intra-classe) Modèle multivarié Quels sont les tests statistiques (catégorique): Sensibilité Spécificité VPP VPN Courbe ROC
45
EXAMEN!!! VP, FP, FN ou VN? Test positif et maladie présente? Test positif et maladie absente? Test négatif et maladie présente? Test négatif et maladie négative?
Test positif et maladie présente VP Test positif et maladie absente FP Test négatif et maladie présente FN Test négatif et maladie négative VN
46
Qu'est- ce que la sensibilité?
Capacité d'un test de détecter la maladie chez des personnes malades
47
Examen!! Formule de la sensibilité selon VP, FP FN ou VN?
Sensibilité = VP/(VP+FN)
48
Qu'est-ce que la spécificité?
La capacité d'un test à ne pas détecter la maladie chez les personnes pas malades.
49
Examen!! Formule de la spécificité selon VP, FP FN ou VN?
Spécificité = VN/(VN+FP)
50
Formule et définition de la valeur prédictive positive?
VPP = VP/(VP+FP) Probabilité qu'une personne ayant un test positif ait la maladie
51
Formule et définition de la valeur prédictive négative?
Probabilité qu'une personne ayant un test négatif n'ait pas la maladie VPN = VN/(FN+VN)
52
Courbe ROC
Courbe qui permet de comparer les seuils pour optimiser la sensibilité et la spécificité y= sensibilité x= 1-spécificité Si on augmente la sensibilité alors on diminue la spécificité
53
Le choix de la valeur limite dépend de l’objectif du test (Sensibilité ou spécificité?) Maladie très sérieuse? Dépistage d’un facteur de risque?
Maladie très sérieuse : sensibilité Dépistage d’un facteur de risque: spécificité
54
Qu'est-ce qui se passe si la prévalence de la maladie change?
Même spécificité, Même sensibilité mais VPP et VPN sont impactés Si la prévalence diminue: VPP diminue et VPN augmente Si la prévalence augmente: VPP augmente et VPN diminue
55
Définition de la validité conceptuelle
Degré de certitude quand à l'habilité d'un test de mesurer le concept qu'il est cens. mesurer.
56
Quels sont les 3 types de validité conceptuelle?
-Validité convergente: résultats similaires. Plus la corrélation est forte, plus la validité convergente est grande. -Validité discriminante: Résultats différents. Plus la corrélation est faible, plus la validité discriminante est grande. Personne ne fait ce genre de validité.... -Autre: est-ce que le test produit des résultats intuitivement raisonnables? Est-ce que les résultats obtenus sont conformes aux résultats attendus? On administre le test à différents groupes de patients et on observe si les différences observées entre les groupes sont conformes aux différences attendus.
57
Important Examen!!! Tableau résumé validité Validité de contenu Devis expérimental? Tests statistiques? Validité de critère (concurrente et prédictive) Devis expérimental? Tests statistiques? Validité conceptuelle (convergente, discriminante, autre) Devis expérimental? Tests statistiques?
-Validité de contenu Devis expérimental: Revue de littérature, expert/cliniciens/patients, étude pilote Tests statistiques: Évaluation qualitatives, analyses factorielles Validité de critère (concurrente et prédictive) Devis expérimental: Administre le test et un test étalon à un même groupe de sujets Tests statistiques: Variables continues: corrélation, CIC, modèles multivariés Variables catégoriques: sensibilité, spécificité, VPP, VPN, courbe ROC Devis expérimental: Administre le test et un test mesurant un concept similaire ou différent à un même groupe de sujets; ou à des groupes différents Tests statistiques: Continue: corrélation, CIC, modèles multivariés Catégorique: kappa et kappa pondéré
58
Définition d'une propriété psychométrique: Responsiveness?
Capacité de détecter les changements dans le temps Ex: détecter un changement dans la qualité de vie des patients avant et après un traitement
59
Quel est le devis expérimental pour propriété psychométrique: Responsiveness?
Étude prospective mesurant l'évolution des patients durant une période de changement (ex: après un AVC, avant/après une chirurgie) Étude prospective comparative: compare 2 groupes de patients recevant des traitements différents
60
Responsiveness Comment améliorer la capacité de détecter des changements dans le temps?
-Augmenter le nombre de catégories de réponses -Présente les réponses antérieures -Utilise une question de transition
61
Comment on traduit un questionnaire?
Méthode du forward-backward On demande à un traducteur de traduire la version anglaise en version suédoise et ensuite on demande a un autre traducteur de traduire la version suédoise en version anglais et ensuite on compare les deux versions anglaises pour voir si les deux versions sont concordantes et si les questions ont le même sens et mesure les mêmes chose Anglais --> suédois --> anglais