Cours 4

Question 1

Qu’est-ce que la fidélité?

Answer 1

Fidélité concerne la précision de notre mesure, ou dit autrement, le niveau d’erreur de mesure qu’elle génère

Question 2

Vrai ou faux

Il est possible de qualifier un test de fiable.

Answer 2

Faux

La fiabilité s’applique aux scores qu’ils génèrent, car affirmer qu’un test est fiable sous-entend que la fidélité a été établie de façon permanente, pour toutes les utilisations, avec tous les utilisateurs.trices

Question 3

Vrai ou faux

La fidélité est un concept dichotomique (fiable ou non).

Answer 3

Faux

Tout est une question de degré (pas dichotomique)

Question 4

Expliquer cette affirmation :

La fidélité est cruciale en évaluation psychoéducative

Answer 4

Sur le plan clinique, avant de prendre des décisions importantes, on veut savoir à quel point les variations des scores résultent de différences réelles dans le construit qui nous intéresse ou plutôt d’imprécisions (erreurs) de l’instrument de mesure qu’on utilise. Autrement dit, on veut savoir à quel point le score «vrai» est estimé avec justesse

*peut impacter l’avenir d’une personne

Question 5

Vrai ou faux

Qu’on le veuille ou non, il y a toujours de l’erreur de mesure dans tous les instruments

Answer 5

Vrai

Cependant, les chercheurs.euses tentent de construire des instruments qui vont la limiter le plus possible. Les praticiens.nes doivent bien connaître la fidélité des instruments qu’ils utilisent, pour faire une interprétation rigoureuse et prudente des scores

Question 6

Qu’est-ce que la théorie du score vrai?

Answer 6

Score observé = score vrai + erreur de mesure

Question 7

Qu’est-ce qu’une erreur aléatoire?

Answer 7

• Fluctuations statistiques non reproductibles, toujours présentes pour tous les instruments
• Autant au-dessus qu’en dessous de la moyenne
• Distribuées normalement
• Causé par la variation dans l’échantillonnage

Question 8

Qu’est-ce que l’erreur systématique (ou biais)?

Answer 8

• Fluctuations constantes et reproductibles, qui sont toujours dans la même direction. Pas dans tous les instruments
• Surestimation ou sous-estimation constante des paramètres
• Pas distribuées normalement
• Causé par une mauvaise utilisation de l’instrument, des conditions d’administration inadéquates et les des imperfections de l’instrument

Question 9

Comment pouvons-nous minimiser/évaluer les 2 types d’erreurs?

Answer 9

Aléatoires :
- plus grands échantillons
- plus de moments de mesure
- peuvent être plus facilement estimées/contrôlées statistiquement

Systématiques :
- difficiles à détecter, souvent ne sont pas connues
- plus difficile à quantifier statistiquement

Question 10

Relier les 4 sources d’erreur de mesure avec leur type d’instruments sujets à chaque source d’erreur et l’indice de fidélité utilisé pour estimer l’erreur?

• erreur d’échantillonnage de contenu
• incohérence interne ou inter-items
• erreur d’échantillonnage dans le temps
• incohérence inter-informateurs
• instruments qui impliquent un degré relativement élevé de subjectivité
• instruments pour lesquels des résultats cohérents au sens large sont souhaités
• instruments de mesure de traits ou comportements relativement stables
• instruments qui requièrent une grande cohérence interne ou inter-item
• coefficient de fidélité moitié-moitié et coefficient de cohérence interne
• coefficient de fidélité test-retest
• coefficient de fidélité des formes parallèles
• coefficient de fidélité inter-juges

Answer 10

Erreur d’échantillonnage de contenu :
- instruments pour lesquels des résultats cohérents au sens large sont souhaités
- coefficient de fidélité des formes parallèles

Incohérence interne ou inter-items :
- instruments qui requièrent une grande cohérence interne ou inter-item
- coefficient de fidélité moitié-moitié et coefficient de cohérence interne

Erreur d’échantillonnage dans le temps :
- instruments de mesure de traits ou comportements relativement stables
- coefficient de fidélité test-retest

Incohérence inter-informateurs :
- instruments qui impliquent un degré relativement élevé de subjectivité
- coefficient de fidélité inter-juges

Question 11

Vrai ou faux

On ne peut pas évaluer le degré de fidélité d’un instrument de mesure avec l’évaluation d’une seule personne

Answer 11

Vrai

on doit collecter les données d’un échantillons d’individus qui sont évalués avec l’instrument

Question 12

Dans cette formule :

rx = var(vraie) / var(erreur)

Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de ______, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de _______

Answer 12

Plus la part de variance vraie sera grande, plus le coefficient de fidélité s’approchera de 1.0, alors que plus la part de variance erreur sera grande, plus le coefficient s’approchera de 0

Question 13

Comme la définition de la fidélité à la base est qu’un instrument «devrait donner les mêmes résultats d’une administration à l’autre», il s’agit d’une mesure «______________» de la fidélité.

Answer 13

classique

Question 14

Qu’est-ce que la fidélité des formes parallèles?

Answer 14

• On développe deux formes équivalentes du même instrument et on estime la corrélation des scores entre les deux formes pour les mêmes individus
• Instruments tout à fait similaires conceptuellement, mais avec des items légèrement différents
• Comme les deux formes parallèles sont supposées mesurer le construit de la même façon, l’objectif est donc de voir le degré d’erreur dans le contenu
• Après collecte de données: Corrélation élevée suggère bonne précision, ou dit autrement, peu d’erreurs de mesure

ex : examen du ministère a plusieurs versions

Question 15

La question de l’________________________________ est cruciale pour pouvoir interpréter avec confiance la fidélité des formes parallèles

Answer 15

échantillonnage de contenu

Question 16

Vrai ou faux

Dans la fidélité des formes parallèles, on peut simplement choisir des items au hasard dans une grande banque d’items

Answer 16

Faux

il faut faire une sélection quasi-aléatoire

Question 17

Pas vraiment de «coefficient minimum» attendu dans la fidélité de formes parallèles, puisque la corrélation dépendra du ___________ (complexité du construit), en plus de facteurs _______________ des individus évalués (e.g., réaction différente aux deux formes)
On s’attend quand même à _____ au minimum (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994)

Answer 17

Pas vraiment de «coefficient minimum» attendu dans la fidélité de formes parallèles, puisque la corrélation dépendra du CONTENU (complexité du construit), en plus de facteurs PERSONNELS des individus évalués (e.g., réaction différente aux deux formes)
On s’attend quand même à 0,70 au minimum (Anastasi & Urbina, 1997; Nunnally & Bernstein, 1994)

Question 18

Qu’est-ce que la fidélité test-retest?

Answer 18

• Évalue les mêmes individus avec le même instrument à deux reprises dans le temps pour voir s’ils obtiennent les mêmes résultats (scores)
• Pour l’estimer, l’intervalle de temps doit être assez court (environ 2 semaines à 1 mois)
• Après collecte de données: Une corrélation élevée suggère bonne précision, peu d’erreurs de mesure
• Pas vraiment de «coefficient minimum», mais si la corrélation est forte (au moins 0,70), l’instrument est considéré fiable
• s’il y a un écart entre les résultats (corrélation faible), il est parfois difficile de déterminer les raisons

Question 19

Expliquer cette affirmation :

De façon générale, il ne faut pas s’attendre à des corrélations très élevées pour la fidélité test-retest

Answer 19

Vrai

car certains construits sont assez «plastiques» ou changeants dans le temps

Question 20

Qu’est-ce que la cohérence interne?

Answer 20

• Lorsque les chercheurs.euses créent des échelles, ils tentent de regrouper des items qui forment un tout cohérent, autant sur le (a) plan conceptuel que sur (b) le plan empirique
• Autrement dit, il ne suffit pas que des experts.es suggèrent qu’un groupe d’items mesurent bien un construit, mais il faut aussi que les items soient significativement corrélés entre eux
• Avec des faibles corrélations entre les items, on peu se demander s’ils mesurent vraiment le même construit
• RÉSUMÉ DES INTER-CORRÉLATIONS

Question 21

Quelles sont les 2 stratégies souvent utilisées pour évaluer la cohérence interne?

Answer 21

(1) coefficient de fidélité moitié-moitié et (2) coefficient de cohérence interne

Question 22

Comment fonctionne le coefficient moitié-moitié?

Answer 22

• les chercheurs.euses divisent en deux les items d’une échelle et on estime ensuite les corrélations entre ces deux moitiés
• Encore une fois, l’échantillonnage de contenu est très important, il faut une sélection quasi-aléatoire des items
• Après collecte de données: Une corrélation élevée entre les deux moitiés indique bonne fidélité, peu d’erreurs de mesure

Question 23

Quel est le problème méthodologique du coefficient moitié-moitié?**

Answer 23

avec moins d’items, les corrélations vont toujours être moins fortes, nonobstant le niveau de fidélité (- on a d’items, - fidélité est élevée)

Question 24

Qu’est-ce que la prophétie de Spearman?

Answer 24

plus il y a d’items dans une échelle, plus sa fidélité est élevée
- Avec des échelles brèves : on peut appliquer la formule de la prophétie de Spearman-Brown pour déterminer quelle serait la corrélation avec plus d’items

Question 25

Comment fonctionne le coefficient de cohérence interne?

Answer 25

- Les chercheurs.euses estiment l’homogénéité de tous les items d’une échelle - Il s’agit d’un estimé statistique quantifiant l’ensemble des inter-corrélations entre tous les items d’une échelle - Est-ce que les items d’une échelle forment un tout cohérent sur le plan empirique, sont assez fortement corrélés – et donc, génèrent peu d’erreurs de mesure

Question 26

Nommer trois indices utilisés pour estimer la cohérence interne

Answer 26

Deux indices très utilisés pour estimer la cohérence interne (alpha de Cronbach et Kuder-Richardson-20) et un plus récent (Omega de McDonald) Richardson a fait une blague sur Alpha et omega et OMG jveux du MCDO

Question 27

Qu'est-ce que l'alpha de Cronbach?

Answer 27

- Pour les items continus (minimalement plus de 2 choix de réponses) - On assume (mais ne teste pas) que les items mesurent une même variable latente (j’assume qu’une échelle mesure l’impulsivité) - On assume aussi que tous les items sont reliés de la même façon à la variable latente (aka, tau équivalent) - Statistiquement parlant, le coefficient α est l’équivalent de la moyenne de toutes les moitié-moitié possibles (toutes les combinaisons possibles)

Question 28

Qu'est-ce que le Kuder-Richardson-20?

Answer 28

- Un cas spécial du alpha de Cronbach pour les items dichotomiques - Comme pour alpha, lorsqu’on utilise KR-20, on assume (mais ne teste pas) que les items mesurent une même variable latente - On assume aussi que le pourcentage de réponses correctes est le même pour tous les items - Existe formule plus simple

Question 29

Qu'est-ce qu'Omega de McDonald?

Answer 29

- Contrairement à alpha et KR-20, avec le Omega on teste explicitement que les items mesurent une même variable latente en utilisant l’analyse factorielle - Le postulat irréaliste que tous les items sont reliés de la même façon à la variable latente n’a pas besoin d’être respecté – les saturations factorielles peuvent être différentes

Question 30

Entre alpha, KR-20 et omega, lequel a tendance à procurer un estimé de la fidélité d'une échelle plus près de la réalité?

Answer 30

Omega à tendance à procurer un estimé de la fidélité d’une échelle plus près de la réalité que le alpha ou le KR-20 Alpha est un bon estimé de la fidélité seulement lorsque tous les items sont vraiment tous équivalents OMG REGARDE RICHARDSON C'EST UN MÂLE ALPHA QUI ASSUME

Question 31

Coefficients de cohérence interne varient tous entre ___ et ___. Après collecte de données: On souhaite un coefficient près de ___, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure. Si près de ___, les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble ; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs. Typiquement, un coefficient de ___ et plus est considéré.

Answer 31

Coefficients de cohérence interne varient tous entre 0 et 1. Après collecte de données: On souhaite un coefficient près de 1.0, ce qui suggère que les items d’une échelle sont très cohérents, qu’ils forment un tout; donc l’échelle génère peu d’erreurs de mesure. Si près de 0, les items ne sont pas homogènes, suggère que les questions de l’échelle sont trop indépendantes, ne vont pas ensemble ; donc l’échelle n’est pas précise, elle génère beaucoup d’erreurs. Typiquement, un coefficient de 0,70 et plus est considéré.

Question 32

Typiquement, un coefficient de 0,70 et plus est considéré. Cependant, en recherche, on accepte parfois des coefficients de _____ et de _____ et plus dans la pratique clinique.

Answer 32

Typiquement, un coefficient de 0,70 et plus est considéré. Cependant, en recherche, on accepte parfois des coefficients de environ 0,60 et de 0,80 et plus dans la pratique clinique.

Question 33

Vrai ou faux Des coefficients de cohérence interne très élevés sont toujours considérés comme très fiables et intéressants, tandis que les indices qui ne sont pas très élevés sont toujours considérés comme imprécis.

Answer 33

Faux Les coefficients de cohérence interne très élevés – par exemple de 0,95 ou plus – sont parfois considérés moins intéressants puisque que ceci suggère qu’il y a potentiellement redondance de contenu, i.e., certaines questions mesurent probablement la même chose. D’un autre côté, si les indices ne sont pas très élevés pour des échelles avec peu d’items – par exemple α = 0,50 pour une échelle à 2 ou 3 items – cela ne signifie pas de facto un problème de précision : C’est attendu (i.e., « Prophétie de Spearman »). On peut alors appliquer la transformation de Spearman-Brown pour connaitre la fidélité prédite de l’échelle si elle avait davantage d’items

Question 34

Qu'est-ce que le principe de parcimonie?

Answer 34

les auteurs.trices pourraient enlever certaines questions Enlever des participants louches dans une recherche à grand échantillon (ex: questionnaire de personnalité et adaptation)

Question 35

Qu'est-ce que la fidélité inter-juges?

Answer 35

- Bien qu’il est attendu que les instruments de mesure ne soient pas influencés par la subjectivité des informateurs, plusieurs construits qui nous intéressent en psychologie et en psychoéducation le sont presque de facto - Pour l’estimer, on vérifie si les évaluations des mêmes individus effectuées avec le même instrument, mais par différents informateurs (i.e., évaluateurs ou « juges ») sont corrélés

Question 36

Comment pouvons-nous distinguer la fidélité inter-juges de l'accord inter-juges?

Answer 36

- Termes souvent utilisés de façon interchangeable, mais il ne faudrait pas - Fidélité inter-juges renvoie au degré de cohérence (ou corrélation) entre différents informateurs avec des mesures continues; on compare la variabilité (variance) entre les informateurs Par exemple, les pensées ou certains comportements plus secrets (e.g., cpts. sexuels, consommation de substances psychoactives) sont généralement difficiles à évaluer par différents informateurs (faible fidélité inter-juges) - Accord inter-juges renvoie plutôt à une mesure de degré auquel des informateurs sont en accord exactement – souvent avec des mesures catégorielles; ne considère pas variance

Question 37

Vrai ou faux L’estimation de l'accord inter-juges est cruciale en observation

Answer 37

Vrai Ceci l’est tout autant avec des instruments comme les échelles d’évaluation ou questionnaires, tout comme pour les réponses collectées lors d’entrevues

Question 38

Pour les instruments dimensionnels, on obtient généralement des corrélations significativement plus ___________ que celles attendues pour les autres types de fidélité

Answer 38

faibles

Question 39

Expliquer cette affirmation : Bien que dans le passé certains chercheurs.euses aient interprété les coefficients de fidélité inter-juges plutôt faibles comme une « mauvaise » fidélité des échelles, aujourd’hui on considère que c’est attendu

Answer 39

- Les individus (enfants, adolescents, adultes) vont fréquemment manifester des comportements différents dans différents contextes, notamment parce que les attentes sont différentes - Différents informateurs provenant de différents contextes peuvent percevoir et procurer de l’information différente (et complémentaire) à propos d’un même individu évalué - Différents informateurs procureraient donc une meilleure « validité écologique »

Question 40

Quels sont les résultats de la méta-analyse de Achenbach et al.?

Answer 40

- 269 échantillons provenant de 119 études - Corrélation entre informateurs similaires (e.g., deux parents) est en moyenne de 0,60 - Corrélation entre différents informateurs (e.g., un parent et un enseignant) est de 0,28 - Corrélation impliquant l’enfant/adolescent et un autre informateur est de 0,22 - Corrélations plus fortes pour EXT que INT

Question 41

Selon la meta-analyse de De Los Reyes et al., comment pouvons-nous maximiser l'accord?

Answer 41

- Les informateurs connaissent bien l’enfant (familiarité avec l’enfant, temps passé avec lui.elle assez élevé) - Les informateurs proviennent d’un même contexte d’observation (e.g., deux enseignants, deux parents) - Les objets de l’évaluation sont des comportements plus facilement observables (par opposition à des choses moins facilement observables)

Question 42

Qu'est-ce que l'erreur standard de mesure (ESM) ou erreur type de mesure?

Answer 42

- Donne une indication de la quantité ou du degré d’erreur de mesure associée aux scores d’une échelle - En termes de score standardisé, il s’agit de l’écart-type de la distribution des erreurs - Le score vrai est théorique, on tente de l’estimer - estimé à l'aide d'un coefficient de fidélité - Dans la pratique en évaluation, les ESM servent a construire un intervalle de confiance autour du score observé - peut servir à identifier un critère empirique qui permet de déterminer s’il existe une différence significative entre les scores de deux échelles

Question 43

L’ESM est __________________ liée à la fidélité. Plus la fidélité est élevée, moins l’erreur standard de mesure est ____________, et vice versa

Answer 43

L’ESM est INVERSEMENT liée à la fidélité. Plus la fidélité est élevée, moins l’erreur standard de mesure est GRANDE, et vice versa

Question 44

Qu'est-ce qu'un intervalle de confiance et comment est-ce qu'on la calcule?

Answer 44

- Un intervalle de confiance est un estimé probabiliste permettant de situer le score observé à l’intérieur d’une étendue de scores donnée - Permet une interprétation plus rigoureuse et prudente qui tient compte de l’erreur de mesure - Selon les instruments, on peut parfois avoir des intervalles à 68% (1 ESM) et à 95% (2 ESM) - On doit additionner et soustraire la valeur de l’ESM au score standardisé observé

Question 45

Expliquer la comparaison des scores selon le chevauchement :

Answer 45

Placer les 2 échelles avec les intervalles de confiance une en dessous de l'autre et voir s'il se chevauchent. Si oui, elles ne sont pas significativement différentes.

Question 46

Qu'est-ce que l'erreur standard sur la différence?

Answer 46

Calculée à partir des ESM procurés par les auteurs d'un test ESdiff = √ (ESM1)2 + (ESM2)2 ESM1 et ESM2 correspondent aux valeurs des ESM des échelles 1 et 2 respectivement (i.e., deux échelles comparées)