Cours 7 - La fidélité et l'erreur type de mesure Flashcards

1
Q

Comment est formellement défini la fidélité ?

A

comme le rapport de la variance vraie à la variance totale du test.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

À quoi fait référence la constance et le degrés de précision dans un test de fidélité?

A

PRÉCISION: Minimiser le maximum d’erreur
CONSTANCE: Stabilité temporelle

Si je fais la passation d’un test maintenant, dans 3 mois, je refais la passation du même test: je m’attends que les résultats soient très similaire/semblable (constance).
La variation des réponses d’un moment à l’autre : erreur.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quel est le calcul de la fidélité?

A

X = t + e

X = variable observable
t = variance vraie
e = variance d’erreur

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Pourquoi dit-on que le modèle de la fidélité est non identifié?

A

Car le degré de liberté est négatif, non identifié. Si j’ai plus de questions/infos que de réponses = modèle non identifiable.

exemple:
X + Y = 2
Mais si x + 1 =2 (le modèle est identifiable car la réponse est évidente. Dans celui du haut, il y a plusieurs options possibles de réponses, donc non identifiable).

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Les critères de fidélité d’un test psychométrique sont liés à deux concepts, nommez les.

A

le degré de précision et de constance des scores obtenus par un test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

Qu’est-ce la variance d’erreur?

A

Tout ce qui ne sert pas à expliquer le phénomène

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Qu’est-ce qui permet de réduire la variance d’erreur et augmenter la fidélité?

A

La standardisation.
Si les examinateurs s’efforcent de maintenir des conditions de testage uniformes, en contrôlant:
-l’environnement du testage,
-les consignes,
-les limites de temps,
-le climat interpersonnel (avec les sujets), etc.
ils réduisent l’erreur de mesure (moins de variance d’erreur) et rendent ainsi plus fidèles les scores aux tests.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

v ou f
Un test peut être 100% fidèle.

A

Faux
Aucun test n’est parfaitement (100%) fidèle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Quel est le coefficient de fidélité minimum requis pour un test appliqué en clinique? vs dans le contexte de la recherche?

A
  • Contexte clinique: coefficient de 0,80 est le minimum requis
  • Contexte de la recherche: score minimal de 0,70
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Les coefficients de fidélité de la plupart des tests d’intelligence sont aux alentours de ____ et _____.

A

0.85 et 0.90

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

Nommez les 5 types de fidélité.

A
  • Fidélité par test-retest
  • Fidélité par versions parallèles (par équivalence)
  • Fidélité par bissection (split half)
  • Fidélité par homogénéité (cohérence interne)
  • Fidélité par équivalence inter-juges.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Qui suis-je ? Je suis aussi appelée stabilité temporelle

A

Fidélité par test-retest

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

En quoi consiste la fidélité par test-retest?

A

Elle consiste à administrer le même test à deux occasions différentes aux mêmes sujets.
On s’attend que les résultats soient TRÈS SIMILAIRE.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Quels sont les sources d’erreurs de la fidélité test-retest ? (1)

A

les fluctuations aléatoires de la performance d’une session à l’autre.

Ces variations peuvent résulter, en partie, des conditions de testing qui sont mal contrôlées, mais aussi à des changements internes du sujet entre les deux passations.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

Que signifie un coefficient de corrélation test-retest élevé?

A

l’instrument a une bonne fidélité (stabilité) temporelle

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Quels sont les avantages de la méthode test-retest? 2

A
  • Stabilité des résultats : Cette méthode mesure la cohérence des résultats lorsque le même test est administré au même échantillon de personnes à différents moments. Elle garantit que les résultats d’un test peuvent être reproduits (respectant les mêmes conditions de passation).
  • Indicateur de qualité : la fidélité test-retest est un excellent indicateur de qualité métrique d’un instrument de mesure psychologique.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

Inconvénients de la méthode test-retest (3)

A
  • Effet de pratique: si l’intervalle est très court, les sujets peuvent se rappeler de leurs réponses : effet de la mémoire.

-Changements d’opinions (les convictions des participants peuvent changer avec le temps)

  • Intervalle entre les deux administrations : Plus l’intervalle entre les deux administrations est long, plus le coefficient de corrélation est faible, ce qui indique une mauvaise fiabilité par inclusion de sources d’erreurs (variabilité d’erreur).
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

En quoi consiste la fidélité par versions parallèles (par équivalence) ?

A

Elle consiste à administrer deux versions différentes mais équivalentes d’un même test aux mêmes sujets.

  • Le niveau de difficulté doit être le même.
  • Doit être fait de manière équivalente.
  • assurer un véritable parallélisme (contenir le même nombre d’items, la même forme, et couvrir le même contenu et le niveau de difficulté moyen des items doit être statistiquement le même)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Avantages de la méthode versions parallèles. (1)

A
  • Précision : en éliminant les effets de la mémoire ou de la pratique qui peuvent survenir lors de l’administration répétée du même test
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Inconvénients de la méthode versions parallèles (2).

A
  • Coût et temps : La production de deux versions d’un même instrument est coûteuse et exige beaucoup de temps.
  • Équivalence imparfaite : Deux formes parallèles ne sont jamais équivalentes à 100 %. Il y a donc une part de l’erreur qui sera attribuable à une équivalence imparfaite entre les deux versions; cette source de fluctuation vient s’ajouter à l’erreur de mesure, ce qui se traduit par une surestimation de l’erreur de mesure.
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

En quoi consiste la fidélité par bissection (split half) ?

A

Elle consiste à diviser l’ensemble des items d’un test en deux moitiés équivalentes.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

Que permet la fidélité par bissection ?

A

Cette méthode permet de mesurer la cohérence interne du test, c’est-à-dire à quel point les deux moitiés du test mesurent une même caractéristique psychologique.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

Avantages de la méthode par bissection. (2)

A
  • Pas de double administration
  • Mesure de cohérence interne : Elle permet de mesurer l’homogénéité des deux parties du test.
24
Q

Inconvénients de la méthode par bissection. (3)

A
  • Équivalence des deux parties : Il faut porter une attention à l’équivalence des deux parties comparées, ce qui représente une difficulté.
  • Influence de la méthode de bissection choisie : La fidélité calculée sera influencée par la méthode de bissection choisie (items pairs/impairs, répartition au hasard, etc.). La méthode choisie peut être source d’erreur.
  • Sous-estimation de la fidélité : En scindant l’instrument en deux, le nombre d’items se trouve diminué. Cela a pour effet d’en sous-estimer la fidélité.
25
Q

En quoi consiste la fidélité par homogénéité (cohérence interne)?

A

évaluer le degré de cohésion des items qui composent un instrument psychométrique (ou chacune de ses échelles), lesquels devraient être étroitement liés.

26
Q

Avantages de la méthode par homogénéité. (2)

A
  • Pas de double administration
  • Mesure de cohérence interne
27
Q

Inconvénients de la méthode par homogénéité. (2)

A
  • Pas de stabilité temporelle
  • Dépendance à la longueur du test : La fidélité par homogénéité peut être influencée par le nombre d’items dans le test. Plus le nombre d’items est élevé, plus la fidélité par homogénéité est élevée.
28
Q

Que signifie la cohérence interne?

A

dans quelle mesure toutes les questions d’un test mesurent le même concept

29
Q

Qui a proposé l’alpha de Cronbach afin de fournir une mesure de la cohérence interne ?

A

Lee Cronbach 1951

30
Q

v ou f
Un coefficient alpha élevé garantit toujours une bonne cohérence interne.

A

faux

L’alpha de Cronbach est affecté par le nombre d’items du test. Si l’instrument est trop court, la valeur alpha en souffrira ; si la quantité d’items est élevé, la valeur alpha augmente.

  • L’alpha de Cronbach augmente au fur et à mesure que les réponses aux différents items du test sont corrélées. (mais il doit y avoir assez d’items!)
31
Q

Selon les ouvrages, qu’est-ce qu’une valeur alpha satisfaisante?

A

supérieur à 0,7

32
Q

Pourquoi un résultat supérieur à 0,9 n’est pas nécessairement désiré?

A

il peut être signe d’énoncés trop similaires, items colinéaires (on ne veut pas ça!).

33
Q

Qui suis-je ? Je suis également connu sous le nom de fiabilité tau-équivalente.

A

Alpha de Cronbach

34
Q

Qu’est-ce la tau-équivalence?

A

Alpha Cronbach

Une condition de fiabilité qui suppose que tous les items d’un test ont la même importance pour le construit. Cette condition peut être exprimée en termes de charges factorielles (saturation factorielle).

35
Q

Qui suis-je?
Ce modèle statistique est encore plus strict que le modèle tau-équivalent.

A

Mesures parallèles

36
Q

Expliquez la différence entre les mesures parallèles et le modèle tau-équivalent.

A

Tau équivalent: tous les items ont la même importance pour le construit (même corrélation)

Mesures parallèles: tous les items ont la même important pour le construit + les variances des items sont statistiquement égales (donc même corrélation et même variance)

37
Q

Que supposent les mesures congénériques?

A

supposent que chaque item du test mesure le même construit, mais pas nécessairement avec la même importance. En d’autres termes, chaque item contribue de manière unique à la mesure du construit. Ces mesures n’exigent pas de variances statistiquement égales.

  • se rapproche le plus de la réalité
38
Q

Qu’est-ce qu’on coefficient de corrélation?

A

Un coefficient de corrélation exprime le degré de correspondance (ou relation, ou
association) entre deux séries de scores (variant de -1 à +1).

39
Q

Quelles mesures de fiabilités sont utilisées lorsque l’on suppose un modèle congénerique ?

A
  • la fidélité composite
  • Omega de McDonald (1977)
40
Q

Quel mesure permet une plus grande précision dans l’évaluation de la fiabilité par homogénéité?

A

les mesures congéneriques.

-> puisque suppose que chaque item a sa propre charge factorielle unique, ce qui signifie que chaque item est corrélé de manière unique avec son construit

41
Q

En quoi consiste la fidélité par inter-correcteurs (interjuges) ?

A

Elle mesure le degré d’accord entre deux ou plusieurs évaluateurs (ou “correcteurs”) qui évaluent indépendamment le même ensemble d’items.

42
Q

À quel moment la méthode interjuges est le plus utilisée?

A

est souvent utilisée dans les situations où les évaluations sont subjectives (TROP QUALITATIF)

ex: comme l’évaluation des performances en milieu de travail, l’évaluation des compétences en éducation, ou l’évaluation des symptômes cliniques en psychologie, entre autres.

ex. rorschach

43
Q

La fidélité inter-correcteur est généralement évaluée à l’aide de mesures statistiques. Nommez en 2.

A
  • corrélation intra-classe
  • le coefficient kappa de Cohen
  • CVC
44
Q

Les avantages de la fidélité par inter-correcteurs (2).

A
  • Réduction du biais d’évaluation : Cette méthode permet de réduire le biais associé à un seul évaluateur. (+ évaluateur, le mieux s’est)
  • Amélioration de la précision : en moyennant les scores de plusieurs évaluateurs.
45
Q

Les inconvénients de la fidélité par inter-correcteurs (2).

A
  • Coût et temps
  • Variabilité des évaluateurs : Les différences individuelles entre les évaluateurs peuvent introduire une variabilité supplémentaire non voulu dans les scores. Expérience des évaluateurs influencent.
46
Q

Qu’est-ce un test de vitesse?

A

la rapidité de la performance explique les différences individuelles observées (mesurées)

  • questions faciles
  • limites de temps très courtes
  • le score reflète la vitesse de travail
47
Q

Qu’est-ce un test de puissance?

A
  • limite de temps suffisamment longue pour que tous puissent tenter de répondre
  • échelle de difficulté plus élevé, difficile d’avoir 100%
48
Q

Qu’est-ce qu’indique la variation des résultats?

A

variation des résultats indique l’indice de fidélité.
+ de variation = moins de fidélité

49
Q

qu’est-ce l’erreur type de mesure?

A

donne une idée de la variabilité des résultats que vous obtiendriez si vous répétiez la même mesure plusieurs fois.

Plus l’erreur type de mesure est petite, plus la mesure est précise.

50
Q

quel est la différence entre l’erreur type de mesure et l’écart type?

A

écart-type: la personne répond UNE fois, tandis que l’erreur type, la personne répond plusieurs fois.

51
Q

Plus l’erreur type de mesure est petite, plus la mesure est ____.

A

précise

52
Q

De quoi dépend l’erreur type de mesure?

A
  • de la variabilité des scores dans la population (l’écart-type)
  • du degré de fidélité de l’instrument
53
Q

comment peut-on réduire l’erreur type de mesure?

A
  • on peut soit augmenter la fidélité de l’instrument
  • soit réduire la variabilité des scores
54
Q

Si mon but est de tester la fidélité, je m’attends que mon erreur type de mesure soit _____.

A

petite

55
Q

Par exemple, comment interprète-t-on un ETM de 2,46.

A

𝐸𝑇𝑀=1 . 7,1√(1−0,88) = 2,46

Cela signifie que si une personne passe le test Wonderlic (par exemple) plusieurs fois, on s’attend à ce que la plupart des scores soient dans un intervalle de ±2,46 points autour de son score moyen.