Cours 7 : La stabilité

Question 1

Que signifie un écart à la moyenne négative ? Positive ?

Answer 1

Négative : l’individu a un score plus faible que la moyenne
Positive : l’individu a un score plus haut que la moyenne

Question 2

Qu’est-ce que la variance ?

Answer 2

Mesure qui sert à déterminer la distance moyenne (au carré) des données par rapport à la moyenne.
- Nous dit pas grand chose
- l’écart-type la rend plus facile à interpréter

Question 3

Qu’est-ce que la covariance ?

Answer 3

Une mesure du degré d’association entre deux variables - comment deux variables se comportent ensembles.
Permet de voir à quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble
Est difficile à interpréter

Question 4

Qu’est-ce que la corrélation ?

Answer 4

Elle exprime la même chose que la covariance, mais par une métrique standardisée (le chiffre ne varie qu’entre -1,00 et +1,00)
Elle est plus facile à interpréter

Question 5

Que faisons-nous dans l’étape de la stabilité (4) dans la vérification?

Answer 5

Vérifier si les choix faits dans l’élaboration sont les bons choix pour minimiser l’erreur de mesure

Question 6

Quels sont les objectifs de la stabilité ? (étape 4)

Answer 6

Vérifier la nature et l’ampleur de l’erreur
Établir la stabilité interne (dans tests) et temporelle (à travers le temps_

Question 7

Quels sont les moyens de la stabilité (étape 4) ?

Answer 7

Erreur-type de mesure
Analyses d’items
Analyses corrélactionnelles
Approche hypothético-déductive
Accord inter-juges

• généralement, on utilise plus qu’un moyen pour vérifier

Question 8

Quelle question on se pose lorsqu’on se préoccupe de la fiabilité ?
Plus spécifiquement, l’étape de la stabilité nécessite de répondre à quelle question ?

Answer 8

1. Mon instrument comporte-t-il l’erreur de mesure ?
2. Combien d’erreur ai-je dans mon instrument ?

Question 9

À l’étape 4, on cherche : (2 éléments)

Answer 9

1) Constance
2) Reproductibilité

Question 10

On pourrait trouver le score vrai si ________

Answer 10

nous faisions des administrations à l’infini du test (Dans différentes conditions et avec différents tests) ce qui est impossible

Question 11

L’erreur de mesure correspond à _______

Answer 11

l’addition de toutes les erreurs aléatoires qui s’accumulent

Question 12

Le gros problème est _______

Answer 12

l’erreur aléatoire

Question 13

Les variations positives et négatives de l’erreur de ont tendance à s’annuler lorsque le nombre d’observations tend _________

Answer 13

vers l’infini (ajout, retire sans cesse = tend vers 0)

Question 14

La vérification de la quantité d’erreur de mesure nécessite l’usage et l’interprétation _____________

Answer 14

d’indices chiffrés (il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause)

Question 15

Plus il y a d’items dans l’instrument, _________ il y a risque d’erreur aléatoire.

Answer 15

moins

Question 16

Quels sont les 3 moyens d’estimer l’erreur de mesure ?

Answer 16

1. Stabilité temporelle
2. COhérence interne/externe
3. Accord interjuges

Question 17

Qu’est-ce que la stabilité temporelle (fiabilité test-retest) implique ? Quels sont les moyens ?

Answer 17

Si le phénomène est stable, deux mesures prises à l’intérieur d’un délai devraient se ressembler.

Moyens :
Corrélation test-retest
Corrélation test-retest avec formes parallèles

Question 18

Dans la corrélation test-retest, la qualité de l’estimation dépend de __________ entre les deux passations et des changements survenus chez les participants durant cette période.

Answer 18

de l’intervalle de temps (délai optimale = 1 mois)

• le contexte d’administration doit être le même (standard)

Question 19

Qu’est-ce que la corrélation test-retest avec formes parallèles ?

Answer 19

C’est la manière d’estimer la stabilité temporelle sans l’effet “néfaste” de la mémoire - enlever l’effet de rappel des participants

Question 20

Dans la corrélation test-retest avec formes parallèles, la qualité de l’estimation dépend :

Answer 20

• de la qualité du parallélisme entre les 2 versions (à quel point les 2 formes se ressemblent?) - à faire avant de checker stabilité test-retest
• de l’intervalle de temps entre les deux passations (ex. des changements sont survenus chez nos participants durant cette période)

Question 21

On considère parallèles les deux formes d’un même instrument lorsque : 5 items

Answer 21

1. Les items sont très similaires (mais pas identiques) - inverses*
2. Le nombre d’items est le même :
3. La structure dimensionnelle est la même
4. Les mêmes directives d’administration sont en vigueur
5. Les deux formes génèrent des résultats avec des moyennes et écarts-types équivalents

Question 22

Quels sont les avantages ? (de corrélation test-retest avec formes parallèles)

Answer 22

Élimination de l’effet de mémoire
Les deux formes peuvent être administrés en même temps

Question 23

Quels sont les inconvénients ? (de corrélation test-retest avec formes parallèles)

Answer 23

Il faut rédiger 2 fois plus d’items
il faut effectuer une validation de “deux instruments”
il faut s’assurer que les formes demeurent parallèles

Question 24

À quoi fait référence la cohérence interne ? (stabilité interne ou consistance interne)

Answer 24

La logique sous-jacente à la manière dont les participants répondent :

Si le construit existe de manière stable, il se manifestera de la même manière (stable) à travers toutes les réponses d’un participant.

Les gens devraient répondre de manière cohérente - ils sont supposer être honnête

Question 25

Par rapport à la cohérence interne, si un construit a différentes sous-dimensions, les items qui mesurent les sous-dimensions devraient corréler plus fortement entre-eux.

Question 26

Qu’est-ce que la corrélation split-half ? (aussi appelée bisection ou corrélation moitié moitié)

Answer 26

Un indice de cohérence interne - on sépare le test en deux et on vérifie la corrélation entre les deux versions “artificielles”
- peut parfois être utilisé comme mesure artificielle de fiabiité test-retest (mais pas recommandé)

Question 27

À quoi on s’attend avec la corrélation split-half ?

Answer 27

On s’attend à une corrélation forte

les items devraient être mélangés de l’instrument
optimum serait de séparer entre item pair et impair - effet de fatigue à considérer

Question 28

Qu’est-ce qui est particulier de la corrélation split-half ?

Answer 28

Cette corrélation ne mesure pas la fiabilité du test, mais bien la fidélité d’un test comportant la moitié d’items.
L’estimé est donc biaisé.

Question 29

Qu’est-ce que la corrélation de split-half de Spearman-Brown permet de faire ?

Answer 29

Ajuste comme si le test ne comportait pas seulement la moitié moins d’items.

Permet d’ajuster pour avoir la moitié moins d’items, puisque avoir moitié moins d’items = valeur de la corrélation est sous-estimé.

Question 30

Comment s’appelle la formule de Spearman-Brown ? À quoi sert-elle ?

Answer 30

La formule de la prophétie - elle permet d’estimer combien d’items il faudrait pour obtenir un “split-half” de X - si on veut split-half excellent - il faudrait combien d’items

Question 31

Quel est la logique sous-jacente à la formule de la prophétie ?

Answer 31

Que les items qui sont ajoutés mesurent la même chose que les items initiaux
Que la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux)

Plus nos items sont mauvais (mauvaise fiabilité), plus nous devrons rédiger des items)

Question 32

Qu’est-ce que l’alpha de Cronbach ? (indice de cohérence interne)

Answer 32

Indique dans quelle mesure les items du test mesurent une seule chose
C’est un chiffre qui varie entre - infini et 1 (mais la plupart du temps il varie entre 0 et 1)
Plus il s’approche de 1, plus la fiabilité est bonne
Ce n’est pas une indice de corrélation

Question 33

Que veut dire un alpha négatif ?

Answer 33

C’est mauvais signe, qu’il y a un problème interne

Question 34

Plus le nombre d’item est grande et plus la corrélation moyenne est grande, plus l’alpha sera _______

Answer 34

élevé

Question 35

Quel est le lien entre la variance et l’alpha ?

Answer 35

La variance est la moyenne des carrés des écarts à la moyenne des scores d’une distribution
Sans écart à la moyenne, il n’y a pas de variance

Question 36

Quel est le lien entre la corrélation et l’alpha ?

Answer 36

La corrélation est une covariance standardisée entre deux distributions de scores.
Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation

Question 37

Comme l’alpha est fondée sur la moyenne de toute les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par ____________

Answer 37

la quantité de variance dans les scores d’items

Question 38

Qu’est-ce que l’accord interjuge ?

Answer 38

Il évalue les variations aléatoires qui dépendent des personnes qui corrigent le test
Si le phénomène se manifeste avec régularité, tous les juges devraient donc observer le même phénomène
- pour des observations/éléments qualitatifs

Question 39

Quels sont les 2 moyens de l’accord interjuges ?

Answer 39

1. Corrélations effectuées sur des cotes (si élevée et positive = bonne corrélation interjuge)
2. Kappas effectués sur la catégorisation ou la fréquence faite par les juges
   - Kappas prennent en compte proportion accord entre deux juges et la probabilité que cet accord soit du au hasard)

Question 40

Quel est le principe de base de l’accord interjuges ?

Answer 40

La compréhension de ce qui est observé sera stable dans la mesure où deux juges “voient” la même chose

Ils verront la même chose si :
- la formation est bonne
- les juges sont compétents
- si les comportements à observer sont bien définis
- si les juges ont les mêmes opportunités d’observer le comportement

Question 41

Quels sont les critères pour juger de la fiabilité ?

Answer 41

0,90 et plus = excellente
0,80-0,89 = modérée
0,70-0,79 = acceptable
0,60-0,69 = inacceptable (parfois utilisé en recherche)
Moins de 0,60 = inacceptable (toujours)

Question 42

Que dit-on d’une fiabilité de 0,95 et plus ?

Answer 42

C’est suspect - (pour cohérence interne seulement)

Question 43

Que peut-on dire sur l’erreur-type de mesure ?

Answer 43

Elle montre l’effet de la fiabilité sur un score généré par l’instrument.

Il est possible de calculer un intervalle de confiance autour du score observé

Question 44

Plus l’ETM est grand, ______ il y a d’erreur dans le score observé

Answer 44

plus

Question 45

Qu’est-ce que l’intervalle de confiance de l’erreur-type de mesure ?

Answer 45

L’intervalle de confiance sert à mesurer, en fonction de l’erreur-type de mesure, du score observé et d’un niveau de certitude désiré, dans quel intervalle se situe le score réel d’un participant

Question 46

À un niveau de certitude de 68%, on calcule l’intervalle de confiance à l’aide de cette formule

Answer 46

score +/- ETM

• 68% de l’échantillon se trouve sous al courbe +/- 1,00 ET de la moyenne
• 95% de l’échantillon se trouve sous la courbe +/- 1,96 ET de la moyenne