Cours 7 : Stabilité Flashcards

(64 cards)

1
Q

Moyen pour répondre : Suis-je normal?

A

Une manière d’y répondre est de comparer une personne à d’autres d’un groupe référence
écart à la moyenne

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Écart à la moyenne

A

(Score d’un participant) - (la moyenne du groupe) = La distance entre le score du participant et la moyenne du groupe (négative ou positive)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

si écart à la moyenne négative

A

plus faible à la moyenne
car soustrait le score du participant à la moyenne du groupe

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

La variance
formule
comment calculer
sert à quoi

A
  • la moyenne des carrés des écarts à la moyenne du score de tous les individus
  • mesure qui sert à déterminer la distance moyenne du score de tous les individus
    sà la 2 x = somme (x- xmoyenne)2 / N
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Écart-type
formule
similaire à

A

plus facile à interpréter que la variance
sx = racine carée de la formule de la variance
racine carrée de : somme (x-xmoyenne)2 / N

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

La covariance
c’est quoi
standarisée?

A

mesure du degré d’association entre deux variables
À quel point une donnée occupe la même position dans deux distributions de variables différentes.
À quel point les variables changent ensemble. Ex. une augmente l’autre diminue?
non-standardisée

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

formule de la covariance

A

cov (x,y) = somme (x-xmoyenne) (y-ymoyenne) / N

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Pourquoi on passe de covariance à la corrélation

A

interprétation plus difficile de la covariance, c’est pour ça on passe à la corrélation
la corrélation exprime la même chose que la covariance, mais par une métrique standarisée (-1 et +1)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Corrélation

A

exprime même chose que covariance, mais par une métrique standarisée (-1 à +1)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

formule de la corrélation

A

r xy = somme (X- xmoyenne) (Y - Ymoyenne) / N sxsy

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

objectifs Étape 4 : Stabilité

A
  • Vérifier la nature et l’ampleur de l’erreur
  • Établir la stabilité interne (à travers le test lui-même) et temporelle
    (cherche à voir le degré de confiance dans les résultats obtenus)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Moyens étape 4 : Stabilité

A
  • erreur type de mesure
  • analyses d’items
  • analyses corrélationnelles
  • approche hypothético-déductive
  • accord inter-juges
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Fiabilité général et étape de stabilité

A

Mon instrument comporte-t-il de l’erreur de mesure?
étape de stabilité : Combien d’erreurs ai-je dans mon instrument?

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

ce qu’on veut obtenir : étape stabilité

A
  • constance (cohérence dans le temps)
  • reproductibilité
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

score observé formule

A

score observé (X) = Score Vrai (V) + erreur de mesure (e)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

comment obtenir score vrai

A

aucune erreur de mesure
obtenir avec une administration illimitée du test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

score vrai formule

A

différence entre le score observé et l’erreur de mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

erreur de mesure formule

A

erreur de mesure = différence entre le score vrai et observé

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Moyens d’estimer l’erreur aléatoire

A

pour un individu X= V + e
pour tout le groupe somme de X = somme V + somme e
résumer le groupe moyenne X (score observé) = moyenne de V (score vrai) + moyenne de e (erreur de mesure)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
20
Q

Pourquoi les variation positives et négatives de l’erreur ont tendance à s’annuler lorsque le nb observation tend vers infini

A

moyenne de l’erreur aléatoire tend vers 0, car moyenne erreur de mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
21
Q

Nb items et erreur de mesure

A

+ instrument a des items, + risque d’erreur aléatoire va diminuer
en lien avec moyenne de l’erreur aléatoire sur un grand échantillon va tendre vers 0

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
22
Q

ex. on veut mesurer l’Intelligence.
et erreur de mesure qui tend vers 0

A

Si grand échantillon, l’erreur va s’annuler donc moins grave si test moins viable
si en clinique plus grand impact si c’est sur un individu, car cette erreur de mesure ne va pouvoir s’annuler

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
23
Q

méthodes et principes pour vérification de la quantité d’erreurs de mesure

A
  1. l’usage et l’interprétation d’indices chiffrés
  2. Il y a plusieurs indices différents afin de circonscrire le type d’erreur en cause.
    stabilité temporelle/fiabilité test-retest, cohérence interne/consistance interne et accord interjuges
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
24
Q

phénomène que l’on mesure (principe de base de la psychométrie)

A

Le phénomène que l’on veut mesure est relativement stable dans le temps

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
25
Trois moyens d'estimer l'erreur de mesure
- Stabilité temporelle - Cohérence interne/consistance interne - Accord interjuges
26
principe Stabilité temporelle ou fiabilité test-retest
Si le phénomène est stable, deux mesure prises à l'intérieur d'un délai devrait se ressembler
27
Moyens pour stabilité temporelle ou fiabilité tets-retest
- Corrélation test-retest - Corrélation test-retest version parallèle
28
Corrélation test-retest qualité de l'estimation dépend ;
manière d'estimer stabilité temporelle qualité de l'estimation dépend de l'intervalle de temps entre les deux passations et des changements survenus chez les participants durant cette période (s'assurer d'avoir une standardisation de l'administration) si une heure entre les deux passations : la corrélation devrait se rapprocher de 1- effet de mémoire
29
Corrélation test-retest avec formes parallèles + qualité de L'estimation dépend ?
manière d'estimer stabilité temporelle sans effet « néfaste» de la mémoire La qualité de l'estimation dépend : 1) qualité du parallélisme entre les deux versions 2) de l'intervalle de temps entre les deux passations
30
on considère parallèle les deux formes d'un même instrument lorsque :
- Les items sont très similaires (mais pas identiques) ex. quelles réponses sont fausses/quelles réponses sont vrais - Le nombre d'items est le même - La structure dimensionnelle est la même - Les même directives d'administration sont en vigueur (processus standardisé) - Les deux formes génèrent des résultats avec des moyennes et écart-types équivalents
31
Avantage et inconvénient parallélisme
+ Élimination de l'effet de mémoire Les deux formes peuvent être administrées en même temps - Il faut rédiger 2 fois plus d'items Il faut effectuer une validation de « deux instruments »  il faut s'assurer que les formes demeurent parallèles
32
Cohérence interne (stabilité interne ou consistance interne) postulat
Postulat : si le construit existe de manière stable , il se manifestera de la même manière à travers toutes les réponses d'un participant e terme « cohérence interne » fait référence à la logique sous-jacente à la manière dont les participants répondent aux items : devrait répondre de la même manière aux items qui mesurent le même construit si les personnes sont honnêtes…
33
Moyens pour mesurer cohérence interne
- Corrélation « split-half » - Alpha de Cronbach
34
La corrélation split-half (indice de cohérence interne_ séparation idéale?
- sépare le test en deux et vérifie la corrélation entre les deux versions « artificielles » Il devrait y avoir une corrélation élevée entre les deux moitiés si les réponses des participants sont stables Peut parfois être utilisé comme mesure artificielle de fiabilité test-retest (mais pas recommandé) *séparation en pair et impair mieux que 25 début et 25 à la fin (fatigue)
35
estimé biaisé split-half
Ne mesure pas la fiabilité du test, mais bien la fiabilité d’un test comportant la moitié moins d’items L’estimé est donc biaisé : quand on augmente nombre d’items, erreur de mesure diminue
36
La corrélation de split-half de spearman-brown (indice de cohérence interne) formule?
meilleur estimation, augmenter la corrélation 2 fois corrélation split-half divisé par 1+corrélation split-half
37
améliorer la cohérence interne
*Spearman et Brown ont pu développer la correction utilisée dans le cas d’une corrélation « Split-half » grâce à des travaux plus pointus qui ont culminé à ce qu’on appelle la formule de la prophétie *Cette formule permet d’estimer combien d’items il faudrait pour obtenir un « Split-half » de X
38
Formule de la prophétie
Nb d"items (K) x (fiabilité désirée rd (1-fiabilité observé ro) divisé par fiabilité observé (1-fiabilité désirée)) *arrondit à la hausse même si 22,2 = 23 il faudrait 13 items, si déjà 4, il faudrait ajouter 9 items supplémentaires
39
La logique sous-jacente à la formule de prophétie suppose:
- les items qui sont ajoutés mesurent la même chose que les items initiaux - la moyenne des intercorrélations entre les items initiaux soit égale à la moyenne des intercorrélations du total des items (soit les items ajoutés + les items initiaux ) Plus items sont mauvais, plus il va falloir ajouter d’items
40
Alpha de Cronbach (indice de cohérence interne)
Indique dans quelle mesure (à quel point) les items du test mesurent une seule chose C’est un chiffre qui varie entre -∞ et 1 (mais la plupart du temps il varie entre 0 et 1); Plus il s’approche de 1, plus la fiabilité est bonne. si il est négatif, mauvais signe Ce n’est pas un indice de corrélation, c’est un alpha
41
formules alpha de Cronbach
Plusieurs formules permettent d'obtenir l'Alpha, mais une en particulier permet de comprendre les fondements nb d'items (K) x la moyenne des intercorrélations entre toutes les paires d'items de l'instrument (rmoyenne) divisé par 1+ (K-1)x rmoyenne
42
Nb items et alpha de cronbach
Plus le nombre d’item est grand et plus la corrélation moyenne est grande, plus l’Alpha sera élevé
43
L'influence des deux variables sur l'alpha de cronbach
- Nb items - Corrélation moyenne (corrélations possibles entre les scores plus grand impact)
44
lien entre variance, corrélation et alpha
Sans écarts à la moyenne, il n’y a pas de variance. La corrélation est une covariance standardisée entre deux distributions de scores. Sans variance dans l’une ou l’autre des distributions, il n’y a pas de corrélation. Comme l’Alpha est fondé sur la moyenne de toutes les corrélations possibles entre les scores d’items, l’Alpha est aussi très affecté par la quantité de variance dans les scores d’items. ex. pas de variance si tous ont le même poids. On ne veut pas que tout le monde soit toujours très extravertie = peut de variance et donne des alpha limité par le manque de variance ex. famille très proche répond de manière similaire aux items Donc, il est important de considérer la variabilité de répondes que l'item suscite
45
Accord interjuges
Si le phénomène se manifeste avec régularité, tous les juges devraient observer le même phénomène
46
Moyens accord interjuges
1. Corrélations effectués sur des cotes 2. Kappas effectuées sur la catégorisation ou la fréquence faite par les juges
47
Principes accord interjuges verront la même chose si
La compréhension de ce qui est observ. sera stable dans la mesure ou les deux juges « voient » la même chose. Le juges «verront » la même chose : - Si la formation est bonne - Si les juges sont compétents - Si les comportements observer sont bien définis - Si les juges ont les mêmes opportunités d'observer le comportement
48
Juger de la fiabilité (critères)
0,95 et plus : suspect (pour cohérence interne seulement) 0.90 et plus : excellente 0,80 à 0.89 : modérée 0,70 à 0,79 : acceptable 0,60 à 0,69 : inacceptable (parfois utilisé en recherche) moins de 0,60 : inacceptable (toujours) Ces critères sont généraux. Plus un instruement est utilisé pour prendre des décisions importantes, plus il faut être sévère
49
Pourquoi suspect au-dessus de 0,95 cohérence interne
suspect au dessus-de cohérence interne : oublier certains éléments du construit items se ressemblent beaucoup, mais parce que sous-représenter le construit
50
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité Fiabilité test-retest : corrélation
la corrélation entre les résultats au temps 1 et les résultats au temps 2 sera positive et élevée
51
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité Accord interjuge : corrélation
la corrélation entre les résultats du juge A et le Juge B sera élevé
52
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité accord interjuges : kappa
Le pourcentage entre le juge A et le juge B sera élevé
53
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité formes parallèles : corrélation
corrélation entre les résultats de le forme A et résultats forme B sera positive et élevée
54
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité cohérence interne : corrélation
1. La corrélatio entre résultat à item 1 et résultat à item 2 sera positive et élevée (à interpréter avec les critères de Cohen 2. La corrélation entre le résultat à l'item 1 et le score total sera positive et élevée
55
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité cohérence interne : split-half
corrélation entre le score total première moitié de l'instrument et score total deuxième moitié de l'instrument sera positive et élevée
56
hypothèses caractéristiques d'études de validation relatives à l'étape de Stabilité cohérence interne : Alpha de Cronbach
Plus les participants répondent logiquement (c'est ce qui doit se produire su les items ne contiennent pas d'erreur0, plus le items sont inter-corrélés et plus le coefficient sera élevé
57
lequel des indices de stabilité doivent être interpréter avec critère de Cohen
corrélation dans cohérence interne
58
Erreur type de mesure formule
ÉTM= écart-type au test (s) x racine caré de 1-corrélation split-half(rxx)
59
3 infos erreur type de mesure
- L'ETM montre l'effet de la fiabilité sur un score généré par l'instrument - Plus l'ETM est grand, plus il y a d'erreur dans le score observé - Il est possible de calculer un intervalle de confiance autour du score observé
60
est-ce qu'on peut utiliser alpha de cronbach pour formule de l'erreur-type de mesure
non car alpha de cronbach n'est pas une corrélation
61
intervalle de confiance
sert à estimer, en fonction de l'erreur type de mesure, du score observé et niveau de certitude, dans quel intervalle se situe un score réel (vrai)d'un participant 68% de l’échantillon se trouve sous la courbe à +/- 1,00 ET de la moyenne. 95% de l’échantillon se trouve sous la courbe à +/- 1,96 ET de la moyenne. dépendamment du degré de certitude, choisi intervalle score +/- 1,96 x ETM
62
Bornes d'intervalles (supérieur et inférieur)
inférieur : score observé- (1,96 x ETM) supérieur : score observé + (1,96 x ETM) il y a donc 95% des chances qu'un score observé de 10 corresponde à un score vrai se situant entre 6,14 et 13,86
63
Est-ce que l'intervalle de confiance nous informe sur la fiabilité de l'instrument ?
seulement score si niveau de certitude élevé : si veut plus de certitude : borne plus large
64
En résumé l'erreur-type de mesure permet ;
de relativiser le score obtenu et déterminer l’intervalle de confiance autour d’un score vrai pour X On peut le calculer pour un niveau de confiance plus élevé ou plus bas