Cours #4 Flashcards
La fiabilité à la phase de préparation (def de fiabilité en général + l’air de quoi à l’étape de l’élaboration)
Fiabilité en général
«Jusqu’à quel point mon instrument comporte-t-il de l’erreur de mesure?»
À l’étape de l’élaboration
«Comment créer un instrument qui limite au maximum l’erreur de mesure?»
Élaboration : objectifs + moyens
Objectifs
- Prévoir les sources d’erreur de manière à les minimiser
- Construction de l’instrument
Moyens
- Lectures «psychométriques»
- Inventaire des stratégies déjà employées
Élaboration : les décisions prises auront incidence sur…
il faut faire des choix éclairés par rapport à …
Les décisions prises auront une incidence sur le niveau d’erreur de mesure et la manière d’évaluer l’étendue de l’erreur
Il faut donc élaborer en faisant des choix éclairés par rapport:
- au type de test
- au type et au nombre d’items
- au type de réponse
- au type d’échelle
- à la méthode de cotation
- à la méthode d’administration
Erreur systématique
a) La même erreur de mesure affecte tous les scores d’un instrument de la même manière, dans la même direction
OU
b) La même erreur de mesure affecte tous les scores d’une personne de la même manière, dans la même direction
- La fiabilité est moins en danger (la mesure peut rester constante et reproductible)
- Bien qu’importante et qu’il faille la minimiser, l’erreur systématique n’est pas considérée comme une source grave d’erreur de mesure
Erreur aléatoire
N’affecte pas tous les scores de la même manière: très problématique
4 catégories:
- Erreurs lors de la cotation
- Variations dans les procédures d’administration
- Variations dues aux répondants
- Variations en raison du contenu (items)
Types de tests : instrument normatif vs critérié
NORMATIF
Instruments dont l’interprétation des résultats repose sur la comparaison aux résultats compilés auprès d’un échantillon de la population à qui s’adresse l’instrument
Exemple:
WAIS (test QI)
CRITÉRIÉ
Instruments dont l’interprétation des résultats repose sur le fait qu’un seuil critique à été, ou non, dépassé
Exemple:
Examen au baccalauréat en psychologie
Types de tests : Vitesse vs puissance
VITESSE
- Tous les items sont faciles et ont un niveau de difficulté égal (sauf lorsque le test est aussi de puissance)
- Correction: Le nombre d’items complétés en X temps OU le temps nécessaire pour compléter tous les items.
Exemple:
Test de vitesse de traitement où l’on coche tous les «T » sur une page remplie de lettres
PUISSANCE
- Objectif: Vérifier les limites des connaissances ou des habiletés du candidat
- Les items sont ordonnés du plus facile au plus difficile
- Peut inclure un temps limite
Exemple:
Test des blocs de la WAIS
Types de tests : performance typique vs performance maximale
PERFORMANCE TYPIQUE
- Comment la personne est-elle dans la vie de tous les jours ?
- Vise à mesurer le niveau habituel
Exemple:
Test de personnalité
PERFORMANCE MAXIMALE
- Comment la personne est-elle à son mieux?
- Vise à mesurer la meilleure performance possible
Exemple:
Test de rendement
Types de tests : papier-crayon vs performance
PAPIER-CRAYON
- Les personnes qui passent le test répondent à des items écrits
Exemple:
Questionnaire «Test de personnalité»
PERFORMANCE
- Les personnes soumises au test effectuent une tâche
Exemple:
WAIS
** Attention, on réfère au résultat obtenu à tout test comme «la performance au test».
Types de tests : individuel vs de groupe
INDIVIDUEL
- Instruments conçus pour être administrés à une personne à la fois
- Ne peuvent PAS être administrés en groupe
Exemple:
Rorschach
GROUPE
- Instruments conçus pour être administrés à plusieurs individus à la fois
- Peuvent être administrés à une personne lorsque les circonstances le dictent et lorsque le «manuel» décrit comment le faire
Exemple:
-SAT
Types d’items : c’est quoi un item + 2 formats de réponse
1) Qu’est-ce qu’un item?
- Le stimulus auquel répond le participant
- C’est «la question»
- Peut être écrit ou oral
2) 2 formats de réponse:
- réponse fermée (ou à choix de réponses)
- réponse ouverte (ou à développement)
Items à réponse fermée (types + voir le tableau)
TYPES
1- vrai ou faux
2- oui ou non
3 - échelle de likert
4 - échelle d’évaluation graphique
5- choix de réponses
6- choix forcé (échelles ipsatives
Items à question ouverte (exemples)
La réponse à une question ouverte peut être d’un seul mot ou plus longue
Exemples
Associations verbales
Compléter une phrase
Stimulus visuel ambigu
Question à développement dans un examen
Items à choix de réponses ou à développement
Avantages et inconvénients pour les 2 types de format de réponse
- Test collectif ou individuel ?
Choix de réponses
- Fidélité de la cotation
- Optimisation du temps de passation
- Optimisation du temps pour la cotation
Items àdéveloppement
- Facilite l’observation de comportements et de processus associés au test
- Richesse de l’information recueillie
Types d’échelles
Les variables sont évaluées ou quantifiées à l’aide d’échelles de mesure.
Classification en quatre types aux propriétés distinctes:
1. Nominale
2. Ordinale
3. Intervalles
4. Rapport
Échelle nominale
(les nombres représentent quoi ?)
(échelle de type….)
Cette échelle permet:
a) d’identifier les personnes
2) C’est une échelle catégorielle, où les nombres représentent une caractéristique particulière
- Le nombre n’a pas de sens particulier à part représenter la catégorie
- On ne peut donc faire aucune opération mathématique avec ces nombres
3) Exemples:
Numéro d’assurance sociale
Numéro de dossard
0 = Femme / 1 = Homme
1 = Montréal / 2 = Québec / 3 = Rimouski
Échelle ordinale
Cette échelle permet:
a) d’identifier les personnes
b) de les mettre en ordre de rang
2) Les nombres entretiennent une relation entre eux
- On ne peut faire aucune opération mathématique avec ces nombres à part les classer en ordre
- On ne connaît pas la distance entre chaque position
3) Exemples:
Rang dans une compétition sportive
Rang des journées les plus chaudes de l’année
Rang de la personne la plus grande à la plus petite
Échelle à intervalles
Cette échelle permet:
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
2) Tous les écarts entre les nombres sont équivalents (équidistants). Toutefois, l’échelle est arbitraire et le 0 (zéro) ne signifie pas l’absence de l’attribut
3) Exemples:
Température en Celsius ou en Fahrenheit
L’année
Échelle de rapport
Cette échelle permet:
a) d’identifier les personnes
b) de les mettre en ordre de rang
c) d’effectuer des additions et des soustractions
d) d’effectuer des multiplications et des divisions
Tous les écarts entre les nombres sont équivalents (équidistants).
- L’échelle possède un zéro absolu, où 0 signifie l’absence de l’attribut
Exemples:
Température en Kelvin
Distance au lancer du javelot
Score à un examen en pourcentage
Résumé des 4 types d’échelles
Opérations permises et sophistication… voir one note
Échelles courantes en psychologie
En psychologie, il y n’y a pas vraiment d’échelles de rapport.
- On s’intéresse peu à la température, la distance, etc.
Les échelles sont principalement nominales, ordinales ou à intervalles
What about les échelles de Likert ?
(dans quel contexte elles sont développées?)
Développé en 1932 dans un contexte d’items mesurant les attitudes
Propose un nombre pair ou impair d’alternatives
Le nombre d’alternatives dépend de la capacité des répondants à faire la distinction entre elles
Les mots (ancres) doivent être bien choisis
Les mots (ancres) supposent un ordonnancement en terme d’intensité du phénomène d’intérêt
Les écarts entre les alternatives adjacentes sont présumés équidistants
ALLER VOIR IMAGE ÇA RESSEMBLE À QUOI
Problèmes avec certaines échelles de Likert
(voir one note)
ON voudrait que tt equidistant, on voit que entre le 0 et 1 = 1 vrm collé, mais apres entre 2 et 3 non….
Pas equidistance entre les degrés du phenomene !!! Alors que ca devrait être le cas.
Ici, prob = écart entre ces choix va dep de la pers qui repond. Pr une pers, assez souvent pt être une fois par semaine, alors que autre = 1x par mois. Cv dep de la personne qui repd. Laisse place interpret pers qui repond. Trop de variabilité qui px être possible.
On sait pas ce que mots de echelle veulent dire. Ce qui mieux = avoir nb de conso selon periode de temps (echelle de rapport).
Nb d’ancres ds une échelle de Likert
L’échelle devrait comporter assez d’ancres pour que la personne puisse faire un choix
Elle devrait aussi en comporter un nombre assez restreint pour que les choix soient assez distincts les uns des autres
L’échelle doit être adaptée à la population cible
Veut-on forcer la personne à se prononcer ou non?
De quoi dépend la correction ?
On dit aussi cotation, ou scoring
La correction dépend directement du type d’item et de format de réponse choisi
Combien de points sont accordés par item, selon la réponse du répondant à l’item?
Comment se calcule le score total à l’instrument?
- Moyenne, somme, score brut, score transformé, etc.
Corrections des items à réponse fermée
TESTS DE RENDEMENT OU APTITUDES
- La bonne réponse vaut 1 et les mauvaises valent 0
- 2 points pour la meilleure réponse, 1 point pour une réponse correcte, 0 points pour une mauvaise réponse
- 1 point pour la bonne réponse, -1 pour une mauvaise réponse
TESTS DE PERSONNALITÉ, D’ATTITUDES, D’INTÉRÊT
- Vrai ou faux: 1 ou 0
- Oui ou non: (oui = 1, ne sais pas = 0, non = -1
- Échelle de Likert: 1, 2, 3, 4, 5 OU -2, -1, 0, 1, 2
- Choix forcé: 1 ou 0
Correction des items à réponse ouverte
- Cotation globale de l’évaluateur: jugement global sur le texte
- Cotation analytique: plusieurs critères déterminent l’évaluation du texte
- Qualification par points: Présence d’une réponse «parfaite» et chaque élément présent vaut un point
**Il est Impératif que les réponses soient évaluées de la même façon et que les évaluateurs évaluent les réponses de la même façon (fiabilité inter-juge)
Méthodes d’administration
Les méthodes d’administration incluent :
- Les directives aux personnes évaluées ;
- Les conditions d’administration ;
- La cotation (allocation des points).
Lorsque les méthodes d’administration sont observées systématiquement, on les qualifie de standardisées.
Méthodes d’administration
Les méthodes d’administration incluent :
- Les directives aux personnes évaluées ;
- Les conditions d’administration ;
- La cotation (allocation des points).
Lorsque les méthodes d’administration sont observées systématiquement, on les qualifie de standardisées.
Création d’items : l’item doit …
L’item doit être conforme à la définition du construit
L’item doit réduire au maximum l’erreur de mesure
L’item doit utiliser un vocabulaire adapté aux bénéficiaires
L’item doit pouvoir se répondre avec l’échelle de mesure utilisée
Création d’items : Do’s and dont’s
Prioriser le «je»
Favoriser une formulation affirmative plutôt qu’interrogative
Éviter de mettre «deux idées» dans un même item
Éviter les métaphores
Éviter les items à négations multiples
Favoriser une formulation claire des items
Favoriser une formulation concise des items
Attention aux adverbes
Varier le sens des items
Items inversés
- Un item dont la direction est opposée à celle des autres items (du même construit).
- Exemple d’items pour la dépression
Je me sens déprimé (item normal)
Je ne me sens pas déprimé (item inversé)
Je me sens heureux (item inversé) - Permet de détecter et de contrôler les tendances de réponses
Vrai ou Faux ? Échelle à intervalle = arbitraire
Vrai :)
