cours 6 : biais, échelle de validité

Question 1

Le public a parfois l’impression que tous les instruments d’évaluation sont quoi ?

Answer 1

biaisés (e.g., selon l’âge, selon le sexe/genre, selon le groupe ethnique, selon le groupe clinique, etc.)

Question 2

C’est le devoir de qui d’être informée si le test est biaisé ?

Answer 2

l’utilisateur.trice des tests

Question 3

Qu’est-ce q’un biais ?

Answer 3

• Biais = de l’erreur systématique, n’est pas aléatoire

Question 4

Est-ce que les différences de moyenne entre certains groupes constituent un biais ?

Answer 4

• Les différences de moyenne entre certains groupes ne constituent pas a priori un biais puisque certaines sont attendues sur le plan théorique / conceptuel
  
  • e.g., À l’adolescence, peu ou pas de différences de moyenne entre groupes ethniques pour problèmes de comportement, mais différences selon le sexe/genre
  • e.g., À l’âge adulte, présence de différences selon le sexe/genre dans certains traits de personnalité, mais peu ou pas à l’adolescence

Question 5

Quand est-ce qu’un instrument d’évaluation est biaisé ?

Answer 5

Un instrument d’évaluation est biaisé « si les différences entre les membres de différents groupes sont identifiées sur la base de caractéristiques autres que celles que l’instrument prétend évaluer »

Autrement dit, il y a présence de biais pour un instrument si le contenu, la procédure ou l’utilisation favorise ou défavorise systématiquement les membres d’un groupe plutôt qu’un autre et si cette différenciation est non pertinente à l’objectif de l’instrument

Question 6

La validité peut être affectée directement par quoi ?

Answer 6

des (a) biais de réponse aux items individuels ou par des (b) biais des scores à une échelle (scores composites)

Question 7

La présence de biais est une question cruciale pour quoi ?

Answer 7

autant pour les concepteurs.trices que les utilisateurs.trices de tests

Question 8

Qu’est-ce que les biais de réponse ?

Answer 8

• Les personnes qui sont évaluées et doivent répondre aux questions, que ce soit à propos d’elles-mêmes ou en tant qu’informatrices pour un tiers, risquent toujours d’être en partie biaisées
• Par exemple, lors d’une entrevue d’embauche où une personne doit répondre à un questionnaire de personnalité, est-ce qu’elle voudrait paraitre à son mieux? Ou même mieux qu’à son mieux?
• Même à un niveau de base, il est maintenant reconnu que le système cognitif de l’humain est « victime » de plusieurs heuristiques ou biais cognitifs

Question 9

Qu’est-ce que les heuristiques associés aux styles de réponses ?

Answer 9

Heuristiques: Stratégies cognitives utilisées pour simplifier et accélérer une décision en situation d’incertitude

• Parfois appelées « raccourcis mentaux »
• Un concept utilisé et très étudié en psychologie politique, les recherches sur les attitudes, etc.
• S’appliquent à l’évaluation/estimation des comportements
• Très utiles pour le cerveau quand on ne connait pas assez bien une personne à évaluer
• Peuvent aussi mener à des erreurs de jugement et à « stéréotyper » les personnes

Question 10

Quels sont les 4 exemples connus d’heuristiques ?

Answer 10

1. Heuristique de la représentativité
   
   • Évaluation d’une caractéristique spécifique en fonction de son degré de concordance à un prototype (e.g., évaluer l’attention d’un enfant en fonction de notre prototype du TDAH)
2. Heuristique de la disponibilité
   
   • Évaluation qui est influencée par les choses qui viennent plus facilement (ou fréquemment) en tête à l’évaluateur.trice (e.g., comportements d’agressivité des enfants)
   • Ces choses qui viennent en tête plus facilement sont considérées plus fréquentes et plus représentatives de la réalité
3. Heuristiques de primauté / de récence
   
   • Évaluation qui est influencée par la première vs la dernière impression de l’individu
4. Heuristique de l’affect
   
   • Évaluation teintée par l’état émotionnel et affectif actuel (e.g., mauvaise humeur mène à estimer la présence de davantage de problèmes de comportement)

Question 11

Est-ce que les biais de réponses sont banals ?

Answer 11

• Les biais de réponse peuvent sembler banals, mais ils peuvent être très graves puisqu’ils influencent directement la validité des scores obtenus à un test
• La validité « diminuée » peut en retour compromettre la qualité des inférences et des décisions cliniques qui sont prises à propos d’un individu (ou d’un groupe) évalué

Question 12

Quels sont les 8 grands types de biais de réponse ?

Answer 12

1- extrémité
2- indécision
3- acquiescement
4- objection
5- désidérabilité sociale
6- gestion défavorables des impressions (malingering)
7- réponses aléatoires ou négligente
8- deviner ( guessing)

Question 13

Qu’est-ce que l’extrémité ?

Answer 13

tendance à répondre très souvent par la catégories extrêmes peu importe le niveau de l’individu sur le construit

pour des items à choix de réponses multiples

Question 14

Qu’est-ce que l’indécision ?

Answer 14

tendance à répondre très souvent par la catégorie centrale, peu importe le niveau de l’individu sur le construit

pour des items à choix de réponses multiples

Question 15

Qu’est-ce que l’acquiescement ?

Answer 15

tendance à endosser des items, sans égard à leur contenu.

répondre « oui» ou «vrai» dans les items dichotomiques, répondre du côté positif pour les items avec plus de deux choix de réponse

aussi parfois appelée « gestion favorable des impressions»

Question 16

Qu’est-ce que l’objection ?

Answer 16

tendance à rejeter des items, sans égard à leur contenu

répondre « non » ou « faux » dans les items dichotomiques, répondre du côté négatif pour les items avec plus de deux choix de réponse

Question 17

Qu’est-ce que la désidérabilité sociale ?

Answer 17

tendance à répondre de façon socialement désirable ou exagérément positive à des items positifs improbables, de façon a exagérer ses qualités

aussi appelé « échelle de mensonge»

Question 18

Qu’est-ce que la gestion défavorable des impressions ?

Answer 18

tendance à répondre de façon socialement indésirables ou exagérément négative de façon exagérer ses limites ou ses problèmes d’adaptation

Question 19

Qu’est-ce que la réponse aléatoire ou négligente ?

Answer 19

répondre aux items de façon aléatoire ou avec très peu d’attention au contenu des items

Question 20

Qu’est-ce deviner ?

Answer 20

tendance à tenter de deviner la bonne répons aux items

pertinent seulement pour les tests de performance

Question 21

Que faire pour prévenir ou minimiser les biais de réponse ?

Answer 21

1. Gestion de la situation d’évaluation
   
   • Anonymat, minimiser la frustration, donner des avertissements (i.e., prévenir qu’il y a des échelles de validité)
2. Gestion du contenu des tests
   
   • Items simples (niveau de langage), items avec contenu neutre (i.e., non-suggestif), choix de réponse conceptuellement clairs
3. Utiliser des tests ou échelles de validité spécialisées

Question 22

Quels sont les exemples d’échelles de validité ?

Answer 22

• Échelle d’indétermination
• Échelles de désirabilité sociale
• Échelle de gestion dévavorable des impressions
• Échelle de style de réponse extrême
• Échelle d’indécision
• Incohérence variable des

Question 23

Qu’est-ce que l’échelle d’indétermination ?

Answer 23

• Le questionnaire MMPI-2 complet compte plus de 567 questions

On fait la somme des items non répondus, ou des items avec plusieurs réponses sur même item

Question 24

Quelles sont les échelles de désirabilité sociale ?

Answer 24

• Échelle de désirabilité sociale de Marlowe-Crowne
  ○ e.g., « je ne mens jamais »; « j’aime tous les gens que je connais »; « je ne me suis jamais mis.e en colère ».
  • Inventaire balancé de style de réponse socialement désirable – comprend deux échelles distinctes
    ○ Auto-déception : réponses généralement honnêtes, mais exagérément positives
    ○ Gestion des impressions : réponses malhonnêtes, le biais positif sert à (a) plaire aux autres ou (b) obtenir des avantages

Question 25

Qu’est-ce que l’échelle de gestion défavorable des impression ?

Answer 25

• Tendance à répondre positivement à des items négatifs improbables (e.g., « je ne suis bon.ne à rien »; « je n’ai aucun talent »)

Effet difficile à départager avec cas cliniques sévères (e.g., dépression majeure ou trouble de personnalité dépressive, etc.)

Question 26

Qu’est-ce que l’échelle de style de réponse extrême?

Answer 26

• Critères proposés par l’EDC (Parent et al., 2006)

i.e., choisir un nombre de fois anormalement élevé le 1e ou le 7e choix des items

Question 27

Qu’est-ce que l’échelle d’indécision ?

Answer 27

• Critères proposés par l’EDC (Parent et al., 2006)

i.e., choisir un nombre de fois anormalement élevé la catégorie centrale, soit le 4e choix (celui du centre) des items

Question 28

Qu’est-ce que l’incohérence variables des réponses (VRIN) ?

Answer 28

• Somme du nombre de paires d’items qui ont été répondues de façon incohérente
  ○ Similaire: « Je ne pense pas avant d’agir » – « J’agis sans réfléchir aux conséquences »
  ○ Différent: « Je ne pense pas avant d’agir » – « J’y pense bien avant de prendre des décisions »
  • On donne 1 pt pour chaque paire incohérente et calcule une somme
  • Sert à détecter les réponses aléatoires (intentionnelle ou non) ou la confusion dans un questionnaire

Question 29

Qu’est-ce que l’incohérence vrai des réponses (TRIN) ?

Answer 29

• Dans celle-ci, on utilise seulement des paires d’items qui sont conceptuellement différentes
  • On calcule une somme des paires d’items répondues vrai de façon incohérente, moins la somme des paires d’items répondus faux de façon incohérente
  • Sert à détecter les réponses incohérentes qui révèlent l’acquiescement (score très élevé) ou l’objection (score très faible, possiblement négatif)

Question 30

Qu’est-ce que les bais des items (ou des indicateurs) ?

Answer 30

• Il ne s’agit pas des différences de scores sur le trait, mais des différences systématiques dans la probabilité de répondre d’une façon donnée pour chaque item individuellement, une fois que le niveau du trait est contrôlé
• Aussi appelé « fonctionnement différentiel des items »
  ○ On compare la probabilité d’endosser les items d’une échelle pour des individus de différents groupes qui ont le même score/niveau sur le trait
  - Même principe que les variables de contrôle dans les études prédictives (e.g., lorsqu’on « contrôle pour le SSÉ »)

Question 31

Qu’est-ce que les biais structurel (ou factoriel) ?

Answer 31

• Pour un instrument unidimensionnel, il peut s’agir de différences significatives des saturations factorielles entre deux groupes
  ○ Pas banal puisque ceci signifie que le trait n’est pas mesuré de la même façon dans différents groupes
• Pour un instrument multidimensionnel, (a) différences des saturations et (b) la structure factorielle n’est pas la même dans différents groupes
  e.g., analyse factorielle révèle 3 facteurs pour les hommes, mais seulement deux pour les femmes

Question 32

Qu’est-ce qu’un biais critériel (ou critérié) ?

Answer 32

• S’applique autant à la validité de critère concomitante (critère indépendant et groupes contrastés) qu’à la validité prédictive
  ○ e.g., Un trait tempéramental qui prédit l’adaptation ultérieure pour un groupe d’enfants, mais pas pour un autre
  ○ e.g., Un test de QI prédit la réussite pour un groupe culturel, mais pas pour un autre
  ○ Attention: l’observation de différences entre des groupes pour les relations prédictives peut être attendue parce que ceci est justifié théoriquement … il ne s’agit alors pas d’un biais

Question 33

Qu’est-ce que les biais de la fidélité ?

Answer 33

• Les estimés de la fidélité sont significativement différents dans différents groupes
  
  • e.g., a hommes = 0,80, a femmes = 0,58
• Peut être potentiellement important pour l’interprétation
  ○ S’il y a un biais, le niveau de confiance qu’on peut avoir envers les scores d’une échelle varie d’un groupe à l’autre
  ○ Les différences de groupe observées au niveau des moyennes peuvent alors être en partie expliquées par de l’erreur