Cours 8 Flashcards

1
Q

Qu’est-ce que la validité d’un instrument de mesure

A

le degré de correspondance des évidences et de la théorie à l’interprétation prévue des résultats d’un test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

La validité d’un instrument peut aussi être appelée:

A

standard

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Quel est l’ordre de création d’un test

A

1- théorie et évidences
2- élaboration d’un test
3- administration et analyse des résultats
4- interprétation des résultats
5- résultats valides?
6- théorie et évidences

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Si les résultats sont valides, c’est-à-dire que…

A

l’interprétation des résultats correspond à la théorie et aux évidences selon un degré satisfaisant

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Pourquoi le degré serait insatisfaisant?

A

Soit notre test ne marche pas, soit notre analyse de la validité ne marche pas

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

On suppose que la théorie et les évidences sont bonnes, alors le problème serait…

A

L’élaboration du test et les études de validité du test (entre autres l’étude de la validité de contenu)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

Le contenu d’un test consiste en quoi

A

en tous les éléments qui constituent le test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

Le test consiste en:

A

les items, les stimuli, les consignes

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

Toutes les composantes du test influencent quoi

A

les résultats, et donc l’interprétation du test et sa validité

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

La validité de contenu du test contribue à quoi

A

aux évidences de validité des résultats

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

La finalité du test détermine quoi

A

Le contenu de la mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Les évidences de validité d’un test se cumulent selon quoi

A

selon un processus séquentiel

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

Pour “avoir du sens”, il est prioritaire de tester quoi en premier

A

de tester la validité de contenu avant de tester la fidélité de la mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

Une des premières définitions de la validité de contenu:

A

Le degré auquel les réponses d’un sujet aux items d’un test se considèrent comme un échantillon représentatif de ses réponses à un ensemble réel ou hypothétique de situations qui, ensemble, représentent le sujet d’intérêt (construit cible) de la personne qui interprète le test

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

La validité de contenu d’un instrument de mesure informe sur quoi

A

sur le degré d’adéquation de la mesure à l’estimation du “construit cible” (target) retenu pour la mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

Comme pour la finalité du test, la définition du construit cible détermine quoi

A

le contenu de la mesure

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
17
Q

La validité de contenu dépend du domaine de quoi

A

de définition du contenu

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
18
Q

Domaine de définition conceptuelle du construit (contenu théorique):

A

l’interprétation du construit théorique (ceux que le test mesure)

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
19
Q

Domaine de définition opérationnelle du construit (contenu pratique):

A

opérationnalisation du construit théorique ou expression du construit théorique au moyen de la mesure (représentation du construit par les items)

20
Q

Aspects du contenu

A

-représentatif théoriquement
-relevant théoriquement
-pertinent pratiquement
-dimensionnel (unidimensionnel ou multidimensionnel)
-clair (langage)
-original (élaboration créative)
-exclusif (sélection des items)

20
Q

Représentativité théorique

A

le degré d’adéquation de la globalité de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

21
Q

Relevance théorique

A

le degré d’adéquation de chaque item de la mesure à la représentation théorique du construit (définition conceptuelle du construit; contenu théorique)

22
Q

Pertinence pratique

A

le degré d’adéquation de chaque item de la mesure à une certaine représentation socio-culturelle du construit (définition opérationnelle du construit; contenu pratique)

23
Q

Dimensionnalité

A

le degré d’adéquation de chaque item de la mesure à la dimension du construit pour laquelle l’item est représentatif, relevant et pertinent (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)

24
Clarté du langage
le degré d'adéquation du langage de chaque item de la mesure à une représentation claire du construit (définition opérationnelle du construit; contenu pratique)
25
Originalité
Le degré d'adéquation de chaque item de la mesure à une représentation originale et créative du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
26
Exclusivité
le degré d'adéquation de chaque item de la mesure à une représentation exclusive du construit (définition conceptuelle et opérationnelle du construit; contenu théorico-pratique)
26
Pour déterminer la validité du contenu, les études explorent quoi
la concordance inter-juges concernant l'adéquation du contenu de la mesure à l'estimation du construit cible
27
En fonction des objectifs, les procédures se déroulent par quoi
par groupe de discussion ou par remplissage de questionnaires, dans le but d'établir la concordance des juges (selon leur expertise et leur positionnement)
28
Le remplissage de questionnaires implique quoi
des analyses quantitatives de données
29
Le questionnaire reporte quoi
tous les items à valider (items du test ou d'une adaptation transculturelle)
30
Les items du test à valider sont les items du questionnaire, mais les réponses aux items portent sur quoi
sur les aspects de la validité de contenu pour la globalité du test ou pour chacun des items
31
Une feuille de consignes accompagne le questionnaire et explique quoi aux experts
le domaine de définition du contenu (définition conceptuelle ou opérationnelle de la mesure)
32
Qu'est-ce qui est questionné dans le questionnaire
chacun des aspects de la validité du contenu, pour la globalité du test ou pour chaque item
33
l’étude explore le degré d’adéquation du test et des items à l’estimation du construit (Anastasia, 1988) au moins par rapport à quoi
rapport aux aspects fondamentaux du contenu (représentativité et relevance théoriques, pertinence pratique, dimensionnalité)
34
Le domaine de définition du contenu doit être partagé à qui
aux experts (consignes) et les aspects de la validité du contenu sont discutés pour la globalité du test ou pour chaque item.
35
Subject matter experts (SMEs) :
les juges, un groupe d’experts dans le sujet (p.ex. psychodynamiciens, psychométriciens, personnes qui travaillent dans le domaine, personnes de la population cible, etc.). Le sujet s’étend au-delà du construit et de l’interprétation du construit, qui sont de référence pour l’élaboration du test
35
Du point de vue éthique, les experts sont des quoi?
collaborateurs au processus d’élaboration du test; ils ne sont pas des participants, mais plutôt des évaluateurs qui aident à répondre à la question de recherche.
36
Consanguinité intellectuelle (Balbinotti, 2005):
si les collaborateurs proviennent du même milieu professionnel et/ou de formation, leur collaboration à l’étude (évaluation de la validité de contenu) risque d’être davantage homogène, davantage en accord (« biais! »).
37
Nombre de collaborateurs : en fonction des procédures
-Pour les groupes de discussion: nombre impaire des juges (en fait, un nombre impair permet une application tranchant du critère de la majorité) -Pour le remplissage des questionnaires: en fonction des analyses…
38
Calcul de coefficients de concordance inter-juges (p.ex. Kappa de Cohen ou ICC, soit Coefficient de Corrélation Interclasses) :
ces coefficients expriment la concordance ou l’association entre les évaluations des juges, voire entre les données
39
Coefficients spécifiques à la validité du contenu (Almanasreh et al., 2019) :
création des formules; p.ex. ratio de validité de contenu, indice de validité du contenu (CVI), ou coefficient de validité de contenu (CVC)
40
Malgré les analyses quantitatives, l’opinion des juges demeure
subjective
41
Nombre de collaborateurs: consulter la littérature
-Kappa de Cohen ou ICC: au moins 2 évaluateurs; - CVC: entre 3 et 5 juges, Likert à 5 points; - CVR: « work in progress »
42
Toutes les démarches souhaitées (méthode utilisée) pour explorer la validité de contenu ont été conduites, mais les résultats des analyses montrent
une validité de contenu insatisfaisante pour le test élaboré ou adapté
43
Peut-être que le problème remonte aux types d’analyses:
Le fait d’individuer si les items représentent le construit ne renseigne pas sur les aspects du construit qui ne sont pas représentés par les items; autrement dit, le fait de quantifier la validité de contenu ne répond pas à la nécessité d’apporter une attention accrue à la sélection ou élaboration des items (Gregory, 2004)
44
Peut-être que le problème remonte à l’élaboration des items: « item-writing » dans la littérature
Problématique 1 : plusieurs facteurs influencent la rédaction des items et il n’y a pas assez d’études à ce sujet, ni assez des standards/indications communes/guidelines (Haladyna et al., 2002; Hambleton & Zenisky, 2011) Problématique 2 : à propos de l’élaboration des items, les auteurs ne partagent pas suffisamment d’informations ou ils ne partagent pas les éléments problématiques (Clifton et al., 2023)