Validité - chapitre 4 Flashcards
(126 cards)
1
Q
En psychométrie, quel est le concept considéré comme le plus fondamental et le plus important?
A
La validité
2
Q
Dans le Standards for Educationnal and Psychological Testing, la validité est présentée comment?
A
Comme un concept unitaire se rapportant non au test lui-même mais aux inférences faites à partir des résultats à celui-ci.
3
Q
Messick va jouer un rôle important en défendant avec force quoi?
A
La nécessité d’intégrer l’ensemble des preuves de validité sur la base d’une notion unificatrice, celle d’un cadre conceptuel.
4
Q
Qu’est-ce que le cadre conceptuel?
A
Une définition des notions et d’un modèle que nous souhaitons mesurer.
5
Q
Vrai ou faux. C’est par rapport au cadre conceptuel que les preuves de validité seront sélectionnées et prendront leur valeur.
A
Vrai
6
Q
Selon le Standard Educational and Psychologial testing, quel est le point de départ de la démarche de validation?
A
Une définition détaillée du cadre conceptuel du test.
7
Q
Par quoi est définit le cadre conceptuel?
A
Par l’usage prévu des scores au test.
8
Q
Récolter des preuves de validité consiste à quoi?
A
À générer des hypothèses susceptibles de mettre en question la validité de nos inférences.
9
Q
Vrai ou faux. La responsabilité de la validité repose uniquement sur les épaules des constructeurs de test.
A
Faux, c’est la responsabilité de tous et chacun. Autant les constructeurs que les utilisateurs et les chercheurs.
10
Q
Quelle est la responsabilité du chercheur p/r à la validité?
A
Ils doivent rassembler de nombreuses preuves de validité du test choisi.
11
Q
Quelle est la responsabilité de l’utilisateur?
A
La responsabilité de vérifier, dans le cadre de leur application des tests, si leurs interprétation des scores possèdent une validité suffisante.
12
Q
Vrai ou Faux. Les preuves de validité sont rassemblées en trois catégories.
A
Faux c’est en 5
13
Q
Quelles sont les 5 catégories de preuves de validité?
A
1- le contenu 2- les processus de réponse 3- la structure interne 4- les relations avec d'autres variables 5- les conséquences du testing
14
Q
D’où proviennent les preuves de validité basées sur le contenu d’un test?
A
De l’avis d’experts chargés d’évaluer dans quelle mesure les items d’un test sont représentatifs du concept ou du domaine visé.
15
Q
Vrai ou faux. Les preuves de validité du contenu concernent uniquement la formulation des items.
A
Faux elles concernent également leur format et les consignes de passation et de cotation.
16
Q
Peut-on contrer la subjectivité de l’avis d’experts?
A
Oui par une méthodologie rigoureuse qui permet d’arriver à des conclusions solides qui pourront trouver une confirmation dans des recherches empiriques ultérieures.
17
Q
En quoi consiste les preuves de validité basées sur les processus de réponse?
A
Vérifier si les démarches mises en oeuvre par les sujets pour produire leurs réponses correspondent bien à ce qui est prévu dans le cadre conceptuel qui sous-tend le test.
18
Q
Vrai ou faux. La récolte des preuves de validité basées sur les processus de réponse implique une analyse détaillée des réponses individuelles.
A
Vrai
19
Q
Cette récolte des preuves peut faire appel à quoi?
A
Enregistrements vidéo, mesures de temps de réponses et à d’autres techniques permettant d’objectiver la démarche suivie par les sujets pour produire leurs réponses.
20
Q
Qu’est-ce que les preuves de validité sur la structure interne du test?
A
Elle consiste à vérifier que les relations entre les items et entre les composantes du test sont conformes à ce que prévoit le modèle de référence.
21
Q
Quelle est la situation la plus simple pour évaluer la validité de la structure interne du test?
A
Lorsque nous postulons l’unidimensionnalité de la réalité mesurée.
22
Q
Nommez un exemple d’une structure du test est basée sur un modèle plus complexe qui motive le calcul de plusieurs scores composite et d’un score global pour l’ensemble du test.
A
Les échelles d’intelligence pour Wechsler
23
Q
Dans les échelles de Wechsler, il est nécessaire de vérifier que les relations entre les épreuves sont bien conformes au modèle théorique et qu’elles justifient le calcul des différents scores composites. Vrai ou faux.
A
Vrai.
24
Q
La procédure de récoltes de preuves sur les relations avec d’autres variables repose sur…
A
l’examen des corrélations entre les scores au test et d’autres mesures, externes au test, prises comme critères.
25
Quels peuvent être ces critères?
Les scores à d'autres tests mesurant un même concept, les résultats d'examens, les jugements d'experts, le classement dans des catégories, etc.
26
Qu'est-ce qu'une preuve de convergence?
Des mesures d'une réalité similaire à celle visée par le test.
27
Qu'est-ce qu'un preuve de discrimination?
Lorsque le but est alors de vérifier que le test mesure spécifiquement la variance associée au concept visé et non la variance de caractéristiques proches mais non pertinentes.
28
Les preuves de validité peuvent être obtenues de deux manières, lesquelles?
1 - les deux séries de mesures sont récoltées simultanément (validité concomitante)
2- les mesures au test servent à prédire des résultats qui seront obtenus ultérieurement. (validité prédictive)
29
Les preuves de validité basées sur les relations avec d'autres variables soulèvent la question de...
leur généralisation.
30
Vrai ou faux. Les méta-analyses permettent, si certaines conditions sont réunies, une généralisation des preuves de validité réunies dans un nombre limité d'études à un ensemble plus larges de situations.
Vrai
31
Qu'est-ce que les preuves de validité basées sur les conséquences du testing?
Cela concerne les implications souhaitées et non souhaitées de l'usage de tests.
32
Les preuves de validité basées sur les conséquences du testing doivent être basées sur...
En référence au modèle théorique qui sous-tend le test.
33
Vrai ou faux. Il est fréquent que les tests ont exactement les conséquences que l'on souhaite, ce qui est parfois plus important que les résultats recherchés.
Faux. Il est fréquent que les tests aient des conséquences non souhaitées qui sont parfois plus importantes que les résultats recherchés.
34
À quoi sert le modèle théorique dans la validité basée sur les conséquences du testing?
Il fournit le fondement qui permet de formuler des hypothèses à propos des résultats attendus au test et d'anticiper les conséquences possibles non souhaitées de son application.
35
Il est en effet nécessaire, non seulement de repérer les conséquences négatives effectives de l'usage du test mais aussi...
D'en prévenir les effets négatifs potentiels.
36
Vrai ou faux. L'évaluation des preuves de validités basées sur les conséquences est uniquement la responsabilité des constructeurs de test.
Faux, les utilisateurs des tests également.
37
Quelle est la responsabilité des utilisateurs des testsT
Il est le seul à même d'apprécier l'impact de divers facteurs sur la validité des scores récoltés.
38
Vrai ou Faux. Il est possible d'évaluer les conséquences d'un test si celui-ci n'a pas été utilisé durant un certain temps.
Faux, il n'est pas possible.
39
Vrai ou faux. Trop souvent les preuves basées sur le contenu se focalisent sur les items seulement.
Vrai
40
Sur quoi d'autres les preuves basées sur le contenu doivent focaliser leur attention?
- instructions données aux sujets
- modalités de présentation des stimuli
- contraintes de temps
- modalités de réponse
- critères de correction
41
Les mesures cités dans la réponse #40 peuvent être la source de biais importants qui...
affecteront la qualité des mesures réalisées à l'aide du test considéré.
42
La pertinence des preuves récoltées dépend étroitement de quoi?
de la précision avec laquelle le concept a été défini et de l'accord des experts à propos de ses facettes.
43
Que signifie le terme "facette"?
Il peut désigner, selon le concept visé, :
- des catégories de comportement,
- composantes d'une compétence cognitive
- capacités intervenant dans une activité professionnelle
- ensemble d'objectifs pédagogiques coordonnés
44
Les preuves de validité récoltées lors de l'évaluation du contenu d'un test sont...
conditionnelles de la définition du concept visé, laquelle est toujours relative au lieu et au moment.
45
Vrai ou faux. Les preuves de validité sont également relatives à la fonction assignée au test.
Vrai
46
Les preuves de validité dépendent également...
de la population visée par le test.
47
Quels sont les principes de bases pour rassembler les preuves de validité basées sur le contenu d'un test
1. Définit avec soin le domaine et les facettes du concept et valider cette définition
2. Utiliser un échantillon d'experts, membres de la population de référence pour créer les items et les autres aspects du test.
3. Soumettre toutes les composantes du contenu du test à une étude de validité
4. Utiliser plusieurs experts pour évaluer les indices de validité basés sur le contenu du test et quantifier leurs jugements à l'aide d'échelles formalisées.
5. Examiner la représentation proportionnelle des items relativement aux différentes facettes du concept.
6. Présenter les preuves de validités basées sur le contenu lors de la publication de tout nouvel instrument.
7. Prendre en compte toutes les analyses psychométriques ultérieures pour affiner les preuves de validités basées sur le contenu du test.
48
Qu'est-ce qui joue un rôle crucial dans la procédure de validation basées sur le contenu du test?
Le jugement des experts
49
Quels sont les 5 indicateurs utilisés pour évaluer dans quelle mesure un ensemble d'items sont représentatifs des objectifs pédagogiques visés par le test?
1 - % d'items appariés aux objectifs
2- % d'items appariés aux objectifs jugés très importants
3- corrélation entre le poids des objectifs et le nombre d'items les mesurant.
4- indice de congruence item-objectif
5- % des objectifs non mesurés par les items.
50
Ces 5 catégories d'indices ne fournissent pas...
une information équivalente sur la congruence item-objectif.
51
Les deux premiers, en particulier nécessitent quoi?
Un important échantillon d'items.
52
Le troisième ne fournit pas de résultats intéressants si...
tous les objectifs sont approximativement d'égale importance.
53
Que fait l'indice de Hambleton ne fait que calculer la congruence entre items-objectifs sans tenir compte de...
du fait que les appréciations d'un ou plusieurs juges peuvent ne pas concorder avec celles des autres juges.
54
Quels sont les trois indicateurs pour évaluer le degré de concordance ou de fidélité entre les juges?
1 - variance des jugements
2- concordance des jugements
3- cohérence interne des jugements
55
Lorsque la variance des jugements est faible, cela signifie quoi?
Que les juges ont tendance à attribuer la même cote à un même item.
56
Qu'est-ce que la concordance des jugements?
Les juges ont tendance à ordonner de la même façon les items selon leur degré de congruence avec la facette à mesurer. Le plus congruent pour un juge l'est aussi pour les autres juges.
57
Qu'est-ce que la cohérence interne des jugements?
Lorsque les juges sont consistants dans leur manière d'évaluer les items par rapport aux autres juges. Un juge sévère pour un item, l'es aussi pour tous les items.
58
Vrai ou faux. Plus la moyenne des évaluation de chaque question est élevée, plus cette question n'est pas considérée pertinente par les juges.
Faux, plus la question sera considérée comme pertinente pour les juges.
59
L'évaluation de la concordance des jugements est un moyen de vérifier quoi?
La fidélité des jugements des experts appelés à se prononcer sur les preuves de validité basées sur le contenu. Donc l'attention se porte sur le classement des items réalisés par les juges.
60
Dans l'évaluation de la concordance des jugements, le score attribué à l'item n'est pas considéré. Vrai ou faux.
Vrai
61
Qu'est-ce qui permet de mesurer le degré de concordance entre plusieurs juges?
Le coefficient W de Kendall
62
Une part de la dispersion des résultats entre les juges peut provenir d'où?
De la manière dont ils utilisent l'échelle d'évaluation.
63
Les différentes pratiques des juges influencent quoi?
La dispersion des appréciations des juges et donc l'indice basé sur la variance.
64
Les différentes pratiques des juges n'ont pas d'impact sur quoi?
Le classement des items.
65
Quelles sont les trois étapes du calcul du coefficient W de Kendall?
1 - transformer les scores observés en rangs pour chaque juge
2- calculer la valeur de s
3- calculer la valeur de W et son degré de signification
66
Lorsqu'on calcule la valeur de s, plus la somme des écarts est grande,...
Plus les juges sont en accord.
67
Quelle est une mesure alternative au coefficient W de Kendall?
Le coefficient k (kappa) de Cohen
68
Le kappa de Cohen postule quoi?
Que les données sont nominales.
69
Le kappa de Cohen est indiqué lorsque...
La tâche demandée aux juges est un classement des items dans des catégories.
70
Le kappa de Cohen prends en compte quoi?
Le nombre de fois où les juges sont d'accord mais prend également le nombre d'accords qu'il serait possible d'obtenir par hasard.
71
La valeur de k est égale à 1. Cela signifie quoi?
Qu'il y a un accord parfait entre les juges.
72
La valeur de k varie entre -1 et 1. Vrai ou faux.
Faux entre 0 et 1.
73
Quel est le dernier indice utile pour apprécier de manière quantitative les jugements des experts à propos de la validité de contenu?
La cohérence interne.
74
La cohérence interne n'est ni une valeur de concordance ni du degré d'accord entre les juges. Elle nous permet de déterminer si les juges sont constants dans leurs jugements. Vrai ou faux
Vrai
75
Pour démontrer la validité des résultats à un test, le constructeur peut faire appel à deux types de critères, lesquels?
1- critère le plus facile à trouver est sans doute une mesure dont la validité est reconnue et pour laquelle des preuves ont déjà été rassemblées. = validité concomitante
2- critère peut aussi être un indicateur d'une performance que l'on cherche à prédire. = validité prédictive.
76
Le critère peut paraître simple à mesurer mais les apparences peuvent être trompeuses. Vrai ou faux.
Vrai
77
Le critère peut être comment?
Fort complexe et faire intervenir plusieurs habilités ou attitudes différentes.
78
Vrai ou faux. Le choix et la mesure du critère peuvent être des tâches tout aussi problématiques que la construction de l'instrument de mesure en lui-même.
Vrai.
79
Quelle est l'une des plus importantes considérations pratiques dans l'estimation de la validité liée à un critère externe?
La définition opérationnelle du critère.
80
Quelle est l'approche rigoureuse de l'étude des validités convergentes et divergentes?
La matrice multi-trait multi-méthode.
81
Vrai ou faux. Une corrélation plus faible doit être attendue lorsqu'on mesure le même trait avec la même méthode.
Faux, une corrélation plus élevée est attendue avec même trait, même méthode.
82
La méthode multi-trait multi-méthode nous oblige à quoi?
à formuler des hypothèses sur le niveau des corrélations attendues.
83
Que fait-on une fois les hypothèses formulées?
Elles sont mises à l'épreuve des faits.
84
Si toutes les hypothèses sont confirmées...
Nous disposons alors d'un large ensemble de preuves de validité convergente et discriminante.
85
Si les hypothèses ne sont pas confirmées...
Nous devrions nous interroger à propos de ce que mesurent effectivement nos tests à la lumière des corrélations inattendues observées.
86
Quels sont les problèmes d'estimation de la validité liés au calcul des corrélations?
1- effet de la grandeur de l'échantillon
2- effet de la réduction de l'étendue
3- effet de la fidélité du prédicteur et du critère
87
Vrai ou faux. La validité des résultats d'un instrument de mesure est une estimation plus ou moins entachée d'erreur.
Vrai
88
La probabilité d'obtenir une valeur stable de validité s'accroit...
Lorsque celle-ci est calculée à partir d'un nombre suffisamment grand de résultats.
89
Sauf s'il existe une très forte relation entre le prédicteur et le critère, il est par conséquent préférable...
d'effectuer une étude validité avec un grand nombre de sujets.
90
Lorsqu'il est difficile d'effectuer une étude de validité avec de grands échantillons, il faut alors réaliser plusieurs études de validité afin
de voir si la corrélation entre le prédicteur et le critère se généralise à un ensemble de situations semblables = contre-validation ou validation croisée.
91
Que permet la validation croisée?
d'estimer l'impact des fluctuations d'échantillonnage sur la stabilité de l'estimation de la validité.
92
En quoi consiste la validation croisée?
à calculer la meilleure équation de régression sur un échantillon et à voir comment elle permet de prédire les résultats d'un autre échantillon de la même population.
93
Est-ce que deux échantillons sont toujours nécessaires?
Non si le nombre de répondants est assez grand, on peut simplement répartir au hasard les sujets de l'échantillon total en deux groupes et calculer une régression linéaire sur chaque moitié.
94
Les valeurs observées du prédicteur et du critère sont-elles précises ou imprécises?
Imprécises à moins qu'elles n'aient une fidélité parfaite.
95
Quel calcul devons-nous faire si nous souhaitons estimer la validité, non pas à partir des scores observés mais à partir des scores vrais?
La correction dite d'atténuation.
96
Que nous permet la correction dite d'atténuation?
Estimer le potentiel de validité d'un test.
97
Si la corrélation corrigée par atténuation est faible..
Il y a peu d'espoir d'améliorer la validité du test.
98
La validité conceptuelle est au cœur...
du problème de l'opérationnalisation des variables.
99
Pour réaliser une étude de validité conceptuelle, il faudra...
Recueillir une grande quantité d'informations qui découleront des prédictions, hypothèses que l'on peut tirer de la théorie.
100
Lorsque les hypothèses formulées ne sont pas confirmées par les résultats du test, deux interprétations sont possibles :
1- l'instrument de mesure est une bonne opérationnalisation du modèle théorique mais ce dernier n'est pas pertinent. (il faut donc modifier ou changer de modèle théorique)
2- le modèle théorique est valide mais l'instrument en est une mauvaise opérationnalisation. Il faut donc revoir l'instrument.
101
Qu'est-ce qu'une échelle hiérarchique ou scalogramme de Guttman?
Le constat d'une hiérarchie dans l'ordre de réussit des items, ce qui constitue une preuve de validité conceptuelle des résultats au test.
102
Si l'ordre hiérarchique n'est pas parfait à cause d'erreurs inévitables de mesure, on calcule généralement quoi?
Un coefficient de reproductibilité
103
Que nous permet d'estimer le coefficient de reproductibilité?
À quel point le caractère hiérarchique et invariant de l'ordre des items appuie la validité conceptuelle des résultats au test.
104
L'analyse factorielle est une méthode de choix pour...
Apporter des preuves de validité sur la base de la structure interne du test.
105
Que permet l'analyse factorielle?
De mettre en évidence les relations entre les caractéristiques mesurées mais non directement observables (intelligence, dépression) et les scores observés aux items ou échelles qui constituent un test.
106
Que signifie une analyse factorielle exploratoire?
Lorsqu'elle permet de suggérer un certain nombre de traits et leurs relations avec les scores observés.
107
Que signifie une analyse factorielle confirmatoire?
Lorsque nous partons d'un modèle des caractéristiques mesurées et que nous vérifions au moyen de l'analyse factorielle son ajustement avec les scores observés.
108
L'analyse factorielle permet d'aller plus loin que la simple inspection visuelle des matrices de corrélation. Pourquoi?
Elle permet d'extraire les composantes ou facteurs de variance commune, chaque facteur rendant compte d'une partie de la variance totale des résultats de la matrice des variances-covariances qui n'est pas expliquée par les autres facteurs.
109
Que signifie une situation d'unidimensionnalité?
Un seul facteur est nécessaire pour rendre compte de la variance des résultats.
110
Comment est représenté un modèle multidimensionnel de traits latents?
Lorsque X et Y ne sont que modérément corrélées.
111
Quand est-il nécessaire d'utiliser plusieurs traits latents qui vont permettre d'expliquer une part plus substantielle de la variance des résultats observés, tout en conservant un gain de parcimonie.
Dans les situations à plusieurs variables et lorsque la part de variance négligée est trop grande.
112
Vrai ou faux. Idéalement, le constructeur de test préfère se trouver dans une situation où ces traits latents sont peu nombreux et faciles à identifier.
Vrai
113
Quels sont les postulats de base de l'analyse factorielle?
1- le postulat de causalité factorielle selon lequel 2 variables observées sont des combinaisons linéaires de variables causales sous-jacentes.
2- le postulat de parcimonie selon lequel, entre 2 solutions factorielles, nous devons faire le choix le plus simple.
114
Quelles sont les questions méthodologiques relatives aux conditions de l'application de l'analyse factorielle?
1- taille de l'échantillon
2- normalité
3- linéarité
115
Vrai ou faux. Plus l'échantillon de sujets est grand, moins les coefficients de corrélation entre les variables observées sont significatifs.
Faux, plus l'échantillon de sujets est petit.
116
Quelle est la règle généralement admise?
5 sujets par variable observée avec un minimum de 100 sujets par analyse.
117
Comment peut-être vérifier la linéarité d'une relation?
Par un graphique de dispersion.
118
Un biais existe quand?
Lorsqu'une différence de validité des inférences faites sur la base des scores au test est observée entre certains groupes de la population.
119
L'évaluation de la validité différentielle du contenu consiste à quoi?
Vérifier si, au sein de chacun des groupes de la population, le contenu des items est approprié pour mesurer la réalité souhaitée.
120
L'évaluation de la validité différentielle du contenu s'appuie sur quoi?
Sur les jugements de spécialistes du domaine mesure par le test, qui concernent les représentations et la familiarité des membres de chaque groupe p/r au contenu des items.
121
Vrai ou faux, les jugements des spécialistes sont souvent subjectifs.
Vrai
122
Que peut-on faire pour diminuer la subjectivité des jugements?
Des grilles d'analyse ont été mises au point et l'évaluation des items est généralement faite par plusieurs juges.
123
Comme la détection de ce biais ne peut donc se limiter à la seule évaluation des juges, que faut-il faire?
Elle doit être complétée par une évaluation quantitative basée sur les résultats obtenus par les différents groupes étudiés.
124
Les évaluations quantitatives s'intéressent à quoi?
À la difficulté et à la discrimination des items.
125
Quel est le but des évaluations quantitatives?
De vérifier si tous les items permettent de classer les sujets de manière équitable.
126
Quand se fait l'analyse du fonctionnement différentiel?
Généralement lors de la construction du test.
