Cours 5 - Validité Flashcards
(94 cards)
1
Q
Qu’est-ce que la validité?
A
Le degré auquel un test mesure ce qu’il prétend mesurer. (Peut être valide pour un autre construit)
2
Q
Donne un exemple d’une outil avec faible validité
A
Par exemple, je mesure la taille d’une pupille avec un tape à mesurer de construction. Mon outils n’est pas précis alors je ne peux pas mesurer précisément mon sujet.
3
Q
Pourquoi a-t-on besoin de validité en psychologie?
A
Beaucoup d’aspects psychologiques (niveau d’émotion, de fatigue, etc.) ne sont pas mesurables directement. Il faut alors demander subjectivement par questionnaires, ou mesurer un autre item (exemple: réponse électrodermale, temps de réaction, etc.) qui est « lié » à ce que l’on veut mesurer.
4
Q
C’est quoi l’objectif de la validité?
A
Préciser ce que le test mesure et avec quel degré d’exactitude.
5
Q
Explique dans tes mots c’est quoi la différence entre la validité et la fidélité
A
Validité: 2 condition différente et on veut évaluer un changement
Fidélité: 1 condition mesuré 2 fois et on veut avoir le même résultats
6
Q
Comment est ce que la validité est mesuré?
A
Elle est mesurée lorsque nous analysons les liens qui existent entre la performance au test et diverses autres observations indépendantes = coefficient de validité (corrélation).
7
Q
Quelle question on doit se poser si on veut savoir si le BDI est valide?
A
Est-ce que le BDI mesure vraiment la dépression directement?
8
Q
Est-ce que le BDI mesure vraiment la dépression directement?
A
Non, il mesure les symptômes subjectifs de dépression, pas la dépression elle-même.
9
Q
C’est quoi un construit?
A
le construit est un trait ou une variable psychologique
10
Q
Quel est le contruit des test de QI?
A
l’intelligence
11
Q
Vrai ou faux: dans les tests sur la dépression, le contruit est mesuré directement?
A
Faux: Ce n’est PAS ce qu’on peut mesurer directement, mais c’est ce qu’on désire mesurer.
12
Q
C’est quoi la Sous-représentation du construit?
A
Composants du construit non atteignables par le test.
13
Q
Donne un exemple de sous-représentation du construit?
A
Exemple de l’anxiété:
Sous-représentation du construit: aspect physiologique de l’anxiété lorsqu’on utilise un questionnaire comme outil de mesure
14
Q
C’est quoi la variance non relié au contruit?
A
Le test peut accidentellement mesurer d’autres caractéristiques que celles souhaitées.
15
Q
Donne un exemple de variance non-reliée au construit
A
Par exemple: polygraphe mesure aussi le niveau d’attirance, mais ce n’est pas ce qu’on souhaite mesurer
16
Q
Quel est le classement des méthodes de validation traditionnel? (3)
A
La validité du contenu
Représentativité de l’échantillon de comportements.
La validité critériée (ou pragmatique)
Relation avec un critère externe.
La validité de construit
Cohérence avec la «structure théorique»
17
Q
Quels sont les 2 types de classements de méthodes
A
traditionnel et classique
18
Q
C’est quoi la validité d’apparence?
A
un test semble mesurer le construit souhaité (sans preuve empirique)
19
Q
La validité d’apparence ne doit ________ se substituer à la validité empirique.
A
JAMAIS
20
Q
Qu’est ce que les défenseurs de la validité d’apparence disent?
A
certaines choses sont difficiles à prouver qu’un test mesure bien le construit, mais sont logiquement associés
21
Q
Qu’est ce que les détracteurs de la validité d’apparence disent?
A
mentionnent qu’elle est souvent utilisée comme substitut à une démonstration empirique de la validité
22
Q
Validité d’apparence
Quand utiliser la validité d’apparence?
A
La validité d’apparence peut être utile lorsque deux tests offrent les mêmes données empiriques.
23
Q
Validité d’apparence
Si deux tests offrent les mêmes données empiriques, il est habituellement préférable de choisir quel test?
A
celui qui affiche la meilleure validité d’apparence.
24
Q
Validité d’apparence
Dès que les données empiriques sont différentes, Il faut choisir quel test
A
il faut choisir le test avec la meilleure donnée empirique
25
Quel test devrait-on choisir?
SITUATION 1
Test A: Excellente validité apparente! (ex: échelle
de Likert de 1 à 10 directement sur le construit)
Coefficient: r=.90 (excellente validité)
Test B: Validité apparente adéquate (ex:
questions complexes sur le construit, qui peuvent
être vagues)
Coefficient: r=.90 (excellente validité)
Test A
26
Quel test devrait-on choisir?
Test A: Excellente validité apparente! (ex: échelle de Likert de 1 à 10 directement sur le construit)
Coefficient: r=.80 (bonne validité)
Test B: Validité apparente adéquate (ex: questions complexes sur le construit, qui peuvent être vagues)
Coefficient: r=.90 (excellente validité)
Réponse: test B
27
La validité du contenu
C'est quoi la validité de contenu
Définition: Analyse du contenu du test pour assurer sa représentativité du domaine des comportements à mesurer.
28
La validité du contenu
Quelles sont les 2 questions clés pour mesurer la représentativité?
À quel point chaque item ou question qui forme le test appartient au construit défini?
À quel point l'ensemble des items ou question représente tous les aspects de cet univers?
29
La validité du contenu
La représentativité du test est déterminer par quoi?
la définition donnée au construit mesuré
30
La validité du contenu
Analyse de la Pertinence des Réponses
Un test mesure la «sociabilité» dans le sens de la «tendance à rechercher la compagnie des autres pour interagir avec eux».
Si on considère la question «Préférez-vous lire un livre ou aller prendre un verre avec un ami?»
Quels sont toutes les choses qui peuvent être mesuré par cette question?
De leur véritable caractère sociable = bonne validité de contenu
De leur intérêt pour la lecture = problème de validité de contenu
Du fait qu'ils ne consomment pas d'alcool = problème de validité de contenu
De leur désir de «bien paraître» = problème de validité de contenu
31
La validité du contenu
Analyse de la Pertinence des Réponses
Un test construit pour mesurer les habiletés en orthographe. Si les questions offrent un choix de réponses, dont une seule correspond à une orthographe correcte.
Qu'est ce qui peut être mesuré par ces questions?
Ce test mesure peut-être davantage l'habileté à reconnaître les mots correctement orthographiés.
Il n'indique pas nécessairement l'habileté à écrire sans faute d'orthographe.
32
La validité du contenu
ll est particulièrement important de bien préciser la __________ que l'on veut donner au construit «habiletés en orthographe»
définition
33
La validité du contenu
Quels sont les domaine d'utilisation de la Validité de Contenu (3)
Domaine où le construit est clair et précis
Tests de rendement.
Tests d'aptitude professionnelle.
34
La validité du contenu
Quels sont les Problèmes associés à la validité de contenu (3)?
Difficulté à définir clairement le contenu des items
Variation des compétences requises pour des items d’une catégorie
Ne fait pas référence aux résultats réels du test
35
Quels sont les stratégies utilisées pour diminuer l’impact de ces problématiques (3)?
Demander à plusieurs professionnels de participer à la rédaction du test.
Faire l'analyse du type d'erreurs commises.
Faire l'analyse des méthodes de travail utilisées par exemple, en demandant aux examinés de «réfléchir à voix haute» en répondant au test.
36
Quelles sont les différences entre la validité apparente et de contenu
VALIDITÉ APPARENTE
Ne s’agit pas d’une véritable validité au sens psychométrique du terme
Pas empirique
Correspond à ce qu’un test « semble » mesurer
VALIDITÉ DE CONTENU
Est une validité véritable
Peut être mesurée
Correspond à l’analyse du contenu du test afin de s’assurer qu’il est représentatif du domaine des comportements à mesurer
37
C'est quoi la validité didactique?
Sous-catégorie de la validité de contenu.
Question de savoir si la matière évaluée a réellement été enseignée.
38
La validité didactique s'applique principalement à quoi ?
aux tests de rendement scolaire
39
Si un concept n'a pas été mesuré, quel sera la validité didactique?
faible validité didactique
40
Résumé de la Validité de Contenu
C'est quoi les conséquences d'une basse validité?
Risque de manquer des aspects du construit.
41
Résumé de la Validité de Contenu
C'est quoi les conséquences d'une haute validité de contenu
Le contenu évalue tous les aspects du construit
42
Quand est ce que la validité citériée s'applique?
S'applique lorsque des mesures indépendantes existent.
43
Comment est ce qu'on appel la validité critériée?
un critère (externe)
44
Pour ces exemple indique cest qui est mesuré dans ces test de validité critériée:
Test d'aptitudes mécaniques =
Test d'aptitudes scolaires =
Test de tendances névrotiques =
Test d'aptitudes mécaniques = performance ultérieure comme machiniste
Test d'aptitudes scolaires = résultats scolaires au collégial
Test de tendances névrotiques = diagnostic clinique
45
Validité Critériée
il est important de noter que le ________ est souvent considéré comme une mesure directe de la caractéristique, c’est-à-dire que le ______ est souvent considéré comme le « ____ ______ ».
critère
critère
vrai score
46
Validité Critériée
S’il y a de l’erreur de mesure, le coefficient de validité critériée sera affecté de quelle manière
à la baisse
47
Validité Critériée
Pour les tests d'intelligence, nomme des catégories de critères qui sont souvent utilisés lors de l'analyse de la validité de certains types de tests
La réussite scolaire: notes scolaires, scores à des tests standardisés, promotion de classe, obtention d'un diplôme, évaluation de l'«intelligence» par les enseignants, niveau d'éducation atteint (chez les adultes), etc.
48
Validité Critériée
Pour les test d'aptitudes spéciales, nomme des catégories de critères qui sont souvent utilisés lors de l'analyse de la validité de certains types de tests
La performance à un cours spécialisé: tests de rendement administrés à la fin du cours, notes officielles au dossier, appréciations par les instructeurs, achèvement vs abandon du cours, etc.
49
Validité Critériée
Quels sont les Deux types de validité critériée?
La validité prédictive
La validité concomitante
50
Validité Critériée
Quand peut-on dire qu'un test de validité est prédictive?
Lorsque l'administration du test précède d'un certain intervalle de temps (non négligeable) la mesure du critère
51
Validité Critériée
Lorsqu'un test de validité prédictive est valide, il sera utilisé à des fins de ________.
pronostic
52
Validité Critériée
Donne un exemple de test de la validité prédictive
Test d'aptitudes au pilotage pour déterminer les meilleurs candidats potentiels (avant l’inscription au programme de formation)
53
Validité Critériée
Quand est-ce qu'on peut dire qu'un test de validité critérié est concomitante?
Lorsque l'administration du test et la mesure du critère sont simultanées.
54
Validité Critériée
Si un test de validité concomitante est validé, il sera utilisé à des fins __________
diagnostic
55
Validité Critériée
Donne un exemple de test de validité concomitante
Test de connaissances en pilotage d'avions commerciaux.
Critère: ensemble des connaissances en pilotage d’avions commerciaux.
56
Validité Critériée
En quoi en le test de validité concomitante est utile, si le critère est aussi disponible, au même moment
S'il s'avère valide, le test est d'autant plus utile qu'il constitue une mesure plus simple, moins coûteuse ou moins risquée du critère.
57
Validité Critériée
Parmi les variétés critériées, quel test (concomitante vs prédictive) est utilisée lorsque:
On veut mesurer l’état d’anxiété actuel d’un patient?
concomitante
58
Validité Critériée
Parmi les variétés critériées, quel test (concomitante vs prédictive) est utilisée lorsque:
On veut mesurer quel étudiant au baccalauréat sera un bon étudiant au doctorat?
prédictive
59
Validité Critériée
Parmi les variétés critériées, quel test (concomitante vs prédictive) est utilisée lorsque:
On veut mesurer les capacités d’un pilote d’avion avant de l’envoyer à son premier vol?
concomitante
60
Validité Critériée
Parmi les variétés critériées, quel test (concomitante vs prédictive) est utilisée lorsque:
On veut mesurer quel pilote dans un cours de base sera le meilleur à la fin du cours?
prédictive
61
Validité Critériée
Comment mesurer la validité critériée?
CORRÉLATION (souvent Pearson)
Elle consiste à calculer la corrélation entre le résultat au test et le critère (coefficient de validité).
Servira à prédire la valeur de la variable Y (résultat anticipé) en fonction de X (résultats au test)
62
Comment démontrer la validité en fonction de groupes contrastés?
On veut différentier deux groupes (par exemple les exporés à des situations opposé (relaxe vs stress))
Plus la différence entre les groupes est élevée plus la validité du test est grande.
63
Comment faire si on a pas de test plus valide pour comparer le test de validité critérié?
On utilise le même groupe et on le divise en groupe contraste et groupe critère
64
Qu'est ce qui peut venir contaminer des critères?
Prophétie auto-réalisatrice
65
Quelle est l'effet de la prophétie auto-réalisatrice sur les critères?
La connaissance des résultats au test fait que les examinés reçoivent des cotes au critère qui tendent à se conformer aux résultats obtenus au test.
Ce biais aura tendance à augmenter artificiellement la valeur des coefficients de validité.
66
Comment éviter l'autoréalisation des prophéties?
Pour éviter ce type de problèmes, il faut garantir la confidentialité des résultats au test pendant toute la période de validation.
67
Vrai ou faux: La validité critériée est la méthode la plus simple pour établir la validité d'un test et elle est réalisable sous toutes les conditions.
vrai
68
La validité critériée est la méthode la plus simple pour établir la validité d'un test, mais elle n'est réalisable que sous certaines conditions. Nomme cest 3 condition
Qu’il existe un «critère», c'est-à-dire une mesure directe de la caractéristique que le test est supposé mesurer.
Que la définition opérationnelle du critère soit valide
Que cette mesure du critère est peu sensible (ou même pas du tout) aux différentes formes d'erreurs de mesure.
69
Théorie de la décision
Exemple:
Réponse électrodermal(y) et test (x) on une corrélation positive et forte
À partir de 8 comme réponse électrodermal = une personne est considéré anxieuse
Le 8 représente quoi?
le seuil
70
Théorie de la décision
Pourquoi on tasse le seuil vers la gauche ?
(ex test du suicide(dépistage)): on veut s’assurer qu’il n’y a pas de faux négatifs
71
Théorie de la décision
Pourquoi on tasse le seuil vers la droite?
(ex donner un diagnostic qui nécessite un médicament(diagnostique)): on veut s’assurer qu’il n’y a pas de faux positif
72
Théorie de la décision
C'est quoi la différence entre la Sensibilité et spécificité
Sensibilité
Degré auquel le test permettra d’identifier correctement les membres du groupe critère
Ex: cas de dépistage d’anxiété, je prend le seuil plus bas (8)
Spécificité
Degré auquel le test détermine ou non les membres du groupe contraste
Ex: cas de diagnostic de l’anxiété, je vais prendre le seuil plus haut (12)
73
Théorie de la décision
Si on augmente la sensibilité je pousse le seuil vers quel coté?
gauche
74
Théorie de la décision
Si on augmente la spécificité je pousse le seuil vers quel coté?
droite
75
1. Évaluation de la structure interne
Pourquoi est-ce important d’avoir une haute fidélité?
Lorsqu’elle est élevée, elle indique que la mesure prise au moyen du test est effectuée de manière constante.
Donc pour la validité, cela contribue à confirmer que le test mesure un construit ou un trait particulier.
76
L'alpha de Cronbach est un __________ à la validité et non une preuve de celle-ci.
préalable
77
2. L’analyse factorielle
C'est quoi?
Il s’agit d’une méthode statistique sophistiquée qui permet de comparer un ensemble d’items dans les tests qui semblent mesurer à peu près le même construit et de distinguer les tests qui mesurent des construits distincts (i.e. peu corrélés).
78
2. L’analyse factorielle
Elle est utilisé dans quel contexte?
lorsque plusieurs tests sont administrés à peu près simultanément.
79
2. L’analyse factorielle
Elle permet d'extraire quoi des résultats
Compte tenu que le nombre de coefficients de corrélation calculés est très élevé, elle permet d’extraire des « facteurs » communs à certains tests et simplifie donc l’interprétation.
80
2. L’analyse factorielle
Le coefficient de corrélation calculé entre le score à un certain test et le score factoriel se nomme comment?
coefficient de validité factorielle
81
Quel est le seuil de significativité du coefficient de validité factorielle
(significatif r > 0.30)
82
La validité factorielle correspond donc à la corrélation entre le test et quoi d'autre
Le ou les facteurs ce qu’un ensemble de tests ont en commun
83
3. Le processus de réponse
C'est quoi un processus de réponse?
Certaines recherches en psychologie fondamentale peuvent également contribuer à la compréhension de ce qu'un test mesure. Il s'agit par exemple d'analyser en détail les «processus» mentaux qui interviennent lorsque l'examiné effectue un test.
84
3. Le processus de réponse
Comment peut-on vérifier le processus de réponse?
A. En questionnant les sujets
B. En faisant des manipulations expérimentales de la tâche
85
3. Le processus de réponse
Quand on questionne les sujets, on les questionnent sur quoi?
Sur les étapes (processus cognitif) pour arriver à une réponse ou
Demander la justification des réponses.
86
3. Le processus de réponse
Attention: N’est pas une preuve solide de validité mais elle est pertinente si elle est combinée avec quoi?
d'autres mesures
87
4. Manipulations expérimentales
Les manipulations expérimentales permettent de faire quoi?
La vérification expérimentale d'une hypothèse à propos d'un construit contribue à la validité de construit du test.
88
5. Changements développementaux
Lorsque le construit mesuré est intrinsèquement relié à une ou plusieurs caractéristiques associées au développement de l'individu, la mesure du construit (le test) se doit d’être sensible à quoi?
aux changement développementaux
89
6. Corrélations avec d’autres tests
C'est quoi?
Elle consiste à démontrer la corrélation entre le test à valider et un autre test ou un ensemble de tests dont la validité de la mesure est établie (pour le construit de l’étude).
90
6. Corrélations avec d’autres tests
Quelle est le nom de cette validité?
Appelé validité convergente
91
6. Corrélations avec d’autres tests
C'est quoi son utilité?
Utilité: vouloir un test équivalent moins cher ou moins long ou faire une mise à jour d’un test.
92
Validité divergente (ou discriminante)
C'est quoi?
Corrélation relativement faible (ou négative) avec des construits autres que celui que l’on souhaite mesurer
93
Pour avoir une bonne validité divergente il faut quoi?
il faut que les coefficients de validité convergente soient plus élevés que les coefficients de validité divergente.
94
