EXAM 3

Question 1

définition validité

Answer 1

le degré avec lequel un test mesure ce qu’il prétend mesurer, et cela seulement

Question 2

La validité ne concerne pas l’instrument de mesure lui-même, mais plutôt

Answer 2

l’interprétation des résultats:

Question 3

La validité n’est pas inhérente à l’instrument lui-même, mais plutôt

Answer 3

au contexte de son utilisation: on ne peut pas dire qu’un test est valide:

Question 4

la validité n’est pas une affaire de

Answer 4

« tout ou rien » (valide ou pas valide), mais plutôt une question de « degré » de validité.

Question 5

2 niveaux de validité

Answer 5

• Degré global pour une certaine population

* Degré pour une personne particulière

Question 6

) ces techniques destinées à recueillir des preuves de validité ont été regroupées en trois grandes catégories :

Answer 6

• Validation de contenu (contenu vs. apparente);
• Validation pragmatique [critériée, prédictive];
• Validation de construit [conceptuelle, théorique].

Question 7

La validation de contenu

Answer 7

Cette validation désigne l’aptitude d’un instrument à appréhender les aspects de contenu pour lesquels il a été conçu, et ceux-là seulement.

Question 8

La validation pragmatique

Answer 8

Cette validation désigne l’aptitude d’un instrument (conçu par exemple dans une perspective d’évaluation pronostique) à prédire (de manière aussi précise que possible) le niveau de réussite, d’adaptation, d’intégration, etc., d’un ensemble d’individus par rapport à des situations qu’ils rencontreront (ou pourraient rencontrer) ultérieurement.

Question 9

2 types de validité pragmatiques:

Answer 9

Validité concomitante/concourante:

Validité prédictive:

Question 10

on détermine le degré de corrélation entre les scores obtenus au test et les scores obtenus à une mesure de référence (administration du test et de la mesure du critère pratiquement en même temps);
Validité prédictive:

Answer 10

Validité concomitante/concourante:

Question 11

on évalue la qualité des prédictions faites sur la base des résultats obtenus au test et une réalité future (administration du test et du critère séparée d’un laps de temps important, le test étant administré en premier);

Answer 11

Validité prédictive

Question 12

La validation de construit

Answer 12

La validité de construit se défini comme étant la justesse avec laquelle un instrument de mesure permet d’obtenir des résultats conformes aux construits définis par son contexte théorique; elle indique dans quelle mesure les énoncés d’un instrument sont cohérents avec la théorie et les concepts, définis de façon opérationnelle.

Question 13

L’analyse multitrait-multiméthode:

Answer 13

• Matrice de corrélation entre les résultats obtenus à différents tests: illustre à la fois la validité convergente et la validité discriminante;
• On s’attend à ce que la plus forte corrélation soit trouvé pour même trait-même méthode; et la plus petite corrélation pour traits différents-méthode différente;

Question 14

Limites méthode multitrait multi-méthode

Answer 14

demande beaucoup de temps de la part des sujets (faire plusieurs tests…) + difficulté à trouver des tests qui évaluent les mêmes traits

Question 15

L’analyse factorielle

Answer 15

projeter 3 (ou plus) variables qui sont fortement corrélées entre elles sur une nouvelle variable qui retient l’essentiel de la variance commune. Cette nouvelle variable représente le facteur.

Question 16

2 types de validité de construit

Answer 16

Validité convergente

Validité discriminante

Question 17

• Vérifier à quel point est-ce que l’échelle est reliée à des variables et des mesures du même construit. En ce sens, l’outil devrait corréler avec les autres outils qui évaluent des construits identiques ou très similaire

Answer 17

validité convergente

Question 18

• Vérifier à quel point l’échelle s’écarte de variables et de mesures de construits différents. En ce sens, l’outil ne devrait pas corréler avec des construits indépendants de celui qu’il évalue.

Answer 18

Validité discriminante

Question 19

Étapes du processus de construction:

Answer 19

• 1ère Étape: La détermination des utilisations prévues du test;
• 2ème Étape: La définition de ce que l’on souhaite mesurer;
• 3ème Étape: La création des items;
• 4ème Étape: l’évaluation des items;
• 5ème Étape: La détermination des propriétés métriques du test définitif;

Question 20

Pour aider à mieux définir ce que l’on veut mesurer, ____ processus (ou méthodes) peuvent être mis en action:

Answer 20

cinq

Question 21

4. L’évaluation des items

Deux démarches sont habituellement suivies:

Answer 21

(1) Évaluation des items par des juges:

(2) Réalisation d’une mise à l’essai des items:

Question 22

5. La détermination des propriétés métriques

Answer 22

• Évaluation des indices de validité;
• Évaluation des indices de fidélité;
• Établissement des normes.

Question 23

V-F il y a 6 étapes dans construction d’un test

Answer 23

• Faux 5 étapes

Question 24

VF Le constructeur d’un test n’est pas responsable des applications éthiques du test

Answer 24

• Faux

Question 25

Élaborer/créer plusieurs tests pour évaluer des comportements ou des dimensions de la personnalité a des points positifs et des points à bien réfléchir, par exemple:

Answer 25

* On respecte les caractéristiques de la culture cible; | * Mais, on n’a pas de points de comparaison.

Question 26

Traduire un seul et même test pour qu’on puisse l’utiliser en plusieurs langues et cultures a des aspects positifs et des points à bien réfléchir, par exemple:

Answer 26

* Beaucoup moins de travail au niveau méthodologique, notamment en ce qui concerne l’échantillonnage (toutes les caractéristiques de l’échantillon ont été déjà pensé avant); * Une diminution au niveau de la précision de la mesure, les normes et même d’autres qualités métrologiques (indices de mesures) (comportement encore à comprendre/expliquer).

Question 27

Dans ce sens, l’adaptation des tests se situe entre ces deux processus, par exemple:

Answer 27

* Permet un plus grand respect des idiosyncrasies de la culture cible; * Permet qu’on garde une bonne précision de la mesure, entre autres indices métrologiques pertinents.

Question 28

D’autres avantages de l’adaptation:

Answer 28

* Permet de s’assurer que le contenu et la structure factorielle du test soient relativement les mêmes ; * Permet d’utiliser la même structure (style de rédaction, la révision théorique, la méthodologie générale utilisée, etc.) proposée à la présentation de l’instrument original; * Permet de démontrer l’équivalence d’épreuves administrées dans des langues et des cultures différentes.

Question 29

Quelques difficultés de l’adaptation: | Les différences linguistiques et culturelles:

Answer 29

* Équivalence des concepts (posséder la même signification); * Format du test (degré de familiarité avec certain type d’item); * Limite de temps (textes traduits peuvent être plus longs).

Question 30

Indicateurs de qualité de l’adaptation

Answer 30

Analyse d’items: Fidélité: Équivalence au niveau du construit: Validité pragmatique:

Question 31

Est-il préférable de réaliser la traduction d’un test par un traducteur professionnel ou un expert de la matière Selon:

Answer 31

* Budget * Peser les pour et les contre entre l’expertise de la langue et l’expertise dans la matière * Si les éléments culturels diffèrent beaucoup * Le temps disponible pour la traduction * L’objectif et l’utilisation du test

Question 32

Les caractéristiques des examinateurs bien formés :

Answer 32

* Ils choisissent les tests qui conviennent à la fois au but visé et aux personnes qui sont évaluées; * Ils connaissent la documentation portant sur le test choisi et les derniers développements qui le concernent; * Ils sont capable d’évaluer les qualités techniques des tests; * Ils sont sensibles aux conditions de passation (peuvent influencer le rendement au test); * Ils font de conclusions ou des recommandations seulement après avoir considéré les résultats en relation avec les caractéristiques de la personne évaluée.

Question 33

Les responsabilités des éditeurs de tests : | la distribution

Answer 33

* L’achat de tests est limité aux personnes possédant la qualification requise pour assurer la sécurité du matériel et empêcher une mauvaise utilisation de celui-ci; * Les caractéristiques techniques d’un test doivent être clairement présentées; * Les tests ne doivent pas être offerts prématurément pour un usage générale; * La passation de tests psychologiques par la poste est à proscrire, parce qu’on ne peut pas contrôler les conditions de passation et qu’on a aucune connaissance de la personne évaluée.

Question 34

Les responsabilités des éditeurs de tests : | le marketing

Answer 34

• Il ne faut pas utiliser de termes « trop publicitaires » qui mettent en valeur le test en cachant les renseignements essentiels à son évaluation;

Question 35

Le code de déontologie des psychologues Dans la section V du Code on trouve les règles suivantes: • Le psychologue doit interpréter le matériel psychologique avec _______ • Le psychologue ne peut remettre à autrui, sauf à _______ les données brutes et non interprétées inhérentes à une consultation psychologique; • Le psychologue doit éviter toute possibilité _________ des informations qu’il fourni à autrui. • Dans l’exercice de la profession, le professionnel doit tenir compte des________généralement reconnus en psychologie; • Dans tout rapport psychologique, écrit ou verbal, le psychologue doit s’en tenir à son interprétation du matériel psychologique relié à la ________ (3)

Answer 35

prudence; un autre psychologue, de fausse interprétation ou d’emploi erroné principes scientifiques consultation, à ses conclusions et à ses recommandations;

Question 36

Quelques conclusions sur l’utilisation compétente des tests • Accepter la responsabilité reliée à une _________ • Avoir une connaissance satisfaisante du ________ • Ne pas ________ des documents protégés par les droits d’auteur; • Connaître les _______ • Connaître les tests et ______

Answer 36

``` utilisation compétente des tests; code de déontologie; photocopier standards légaux; ses limites; ```

Question 37

Les preuves de la validité

Answer 37

``` contenu du test processus des réponses structure interne du test relation avec d'autres variables conséquences du testing ```

Question 38

Principes de base pour rassembler des preuves de validité basées sur le contenu d'un test 1. Définir avec soin le domaine et les facettes du concept et valider cette définition. 2. Utiliser un échantillon d'experts et de membres de Ia population de référence pour créer les items et les autres aspects du test. 3. Soumettre toutes les composantes du contenu du test à une étude de _____ 4. Utiliser plusieurs experts pour évaluer les indices de validité basés sur le contenu du test et quantifier leurs jugements à l'aide _______ 5. Examiner Ia représentation proportionnelle des items relativement aux différentes facettes du concept. 6. Présenter les preuves de______basées sur le contenu lors de Io publication de tout nouvel instrument. 7. Prendre en compte toutes les analyses psychométriques ultérieures pour affiner les preuves de validité basées sur le contenu du test.

Answer 38

3. validité. 4. d'échelles formalisées. 6. validité

Question 39

Le degré de concordance (ou de fidélité) entre les juges peut être évalué par trois indicateurs :

Answer 39

1. La variance des jugements 2. La concordance des jugements : 3. La cohérence interne des jugements

Question 40

lorsque celle-ci est faible, les juges ont tendance à attribuer la même cote à un même item.

Answer 40

1. La variance des jugements :

Question 41

: les juges ont tendance à ordonner de la même manière les items selon leur degré de congruence avec la facette à mesurer. L'item le plus congruent pour un juge est également le plus congruent pour les autres juges.

Answer 41

2. La concordance des jugements

Question 42

les juges sont consistants dans leur manière d'évaluer les items par rappo11 aux autres juges. Un juge sévère

Answer 42

3. La cohérence interne des jugements :

Question 43

Hormis les problèmes d'interprétation, l'analyse factorielle soulève plusieurs questions méthodologiques relatives aux conditions de son application. Les plus importantes concernent : (3)

Answer 43

- la taille de l'échantillon - la normalité - la linéarité

Question 44

Le khi carré est en fait un indice de_______

Answer 44

mauvais ajustement

Question 45

Le khi carré est en fait un indice de mauvais ajustement : plus sa valeur est petite, ________

Answer 45

meilleur est l'ajustement.

Question 46

la validité est présenté comme un concept unitaire, se rapportant non au test lui même, mais aux

Answer 46

inférences faites à partir des résultats

Question 47

Pour Messick, la notion de base est celle de

Answer 47

cadre conceptuel

Question 48

Le cadre conceptuel est, pour un part, défini par

Answer 48

l'usage prévu des scores au test

Question 49

récolter des preuves de validité consiste d'abord à générer ______ qui seront ensuite mise à

Answer 49

hypothèse | l'épreuve des faits

Question 50

Différents types de preuves de validité

Answer 50

- le contenu - le processus de réponse - la structure interne - les relations avec d'autres varibales - les conséquences du testing

Question 51

les preuves de validité basé sur le contenu ne concernent pas uniquement la formulation des items, mais aussi ______

Answer 51

leur format, les consignes de passation et la cotation

Question 52

les preuves asées sur les processus de réponses il s'agit de vérifier si les ________ correspondent bien à ce qui est prévu dans le cadre conceptuel qui sous-tend le test

Answer 52

démarches de mise en oeuvre par les sujets pour produire leur réponses

Question 53

les preuves basées sur la structure interne du test il s'agit de vérifier que les relations entre les épreuves sont bien conformes au _____ et qu'elle justifient le calcul des différents scores composites

Answer 53

modèle théorique

Question 54

La validité différentielle validité des inférences faites sur la base des scores à un test non seulement pour les différents usages, mais aussi pour les ______

Answer 54

différents groupes de la population