Cours 10 Flashcards
Que fournissent l’application du cadre (principales composantes et considérations techniques) de construction efficace d’instruments de mesure?
En plus de fournir une approche cohérente, elle permet de favoriser les arguments concernant l’adéquation des preuves de validité.
La construction des tests est un processus _____________ et ____________qui ne se termine pas nécessairement au moment de sa ____________________
Très long et dynamique
publication
Selon Anastasie, aux combien de temps devraient être mis à jour les outils de validation?
- Dans des pays à l’économie stable (ex : USA, Canada), devrait être mis à jour aux 5 ans
- Dans des pays à l’économie moins stable (ex : Brésil), devrait être mis à jour aux 3 ans.
La validation d’un instrument psychométrique peut donner lieu à de nombreux ________________________.
travaux complémentaires
Quelles sont les étapes de la construction (adaptation) d’un instrument de mesure?
1ère Étape: Analyser les besoins;
2ème Étape: Identifier les comportements;
3ème Étape: Spécifier quelques principes;
4ème Étape: Rédiger (adapter) les items;
5ème Étape: Expertiser la première version (construite ou adapté);
6ème Étape: Pré tester;
7ème Étape: Analyser les items;
8ème Étape: Dimensionner/Calibrer
Décrivez l’étape “Analyser les besoins”
- Identifier les motifs qui justifient les besoins d’évaluation.
- Si nous examinons les mesures déjà existantes, certaines d’entre elles répondent-elles à nos besoins ?
- Devons-nous créer (ou adapter) une mesure pour répondre à nos besoins ?
- Quels sont les objectifs de cette nouvelle mesure ?
Décrivez l’étape “Identifier les comportements”.
Quels sont les comportements observables susceptibles de représenter le construit qu’on veut mesurer ?
Décrivez l’étape “Spécifier quelques principes”.
- Nombre d’items de l’instrument (préoccupation de la construction),
- Caractéristiques du matériel (et de la population);
- L’échelle Likert (pair ou impair)?
Exemple: 4, 5, 6 ou 7 pts = Fortement en désaccord à fortement en accord (?)
Décrivez l’étape “Rédiger les items”.
Il faut un nombre bien plus grand d’items au départ (construction ou d’option d’adaptation) pour avoir un certain nombre d’items utiles.
Exemple : pour avoir 15 items dans l’instrument à la fin, commencer avec 50.
Que faut-il fondamentalement observer lors de l’étape de rédaction des items?
- Le contenu de questions (un contenu par question)
- La formulation de questions
- La séquence de questions (niveau de difficulté)
- Le format des réponses souhaitées
- La présentation du matériel
Quelles sont les “consignes” pour la rédaction des items?
- Utilisez une communication simple et des mots familiers;
- Évitez des mots ambigus ou de compréhension difficile;
- Évitez des items qui suggèrent déjà les réponses; Ou, qu’une question répond à une autre (effet de halo);
- Évitez les items dont le contenu suscite des sentiments d’approbation ou de désapprobation émotionnelle;
- Éviter les questions longes (plus courte c’est mielleux);
Quelles observations sous forme de questions devons-nous nous poser?
- L’item est inutilement détaillée ou trop spécifique?
- Plusieurs items sont nécessaires pour évaluer ce contenu ou l’une seule est déjà suffisante?
- Tous les éléments importants de ce contenu sont obtenus sur la façon dont les items ont été formulés ou adaptés ?
- Les gens ont les informations (les vécus, les formations, etc.) nécessaires pour répondre aux items proposés ?
- Les items contiennent des jugements liés au sujet d’évaluation?
- Les répondants sont prêts à répondre les contenus demandés ?
- Faut-il que les items soient plus concrètes, spécifiques et plus directement liés à l’expérience personnelle ?
- Le contenu de la question est biaisé dans une certaine direction?
- Quelles réactions (ou objections, ou résistance) pourrait-on avoir quand on va répondre aux items (aurons-nous de fausses réponses ?) ?
Décrivez l’étape “Expertiser la première version”.
Soumettre, au moins, à la vérification de la clarté du langage, pertinence théorique et dimensionnalité par un groupe d’expert (juge spécialiste)
Observer chez les experts: combien d’années de formation, de pratique, localisation géographique (formation en Afrique vs en Europe), lieu de formation (ex : formé par le même prof), etc.
On veut s’éloigner de la consanguinité intellectuelle.
Décrivez l’étape “Pré-tester”.
Pré-tester la première version (construite ou adaptée) à l’aide d’un échantillon de la population ciblée, visant peaufiner cette première version (et peut-être déjà développer la version définitive).
La variance de cet item explique déjà la variance d’un autre item, etc.
Donc la combinaison linéaire de ces trois items (items 1,2,3) explique déjà la variance de l’item 4, parce que si la combinaison linéaire des items 1, 2, 3 explique déjà la variance de l’item 4, je n’ai pas besoin de litem 4. Je vais donc garder l’item 1, 2, 3.
Cet échantillon doit être suffisamment grand (la problématique de l’échantillonnage) pour garantir une bonne qualité des résultats au pré-test.
Besoin d’un grand échantillon, parce qu’on ne veut pas que l’erreur associée au processus d’échantillonnage intervienne dans nos analyses.
- Si j’ai peu de personnes, l’erreur d’échantillonnage va prendre bcp d’importance
- Si J’ai beaucoup de personnes, l’erreur d’échantillonnage des personnes sera moins importante.
Décrivez l’étape “Analyser les items”.
On fait d’abord une analyse initiale.
- Vérifier/explorer, premièrement, les résultats descriptifs (relation variance et écart-type) et corrélationnels ;
- Explorer/détecter les possibles problèmes d’acquiescence (positive ou négative) ;
- Tester la normalité des variables latentes
o Généralement, les gens vont faire des tests univariés de la normalité par le biais de « K-S » (à la base c’est un test de fréquence) avec correction de Lilliefors (va devenir test de normalité avec cette correction)
o « S-W » (test de normalité univarié)
o Test de Mardia (test de normalité multivarié)
o Test de distance de Mahalanobis (test de normalité multivarié), si cela s’applique (évidement)
- Chercher les possibles problèmes de colinéarité (ex : item 1 trop corrélé avec item 2)
On aime pas la colinéarité, car on va avoir de trop bons résultats
