cours 2 Flashcards
(24 cards)
Pourquoi faire des nouveaux tests ?
Nécessité de créer un nouveau test pour mettre une théorie à l’essai.
Tests désuets, inadaptés ou qui doivent être révisés.(changements sociétaux, problématiques particulières, contexte spécifique)
Considérations pratiques relatives à la sélection, la classification ou l’évaluation. (coûts, longueur, classification des personnes)
Parfois nouveaux tests pour même théorie car on veut mesurer le concept d’autre façon, avec plus de dimension
Nouveaux tests pour modification d’une théorie
Dvp des technologies
Adapter à la culture/langue
Quelles sont les Étapes de l’élaboration d’un test ?
Définition de l’objectif du test (usage anticipé)
Questions relatives à la conception du test
Préparation des items
Analyse des items
Étalonnage et programmation de recherches connexes
Préparation du matériel définitif et publication
Qu’est-ce que l’usage anticipé ?
Énoncé des objectifs de l’instrument :
Identifier le concept mesuré;
Déterminer la population cible;
Établir les circonstances de passation et d’utilisation (interprétation pouvant être faite)(buts)*.
Quels moyens sont utilisés pour faire l’usage anticipé ?
Analyse d’instruments existants;
Consultation des écrits scientifiques;
Consultations formelles et informelles avec des experts et des utilisateurs.
Comment Établir les buts de l’instrument ?
Les buts de l’instrument se résument souvent en une phrase :
Description détaillée du concept mesuré;
Identification de la population ciblée;
Existe-t-il un autre test?
La création d’un test de qualité prend du temps, de l’argent et beaucoup d’efforts;
Si un test existe déjà, pourquoi en créer un nouveau?
Objectif psychométrique : la sélection, la classification ou l’évaluation
Quelles sont les Questions relatives à la conception du test ?
Prise de décisions qui vont avoir une influence sur la forme prise par le test.
Reposent sur l’objectif du test et les considérations pratiques.
Décisions quant à :
Le mode d’administration du test (collectif, individuel, papier crayon, etc);
La longueur;
Le format des items;
Les scores du test (format et nombre);
La formation des utilisateurs.
Idéalement, on ne produit pas les items avant que ces considérations soient abordées.
Comment préparer les items ?
Formulation et révision des items.
Doit découler de la théorie, des recherches empiriques.
Quelles sont les composantes d’un item du test ?
Stimulus (prémisse ou amorce)(item qu’on créer);
Format de réponse (type de réponse, échelle);
Conditions de réponse (temps, nombre d’essais, questions supplémentaires, etc);
Procédures de cotation.
Comment sont analysés les items ?
Les items sont analysés afin de déterminer les propriétés psychométriques de l’instrument.
Deux éléments à considérer :
La fidélité;
La validité.
Sélection des items.
Commentse fait l’Étalonnage et programmation de recherches connexes ?
Préparation des normes à l’aide d’un échantillon normatif.
Préparation des critères de cotation.
comment se fait la Préparation du matériel définitif et publication ?
La forme finale de l’instrument (ses items, procédure d’administration et de cotation, etc.) est consignée.
Les résultats des études de validation (propriétés psychométriques) sont publiées pour être évaluées par les pairs et les personnes pouvant utiliser le test.
Qu’est-ce que l’usage recommandé ?
Définition de l’utilisation spécifique pouvant être faite des résultats de l’instrument de mesure.
Guides relatives à l’administration et l’interprétation.
Comment est le processus de création de test ?
Processus itératif
La création d’un test psychométrique n’est pas linéaire.
Il est impossible d’avoir un test parfait.
Tout au long du processus, on doit interpréter les résultats de l’étude de validation pour détecter les problèmes et apporter les corrections nécessaires.
Si des problèmes apparaissent lors de l’analyse des items, il faut retourner à l’étape de la préparation et refaire l’analyse.
Quelles questions doit-on se poser pour l’usage anticipé ?
Identifier les besoins :
Quel est le problème à régler avec la création de notre instrument?
Quel est le but de l’évaluation faite à l’aide de notre instrument?
Identifier les acteurs :
Qui veut-on aider à l’aide de notre instrument? (identifier les bénéficiaires)
Qui va administrer l’instrument? (identifier les personnes administratrices)
Qui va utiliser les résultats de l’instrument? (identifier les personnes utilisatrices du test)
Identifier le contexte d’utilisation anticipé.
Quels sont les acteurs des tests psychométriques ?
Concepteur/Conceptrice : La personne qui créé l’instrument de mesure.
Bénéficiaire : La personne qui se fait évaluer à l’aide de l’instrument.
Administrateur/Administratrice : La personne qui procède à la mesure.(peut être la même personne que le bénéficiaire)
Utilisateur/Utilisatrice : La personne qui interprète les résultats de l’instrument.(peut être l’administrateur)
Comment se fait la conceptualisation ?
Nommer et définir le concept à mesurer.
Qu’est-ce que mon instrument doit mesurer?
Distinguer les différentes composantes du concept.
Traduire le construit théorique en une série d’éléments pouvant être observés ou sondés.
Utilisation des écrits scientifiques, des instruments déjà existants et consultation formelle d’experts.
La théorie identifie souvent les dimensions d’un construit.
Chaque dimension devra être mesurée «séparément».
Qu’est-ce que le contenu d’un instrument ?
Le contenu d’un instrument est constitué des différentes dimensions du concept
Le contenu d’un instrument est fondé sur une proportion représentative d’un domaine fini (liste claire d’éléments à tester)
de connaissances;
de comportements;
Comment faire la conceptualisation?
Pour effectuer la conceptualisation de notre concept :
Consultation des écrits scientifiques;
Consultation des instruments déjà existants;
Consultation formelle d’experts.
Quelles sont les Questions de conception préliminaires ?
Décisions relatives au :
Type de test;
Type d’items;
Nombre d’items;
Type de réponses;
Type de correction;
Type d’échelle;
Méthodes d’administration.
Qu’est-ce que ces questions visent à réduire ?
Vise à contrôler les erreurs :
Aléatoires; (varie selon conditions imminentes de diff personnes)
Systématiques. (erreur pareille pour tout le monde (ex : erreur dans questions du test))
Quels sont les types d’items ?
Items à choix de réponse : (souvent dans test d’aptitude) : Vrai ou faux;
Choix multiples.
Items à échelle : Échelle de Likert (point milieu vs choix forcé); Échelle d’évaluation graphique; Différenciateur sémantique.(se positionner sur un pole d’un continuum)
Items à développement :
Questions ouvertes à réponse longue;
Évaluation du rendement;
Portfolio.
Comment se fait la cotation des items ?
Choix de réponse : Points accordés, comment faire la procédure de somme ou moyenne.
Questions ouvertes : Comment corriger les réponses? À l’aide d’une grille.(plus complexe = plus fidèle et valide) : en ordre de complexité
Cotation globale;
Cotation analytique (certains nombre de points pour diff composantes évaluées de la réponse);
Cotation par points.(points qu’on veut retrouver dans la réponse)
Quels sont les types d’échelles ?
nominale
ordinale
intervalle (Likert)
Ratio
Que sont les Méthodes d’administration ?
Directives pour les personnes évaluées.
Directives pour les personnes qui administrent le test.
Comment coter le test.
