Cours #2 Flashcards
Modèle de la cible : processus qui décrit quoi ?
1-Comment construire/modifier un instrument psychométrique.
2-Comment vérifier les qualités psychométriques d’un instrument.
**
Proposer modele simplifié pr le rendre digeste et donner accès aux gens aussi.
Quels sont les 3 concepts ?
Fidelité/Fiabilité
Validité
Utilité
**
Modèle de la cible = Cv vrm de gauche à droite ds le modele de la cible. Si effets nefastes ds etapes precedantes, cv se repercuter. S’assurer de bien commencer pour pouvoir bien finir.
UTILITÉ : Si mesure pas utile, mm si valide et fidele, sert à rien. Englobe tt, cest le concept le + important.
Ex utilitié : j’ai un instrument en fr et vient combler trou dans la littérature pcq on en a juste en anglais.
On va vrm créer un but pour notre instrument au départ. Périphérie du cercle, mais ça englobe tt.
VALIDITÉ : On mesure adequatement ce que sensé mesurer tt en ayant peur d’erreurs de mesure. Vali englobe la fidelité. On px pas avoir vali si pas fidéli.
FIABILITÉ :
Terme qui px être interchangé avc fidelité. Cest de syn.
Cœur qui modele, il est englobé par les autres.
Qd notre instrument dépourvu d’erreur de mesure, et savoir l’ampleur de cette mesure. Ce qu’on vx, c’est le quantifier. Savoir ecq score obtenu représente score réel de la perso.
Mettons jai score 8/30 mais questions mal posées, pis je refais sem pro et jai 25/30, pas stable dans le temps, fiabilité.
Résultats qui changent : fatigue, questions mal posées…
Def Fidelité
Quel niveau d’erreur de mesure l’instrument contient-il?
**
Pas blanc ou noir, normal que un peu erreur de mesure, mais le quantifier / en etre conscient.
On le connaitre, s’assurer de savoir qcequi se passe.
Def validité
À quel point l’instrument mesure-t-il ce qu’il est censé mesurer?
Def utilité
Est-ce que l’instrument sert à quelque chose?
**
ecq remplit un trou ds la littérature ? Utilité = le + impo ds le modele)
Quelles sont les 2 phases ?
(la 1ere necessite de prendre quel type de decision ?)
Préparation et vérification
**
PRÉPARATION
Prép = le + important. On vx bien prep pr faire les analyse. Si pas bien prep, les analyses seront pas bonnes .
À cette étape on fait des recherches. Souvent cest une première version. Vrm à cette etape qu’on creuse ds la littérature.
Necessite de prendre des decisions
- Comprehension pointue de nos buts et ctx d’utilsiation
- On doit prendre des decisions qd à definition de nos construits (validit) et generer aussi des hypothèses cmt le construit va se comporter avc d’autres critères.
Prendre decision en fction des erreurs qui peuvent arriver. Decisions pr minimiser problèmes.
VÉRIF
On va anayser les données. (apres avoir fait passer question)
Analyse stats et voir que instrument marche comme il est supposé marcher. Données de stab temporelle (s’asssurer que T1 = correspond à T2)
Quelles sont les 6 étapes (dessiner aussi sur la cible, et dire lequel a un lien avec quoi)
- Usage anticipé - utilité
- Conceptualisation - validité
- Élaboration - fidélité
- Stabilité - fidélité
- Congruence - validité
- Usage recommandé - utilité
Différentes étapes sont reliées
**
Ex : Montrer que instrument au final pas utile mm si passe bien tt le reste. Mettons 300 quest pr mesurer TDAH. Qd avc pop cible , 300 pt pas la meilleure idée. Pt que pas utile. Mm si tt le reste est bon
Quelles sont les 2 tâches ?
OBJECTIFS
Ce qu’on vx accomplir en créant instrument. On utilise balises theoriques et psychometriques. Chaque étape = des objectifs specifiques
MOYENS
Cmt on fait pr arriver à realiser les objectifs. Bcp de lectures, voir experts….
Alors que verification = + avec des analyses stats que cv arriver.
Étape 1 : Usage anticipé (objectifs et moyens)
OBJECTIFS :
- Buts de l’instrument
- Population visée (qui va use)
- Contexte d’utilisation
(supervisé ou non ? papier/crayon ou en ligne ?)
MOYENS :
- Analyse d’instruments ((instrumets qui ceux qui déjà disponibles)
- Lectures
((voir ce qui existe, mais aussi voir mettons qcequi fait déjà,c est quoi les bonnes pratiques pr ce que ns on cherche à faire) - Consultations
(aller voir gens qui ont déjà cette expertise, fait ce type d’instrument)
Étape 1 : Usage anticipé exemple
Scholastic Aptitude Test (SAT)
Version pré-2005
Instrument utilisé dans le système scolaire américain
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
( avoir un système généralisé)
Ne s’intéresse qu’à ce qui a été appris au secondaire et ne prétend pas mesurer l’intelligence
**
S’interesser vrm à ce qui appris au secondaire, ne pretend pas mesurer autre chose genre intellignce.
Beneficiaires = kids au secondaires
Ce qui use pr eval : college et uni
Concepteurs = college word, asso des colleges ensemble
Administrateur = colleges et uni
CTX passastion :
Cclasser papier, crayon, supervisé, en classe, qqheures.
ÉTAPE 2 : Conceptualisation (Objectifs + moyens)
OBJECTIFS
- Définir, catégoriser et organiser les composantes des phénomènes à mesurer
- Positionnement avec d’autres concepts
MOYENS
- Synthèse des aspects conceptuels des instruments
(Aller chercher ds la litt les lectures par rapport à def, faire des choix qd à la def qu’on prend. Choix qu’on aura à faire. Ns decide qcequ’on pense qui est le meilleur. )
- Lectures théoriques
- Consultations
ÉTAPE 2 : Conceptualisation Exemple
Scholastic Aptitude Test (SAT)
Les aptitudes sont de deux types:
1) Verbales (SAT-V)
- Antonymes
- Analogies
- Compléter phrases
- Compréhension de lecture
2) Mathématiques (SAT-M)
- Questions numériques
- Comparaisons de quantités
ÉTAPE 3 : Élaboration (objectifs + moyens)
OBJECTIFS
- Prévoir les sources d’erreur de manière à les minimiser
- Choix du format de l’instrument
- Construire les items
- Choisir la méthode de correction
MOYENS
- Lectures «psychométriques»
- Inventaire des stratégies déjà employées
ÉTAPE 3 : Élaboration
Exemple
Scholastic Aptitude Test (SAT)
Questions à choix multiples élaborées par des professeurs de «high-school» et de «college» et des psychométriciens
1) SAT-V : 85 questions de simple à difficile
- Antonymes (5 choix)
- Analogies (5 choix)
- Compléter phrases (5 choix)
- Compréhension de lecture (5 choix)
2) SAT-M : 60 questions de simple à difficile
- Questions numériques (5 choix)
- Comparaisons de quantités (4 choix)
Durée = deux heures
Passation en groupe
Le score est déterminé par des points accumulés pour les bonnes réponses et des points retranchés pour les mauvaises réponses (correction pour avoir deviné)
Le score varie de 200 à 800, la moyenne est ajustée à 500 et l’écart-type est ajusté à 100
Une vingtaine de versions parallèles sont administrées simultanément
ÉTAPE 4 : La stabilité (objectifs + moyens)
OBJECTIFS
- Vérifier la nature et l’ampleur de l’erreur
- Établir la stabilité interne et temporelle
MOYENS
- Erreur-type de mesure
- Analyses d’items
- Analyses corrélationnelles
- Approche hypothético-déductive
- Accord inter-juges
ÉTAPE 4 : Stabilité exemple
Scholastic Aptitude Test (SAT)
Erreur-type de mesure
SAT-V : 31
SAT-M : 33
Consistance interne
SAT-V : Alpha de Cronbach de α = 0,92
SAT-M : Alpha de Cronbach de α = 0,91
Stabilité temporelle (intervalle de 7 mois)
SAT-V : corrélation test-retest r = 0,88
SAT-M : corrélation test-retest r = 0,85
ÉTAPE 5 : La congruence (objectifs + moyens)
OBJECTIFS
Vérifier les quantifications et/ou l’organisation des concepts
MOYENS
- Analyses corrélationnelles
- Approche hypothético-déductive
- Analyses factorielles
- Équations structurelles
ÉTAPE 5 : La congruence exemple
Scholastic Aptitude Test (SAT)
VALIDITÉ DE CONTENU
- Les questions posées représentent les domaines enseignés au «high-school»
VALIDITÉ PRÉDICTIVE (résultats partiels – les meilleurs élèves seulement)
- Corrélation entre le SAT-V et les notes au «college» : r = 0,54
- Corrélation entre le SAT-M et les notes au «college» : r = 0,48
- Corrélation entre les notes au «high-school» et les notes au «college» : r = 0,67
ÉTAPE 6 : Usage recommandé (objectifs + moyens)
OBJECTIFS
- Préciser buts, population visée, circonstances d’utilisation/de passation
- Guider l’interprétation
MOYENS
- Article scientifique
- Normes
ÉTAPE 6 : Usage recommandé exemple
Scholastic Aptitude Test (SAT)
BUT : prédire le succès scolaire d’élèves du secondaire une fois à l’université
Manuels et beaucoup de recherches
Population: Tous les types de populations d’élèves de «high school» décrits
Semble pouvoir atteindre ce but, mais la mesure n’est pas parfaite
Processus décisionnel
Lors de la construction et de la validation, il faut:
- détecter les problèmes ;
- apporter les correctifs requis.
Le modèle de la cible rend ces tâches plus faciles.
Principe général du processus décisionnel
Si un problème est détecté dans la phase de vérification, il faut retourner à l’étape correspondant à ce concept dans la phase de la préparation:
- Problème détecté à l’étape de la stabilité : Retour à l’étape de l’élaboration (concept de la fiabilité)
- Problème détecté à l’étape de la congruence :Retour à l’étape de la conceptualisation (concept de la validité)
- Problème détecté à l’étape de l’usage recommandé : Retour à l’étape de l’usage anticipé (concept de l’utilité)
Problématiques auxquelles le modèle de la cible aide à répondre
- Mauvaise connaissance des autres instruments
- Utilisation d’instruments désuets
- Concepts mal définis
- Type de mesure peu approprié à la situation
- Techniques statistiques mal utilisées
- Mauvaise interprétation des indices statistiques
Concepts de base - les résultats d’un instrument doivent obligatoirement être interprétés en fonction :
- du construit
- de la population
- du contexte
