Chapitre 6 Flashcards
(37 cards)
- Définition de l’objectif du test
- Quel est le trait, le construit ou la dimension que le test prétend mesurer?
- Quels scores veut-on obtenir avec ce test? (global? Ou on veut des sous scores?)
- Quelles sont les interprétations possibles? (ex: dépistage? Orientation pour de la prise en charge?
Quelle est la clientèle visée?
Est-ce que ce test existe déjà?
Utiliser les ressources présentées au chapitre 2 dont le MMY
Exemple: indice de sociabilité chez les adolescents et adolescentes (ISA). L’ISA a pour but de donner un indice aux chercheurs et aux cliniciens en ce qui concerne les compétences sociales chez les adolescents Nord-américains âgés de 12 à 19 ans. Liste de sous-construits.
- Questions de conception préliminaire
- Le mode d’administration, la formation requise
- La longueur (court et pratique ou long et efficace?)
- Le format des items (ICR ou ID?)
- Le nombre de scores (un total ou un pour chaque sous-construit?)
- Les recherches existantes dans le domaine (pratique,théorique ou pour une révision)
Anatomie d’un item de test
- Stimulus (verbal, écrit, autre, et provoque quelque chose chez la personne)
- Format de réponse au stimulus (conditions de réponse à l’item, ex: les limites de temps, les indices à donner, les types d’enregistrement)
- Procédures de cotation
Quels sont les types d’items?
- Items à choix de réponses (ICR)
V ou F, choix multiples, choix forcé
Likert, différenciateur sémantique, etc.
Exemples: encadrés 6.3 et 6.4, tableau 6.1, figures 6.3 et 6.4 - Cotation des ICR
Bonne ou mauvaise réponse
Systèmes de cotation alternatifs et approches de pondération - Items à développement (ID)
Réponse ouverte, construite, libre…
Essai, porte-folio, projectif, etc.
Exemple: encadré 6.5 - Le problème de la cotation des ID
La conceptualisation du système de cotation et l’accord inter-juge
Cotation globale, analytique, la qualification par points
Est-ce que les choix de réponse sont faciles à coter?
Oui. On ne se trompe pas dans l’interprétation.
Que serait un choix forcé?
Ex:
Format de réponse :
A. Imaginer que votre conjoint(e) s’attache émotionnellement à cette autre personne?
B. Imaginer que votre conjoint(e) a des relations sexuelles avec cette autre personne?
Qu’est-ce qu’un différentiateur sémantique?
Ex: comment trouvez-vous votre école? Indiquez où vous vous situez.
Chaleureuse _________________ Froide
Quels sont les avantages des ICR et ID?
- Avantages ICR
Cotation fiable
rapide
Les scores totaux sont faciles à calculer - Avantages des ID
Observation du comportement et des processus
Pour explorer des zones inhabituelles (personnalité)
Tests de rendement: pousseraient les étudiants à varier leurs stratégies d’apprentissage. - La validité de chaque approche est égale, selon les contextes.
Est-ce que la validité des ICR et des ID est égale?
Oui, selon les contextes.
Est-il recommandé de combiner les ICR et les ID?
Oui.
Comment composer des ICR?
- Plusieurs règles à suivre
La recherche de Haladyna - En résumé
Utilisez le bon contenu
N’induisez pas de réponse
Allez au plus simple
Suggestions pour formuler des items à développement.
Veiller à ce que la tâche soit claire
Avoir une idée précise et à l’avance de la cotation
Utiliser un nombre suffisant d’items
Quels sont les 3 étapes pour analyser un item:
- La mise à l’essai (ou prétest)
- Analyse statistique
- Sélection des items
Que dire sur la mise à l’essai?
- Informelle
- Formelle (3 approches) Échantillon indépendant (la plus courante, indépendant dans le sens où je n’utiliserai pas ces données-là pour publier mon score) Ajouts (intégration à des tests existants) En continu (tests de rendement)
- Taille de l’échantillon (critique)
Quel serait un exemple de mise à l’essai informelle?
Ex: la personnalité. Soumettre les tests de manière informelle.
Combien ça prend d’item pour tester la validité et la fiabilité?
Pour évaluer la fiabilité et la validité des items, ça prend 10 items par construit (règle partagée par les cliniciens). Ou 10 items par sous-construits. Et ça me prend au moins 10 personnes par item pour valider mon test.
Statistique des items
- Quelques termes (voir figure 6.5)
Termes inspirés des tests de rendement ou d’aptitudes :
prémisse, choix ou options, distracteurs ou leurres - Difficulté de l’item (valeur du p)
Ex. correct/incorrect
p est un indice de facilité où il correspond au pourcentage de personnes qui ont répondu correctement
p près de 1,00 est facile, près de 0 est difficile
Valeur de p?
Difficulté de l’item.
p est un indice de facilité où il correspond au pourcentage de personnes qui ont répondu correctement
p près de 1,00 est facile, près de 0 est difficile
À quoi correspond la prémisse (item)?
Au stimulus.
Pouvoir discriminant de l’item
- Est-ce que les items distinguent divers groupes de répondants (pas question ici de discrimination raciale, sexuelle, etc.) ?
- Critère
externe (avoir suivi ou non le PSY4130)
interne (les meilleurs à l’examen intra) - Indices de discrimination
D, r, r corrigé, corrélation item-total - Analyse des distracteurs (ou l’analyse des mauvaises réponses)
Quels sont les indices de discrimination?
D (items binaires), r, r corrigé, corrélation item-total
Quel est l’idéal de difficulté pour bien discriminer?
0.50
Que se passe-t-il si les forts répondent en minorité à un bon item?
L’item n’est pas bon.
Sur quoi porte l’analyse factorielle lors de la confection du test?
Sur les items.
- Application typique dans le domaine non-cognitif
- Approche de base – voir tableau 6.4
