cours 5 - construction des tests et l'analyse factorielle

Question 1

quelles sont les 2 méthodes principales pour développer un test

Answer 1

1. inductif (axé sur les données)
2. déductif (axé sur les théories)

Question 2

Info au sujet de l’origine de certains tests qui sont largement utilisés

pourquoi on crée des tests (3-3)

Answer 2

1. on veut répondre à un besoin pratique (test créé par clinicien)
2. certains sont issus à partir de base théorique (pour évaluer une théorie) (majorité, certains le sont pas)
3. pour la révision, adaptation d’un test existant
   - créer des formes courtes
   - création de traductions
   - modernisation

Question 3

Approche inductive de la construction des tests

quelles sont ses caract (3)

Answer 3

1. la moins utilisée
2. difficile de créer des tests à partir de zéro avec cette stratégie, mais pas impossible
3. dhabitude utilisée lorsqu’on a deja un test ou gorupe d’items et qu’on veut construire un nouveau test en utilisant le matériel existant

Question 4

Approche inductive de la construction des tests

quelles sont les étapes

Answer 4

1. commencer avec un grand groupe d’itemps (dhabitude devéloppé sans théorie ou structure explicite à lesprit)
2. on assemble les items en échelles sur la base de méthodes statistiques
   - examiner les corrélations avec d’autres items
   - examiner les corrélations avec les résultats souhaitables
   - examiner les corrélations avec les résultats indésirables

Question 5

Approche inductive de la construction des tests

pourquoi on dit que cest axé sur les données

Answer 5

Il s’agit d’un processus “axé sur les données” : les items sont sélectionnés parce qu’ils prédisent ou améliorent la prédiction de la variable ou du comportement auquel le chercheur s’intéresse.

Question 6

l’approche déductive de la construction des tests

cest quoi ses caracts (3)

Answer 6

1. méthode la + fréquente et la mieux établie pour la construction de tests
2. Le principe fondamental de cette approche est que vous commencez par définir la construction pour laquelle vous souhaitez créer une mesure.
3. elle a plsuieurs noms (théorique, rationnelle, construction)

Question 7

nomme les 6 étapes de l’approche déductive pour créer un test

Answer 7

1. Définir l’objectif
2. Conception préliminaires
3. Préparation des items
4. Analyses des items
5. Standardisation et autres programmes
6. Preparation du material de test final

Question 8

approche déductive

explique l’étape 1

Answer 8

• Quel trait, quelle variable essayez-vous de mesurer ?
• Focus sur les scores à donner
• Type d’interprétation envisagée

Définir votre objectif n’est pas aussi simple que de décider que vous voulez créer un nouveau test d’extraversion.
- Vous devez prendre des décisions sur ce que vous essayez de mesurer, sur la définition et la théorie avec lesquelles vous allez commencer, sur la façon dont vous allez noter le test, sur la façon dont les résultats du test seront interprétés…l’objectif et le public visé par le test, etc.

Question 9

étape 2 - approche déductive

Enjeux dans la conception préliminaire, explique et cest quoi les enjeux (5)

Answer 9

Ne passez pas immédiatement de la définition de l’objectif à la préparation des items.

enjeux à considérer :
1. Mode d’administration, formation
2. Longueur
3. Format des items (likert, choix forcé etc.)
3. Nombre de scores possibles, rapports d’évaluations
5. Recherche sur l’objectif du test qui existe déjà dans le domaine

Question 10

Anatomie d’un item de test

explique la décomposition d’une question d’un test

Answer 10

1. le stimulus
   - format de réponse
   - procédures de notation
2. le contexte du test
   - limites de temps
   - la méthode d’enregistrement des réponses

Question 11

quels sont les 2 types d’items de tests

Answer 11

1. cotation des items à choix de réponses
2. cotation des items a développement

Question 12

Cotation des items a choix des response

explique la cotation des items à choix de réponses (3) et la notation (4)

Answer 12

cotation :
1. vrai/faux, choix multiples, choix forcés
2. likert, écarts sémantiques
3. échelles de réponses graphiques

notation :
1. accord/désaccord
2. correct/incorrect
3.alternatives : ex correction négative
4.existe aussi la notation automatisé = évolution majeure, ordi note

Question 13

cest quoi une echelle de likert

Answer 13

Il est du type d’échelle et de l’ensemble d’options de réponse les plus courants en psychologie. on vous demande généralement d’évaluer dans quelle mesure vous êtes d’accord ou non avec une affirmation.
ex : hexaco

Question 14

cest quoi un test choix forcé

Answer 14

• choisir option qui me ressemble le plus et le moins (test de perso)
• souvent utilisé pour interroger gens sur des sujets pour lesquels les repondants pourraient vouloir mentir sur leur réponse (pour se présenter sous un jour favorable)

Question 15

comment on fait la cotation des items à développement et la notation

Answer 15

1. cotation : Les questions ouvertes peuvent prendre de nombreuses formes, notamment des questions écrites, l’évaluation d’un travail effectué par quelqu’un (portfolio) et même des dessins.
   - faut que question/tâche soit claire
   - faut utilise run nbr suffisant d’items (+ est mieux, en gardant à l’esprit les resosurces)
2. notation : enjeu majeur
   - Le problème de l’évaluation de ces types de questions est sans fin, mais il est préférable d’utiliser une grille d’évaluation, de faire appel à plusieurs juges et d’élaborer un plan de notation dans la mesure du possible.
   - faut etre précis dans la procédure de notation
   - bien de former des personnes qui évalueront les réponses à l,utilisation de votre systeme de notation (pour ++ cohérence)

Question 16

quels sont les avantages de la cotation des items à choix de réponses vs à développement

Answer 16

items choix de reponse :
1. stabilité et fiabilité de la notation des items
2. rapidité et facilité d’exécution

items à développement :
obtenir des réponses à des questions qui indiquent des comportements rares, vous pouvez trouver quelque chose d’inattendu, mais ces types de questions sont beaucoup plus difficiles à noter.(difficile d’établir la validité d’un test à réponse ouverte)

Question 17

preparation des items : est facile ou difficile et pourquoi… d’où l’importance de …

Answer 17

TRES DIFFICILE
-car cest le moment (le meilleur moment) pour établir la validité du contenu DONC important de s’assurer que vous rédigez des items qui couvrent la plus grande partie possible du contenu du test et ne vous concentrez pas uniquement sur une partie spécifique de celui-ci.

d’où l’importance de l’objectif et des définitions solides de ce que vous essayez de mesurer

Question 18

dans la preparation des items, que fauil éviter (4)

Answer 18

1. éviter langage compliqué (tjrs rester simple et phrase courte)
2. éviter questions double barrel (questions qui demandent deux choses en mm temps)
3. éviter doublets négatifs
4. éviter inexactitudes factuelles

Question 19

explique l’étape 4 de l’analyse des items (3phases)

Answer 19

1. essai/distribuer des items
   - informel (vos collègues)
   - formel (dans une étude)
2. analyses statistiques (TCT vs TRI)
3. sélection des items

Question 20

quest ce que la difficulté de l’item (valeur p)

Answer 20

La difficulté de l’item fait référence au POURCENTAGE de candidats qui ont répondu à la question “correctement” ou de la “manière souhaitée”.

• Imaginez que vous fassiez passer un test à 10 personnes en leur demandant “qu’est-ce que 5x5” ?
• 8/10 ont répondu 25
• votre “p-value” pour cette question est de 0,8.

cet exemple est constitué de questions très claires avec des réponses très claires, il est techniquement possible de faire cela avec des questions d’accord-désaccord mais les mathématiques deviennent compliquées et conceptuellement peu claires.
l’entreprise dans laquelle je travaillais considérait P< 20 difficile, P> 80 très facile, ~ 0.6 = moyen

Question 21

quest ce que le pouvoir discriminant de l’item (discrimination des items)

Answer 21

la discrimination d’item fait référence à la **capacité d’une question à différencier de la manière souhaitée des groupes de candidats à un test **
- il ne s’agit pas d’une discrimination basée sur des caractéristiques sociales, mais d’une discrimination basée sur un trait de caractère ou un niveau d’aptitude.

• on peut aussi relier les resultats de notre test à des critères externes ou aux resultyats d’autres tests et regarder si les participants ayant des caract élevés ou faibles ont repondu correctement ou non aux questions
• alternativement, après avoir noté notre test, nous pouvons voir si des “groupes naturels” se forment au sein du test en examinant quels participants ont répondu et n’ont pas répondu correctement à chacune des questions - on peut parler de groupe à référence interne

Question 22

comment calculer la discrimination de l’item

Answer 22

l’indice D

• Différence entre la proportion d’élèves ayant obtenu la bonne réponse à l’item et la proportion d’élèves ayant obtenu une mauvaise réponse à l’item – ou un trait
  En général, un niveau élevé de discrimination des items est préférable (entre 0,3 et 0,5).

Question 23

cest quoi la correlation item-total et ce qui nous indique (2)

Answer 23

La corrélation item-total désigne la corrélation entre les scores obtenus à une seule question d’un test et les scores obtenus à l’ensemble
il nous indique
1) si un item contribue positivement ou négativement au score global du test
2) et sa capacité à distinguer les performances élevées des performances faibles lors d’un test

Question 24

quest ce que l’analyse factorielle (4)

Answer 24

1. outil essentiel pour processus de developpement de tests
2. procédure statistique qui peut être utilisée pour trouver les dimensions communes qui sous-tendent les éléments (items) d’une matrice de corrélation.
3. cet outil est utilisé pour nous aider à comprendre la structure des données que nous y introduisons.
   - Votre test est-il unidimensionnel ou multidimensionnel ?
4. dans le contexte de la psychologie, cela signifie qu’il peut être utilisé pour identifier comment les mesures de votre sondage forment des sous-échelles ou des variables dans leur ensemble

Question 25

quelles sont les 2 grandes catégories d’analyses factorielles

Answer 25

1. l’analyse factorielle exploratoire
   - But: quelle est la structure des données que j’ai devant moi
2. l’analyse factorielle confirmatoire
   - But: la structure des données que j’ai devant moi correspond-elle à mes attentes quant à la façon dont elles devraient être structurées, sur la base de la théorie associée aux variables que j’ai étudiées ?

Question 26

l’analyse factorielle utilise quel données

Answer 26

les données brutes, donc on utilise analyse factorielle pour examiner les relations entre les autres items (du mm tests ou d’autres tests)
- donc l’analyse factorielle peut donc être utilisée pour nous renseigner sur la validité convergente et discriminante.

Question 27

explique le processus de l’analyse factorielle

Answer 27

1. je saisis données dans analyse factorielle, elle crée des colonnes appelés “facteurs” (dimensions) qui représentent les variables de mes données
2. l’analyse me montre apres la corrélation entre chacun de mes items et ces facteurs
3. si un item est très fortement corrélé avec un facteur, cela signifie que l’élément (item) appartient à ce facteur.
   - chaque élément (item) ne peut appartenir qu’à un seul facteur
4. en examinant quels éléments (items) appartiennent aux facteurs identifiés par l’ordinateur, nous pouvons examiner le contenu des items et décider, en tant que chercheurs en psychologie, quel est le thème commun aux items et donner un nom au facteur.

on voit ici que certaines variables sont tres corrélés au facteur 1 et dautres au facteur 2
- si un item n’a pas une forte corrélation avec un facteur - cela signifie que l’item est mauvais et doit être jeté

Question 28

quelle est une autre facon de visualiser l’analyse factorielle

Answer 28

par diagramme de dispersion créé par l’analyse factorielle

ce nuage de points montre la CORRESPONDANCE entre les items de nos propres données et les facteurs identifiés par l’ordinateur.
Nous pouvons voir dans ces données que les éléments forment deux groupes - c’est une preuve visuelle que ces données peuvent être organisées en deux facteurs.

Question 29

exemple, on a ces 5 items,
1. J’organise et je prévois à l’avance afin d’éviter de tout bousculer à la dernière minute.
2. Je me donne au maximum afin d’atteindre un but.
3. Lorsque je travaille, je me soucie peu des petits détails.
4. Au travail, mon désordre me cause parfois des problèmes.
5. Je préfère être spontané(e) que de m’en tenir à un plan
quel est le facteur selon vous

Answer 29

conscienciosité

Question 30

quest ce que la théorie de reponse a l’item (TRI)

Answer 30

nouveau modèle pour les tests psycho qui prend en compte la probabilité d’obtenir des réponses vrai ou fausses à des questions particulières.

les courbe caractéristique des items (CCI) aident le développeur de tests à identifier les items qui fonctionnent différemment à différents niveaux d’aptitude des testeurs.

Question 31

TRI

cest quoi les CCI

Answer 31

Sur l’axe Y, nous avons la probabilité d’obtenir une question correcte - et sur l’axe X, nous avons une estimation de la capacité du candidat au test (appelée thêta). Chaque ligne en forme de S sur le graphique correspond à une question différente du test.

Les CCI séparent la difficulté de l’item et la aptitude du candidat et les présentent visuellement dans un seul graphique.

Question 32

conclu sélection des item

Answer 32

donc apres avoir evaluer difficulté des items, discrimination des items, TCT et TRI, pour produire des informations sur les items que nous avons créés afin de pouvoir sélectionner les meilleurs items possibles pour notre test qui fonctionnent pour faire ce que nous voulons qu’ils fassent.

Question 33

quest ce que l’équité et biais des tests

Answer 33

ex ; test équitable : les groupes A et B diffèrent par
leurs résultats au test: le groupe A obtient de
meilleurs résultats. Toutefois, les groupes A et B diffèrent également quant au trait réel étudié. Le
test est équitable et non biaisé. Il reflète tout simple- ment les differences reelles entre les groupes.

ex : test biaisé : Au bas de la figure, les groupes C et D diffèrent par leurs résultats a u test, mais ne diffèrent pas quantau trait réel étudié. Cela indique que le test comporte un biais

Question 34

quelles sont les 3 méthodes évaluant l’équité (biais) d’un test

Answer 34

1. Révision du contenu desitems par un comité d’experts (+ simple)
   - ethniques, culturels, socioéconomiques, handicapés et régionaux - est chargé d’analyser les items du test. Les examinateurs tentent de repérer les items dont la
   formulation ou le contexte peut avoir une signifi-
   cation ou une connotation particulière pour leur
   groupe.
   - 2inconvénients : combien de groupe on inclu ET seulement basé sur la propre opinion de la personne
2. fonctionnement différentiel des items
   - détecter les biais par l’analyse factorielle
3. prédiction différentielle

Question 35

équité et biais

explique les accomodations et modifications

Answer 35

ex : tests de lecture avec groupe deficience visuelle et groupe normal
si test caractère normaux devient un test d’acuité visuelle (donc groupe deficience moins bon, mais evalue pas mm construit)
mais si adaptation(accomodation) du test avec caractère gros, la on peut evaluer le construit test de lecture (essentiellement le test reste le mm)

modification : lorsque on evalue mm construit, mais avec une methode différente