cours 5 - construction des tests et l'analyse factorielle Flashcards

1
Q

quelles sont les 2 méthodes principales pour développer un test

A
  1. inductif (axé sur les données)
  2. déductif (axé sur les théories)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
2
Q

Info au sujet de l’origine de certains tests qui sont largement utilisés

pourquoi on crée des tests (3-3)

A
  1. on veut répondre à un besoin pratique (test créé par clinicien)
  2. certains sont issus à partir de base théorique (pour évaluer une théorie) (majorité, certains le sont pas)
  3. pour la révision, adaptation d’un test existant
    - créer des formes courtes
    - création de traductions
    - modernisation
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
3
Q

Approche inductive de la construction des tests

quelles sont ses caract (3)

A
  1. la moins utilisée
  2. difficile de créer des tests à partir de zéro avec cette stratégie, mais pas impossible
  3. dhabitude utilisée lorsqu’on a deja un test ou gorupe d’items et qu’on veut construire un nouveau test en utilisant le matériel existant
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
4
Q

Approche inductive de la construction des tests

quelles sont les étapes

A
  1. commencer avec un grand groupe d’itemps (dhabitude devéloppé sans théorie ou structure explicite à lesprit)
  2. on assemble les items en échelles sur la base de méthodes statistiques
    - examiner les corrélations avec d’autres items
    - examiner les corrélations avec les résultats souhaitables
    - examiner les corrélations avec les résultats indésirables
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
5
Q

Approche inductive de la construction des tests

pourquoi on dit que cest axé sur les données

A

Il s’agit d’un processus “axé sur les données” : les items sont sélectionnés parce qu’ils prédisent ou améliorent la prédiction de la variable ou du comportement auquel le chercheur s’intéresse.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
6
Q

l’approche déductive de la construction des tests

cest quoi ses caracts (3)

A
  1. méthode la + fréquente et la mieux établie pour la construction de tests
  2. Le principe fondamental de cette approche est que vous commencez par définir la construction pour laquelle vous souhaitez créer une mesure.
  3. elle a plsuieurs noms (théorique, rationnelle, construction)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
7
Q

nomme les 6 étapes de l’approche déductive pour créer un test

A
  1. Définir l’objectif
  2. Conception préliminaires
  3. Préparation des items
  4. Analyses des items
  5. Standardisation et autres programmes
  6. Preparation du material de test final
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
8
Q

approche déductive

explique l’étape 1

A
  • Quel trait, quelle variable essayez-vous de mesurer ?
  • Focus sur les scores à donner
  • Type d’interprétation envisagée

Définir votre objectif n’est pas aussi simple que de décider que vous voulez créer un nouveau test d’extraversion.
- Vous devez prendre des décisions sur ce que vous essayez de mesurer, sur la définition et la théorie avec lesquelles vous allez commencer, sur la façon dont vous allez noter le test, sur la façon dont les résultats du test seront interprétés…l’objectif et le public visé par le test, etc.

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
9
Q

étape 2 - approche déductive

Enjeux dans la conception préliminaire, explique et cest quoi les enjeux (5)

A

Ne passez pas immédiatement de la définition de l’objectif à la préparation des items.

enjeux à considérer :
1. Mode d’administration, formation
2. Longueur
3. Format des items (likert, choix forcé etc.)
3. Nombre de scores possibles, rapports d’évaluations
5. Recherche sur l’objectif du test qui existe déjà dans le domaine

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
10
Q

Anatomie d’un item de test

explique la décomposition d’une question d’un test

A
  1. le stimulus
    - format de réponse
    - procédures de notation
  2. le contexte du test
    - limites de temps
    - la méthode d’enregistrement des réponses
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
11
Q

quels sont les 2 types d’items de tests

A
  1. cotation des items à choix de réponses
  2. cotation des items a développement
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
12
Q

Cotation des items a choix des response

explique la cotation des items à choix de réponses (3) et la notation (4)

A

cotation :
1. vrai/faux, choix multiples, choix forcés
2. likert, écarts sémantiques
3. échelles de réponses graphiques

notation :
1. accord/désaccord
2. correct/incorrect
3.alternatives : ex correction négative
4.existe aussi la notation automatisé = évolution majeure, ordi note

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
13
Q

cest quoi une echelle de likert

A

Il est du type d’échelle et de l’ensemble d’options de réponse les plus courants en psychologie. on vous demande généralement d’évaluer dans quelle mesure vous êtes d’accord ou non avec une affirmation.
ex : hexaco

How well did you know this?
1
Not at all
2
3
4
5
Perfectly
14
Q

cest quoi un test choix forcé

A
  • choisir option qui me ressemble le plus et le moins (test de perso)
  • souvent utilisé pour interroger gens sur des sujets pour lesquels les repondants pourraient vouloir mentir sur leur réponse (pour se présenter sous un jour favorable)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
15
Q

comment on fait la cotation des items à développement et la notation

A
  1. cotation : Les questions ouvertes peuvent prendre de nombreuses formes, notamment des questions écrites, l’évaluation d’un travail effectué par quelqu’un (portfolio) et même des dessins.
    - faut que question/tâche soit claire
    - faut utilise run nbr suffisant d’items (+ est mieux, en gardant à l’esprit les resosurces)
  2. notation : enjeu majeur
    - Le problème de l’évaluation de ces types de questions est sans fin, mais il est préférable d’utiliser une grille d’évaluation, de faire appel à plusieurs juges et d’élaborer un plan de notation dans la mesure du possible.
    - faut etre précis dans la procédure de notation
    - bien de former des personnes qui évalueront les réponses à l,utilisation de votre systeme de notation (pour ++ cohérence)
How well did you know this?
1
Not at all
2
3
4
5
Perfectly
16
Q

quels sont les avantages de la cotation des items à choix de réponses vs à développement

A

items choix de reponse :
1. stabilité et fiabilité de la notation des items
2. rapidité et facilité d’exécution

items à développement :
obtenir des réponses à des questions qui indiquent des comportements rares, vous pouvez trouver quelque chose d’inattendu, mais ces types de questions sont beaucoup plus difficiles à noter.(difficile d’établir la validité d’un test à réponse ouverte)

17
Q

preparation des items : est facile ou difficile et pourquoi… d’où l’importance de …

A

TRES DIFFICILE
-car cest le moment (le meilleur moment) pour établir la validité du contenu DONC important de s’assurer que vous rédigez des items qui couvrent la plus grande partie possible du contenu du test et ne vous concentrez pas uniquement sur une partie spécifique de celui-ci.

d’où l’importance de l’objectif et des définitions solides de ce que vous essayez de mesurer

18
Q

dans la preparation des items, que fauil éviter (4)

A
  1. éviter langage compliqué (tjrs rester simple et phrase courte)
  2. éviter questions double barrel (questions qui demandent deux choses en mm temps)
  3. éviter doublets négatifs
  4. éviter inexactitudes factuelles
19
Q

explique l’étape 4 de l’analyse des items (3phases)

A
  1. essai/distribuer des items
    - informel (vos collègues)
    - formel (dans une étude)
  2. analyses statistiques (TCT vs TRI)
  3. sélection des items
20
Q

quest ce que la difficulté de l’item (valeur p)

A

La difficulté de l’item fait référence au POURCENTAGE de candidats qui ont répondu à la question “correctement” ou de la “manière souhaitée”.

  • Imaginez que vous fassiez passer un test à 10 personnes en leur demandant “qu’est-ce que 5x5” ?
  • 8/10 ont répondu 25
  • votre “p-value” pour cette question est de 0,8.

cet exemple est constitué de questions très claires avec des réponses très claires, il est techniquement possible de faire cela avec des questions d’accord-désaccord mais les mathématiques deviennent compliquées et conceptuellement peu claires.
l’entreprise dans laquelle je travaillais considérait P< 20 difficile, P> 80 très facile, ~ 0.6 = moyen

21
Q

quest ce que le pouvoir discriminant de l’item (discrimination des items)

A

la discrimination d’item fait référence à la **capacité d’une question à différencier de la manière souhaitée des groupes de candidats à un test **
- il ne s’agit pas d’une discrimination basée sur des caractéristiques sociales, mais d’une discrimination basée sur un trait de caractère ou un niveau d’aptitude.

  • on peut aussi relier les resultats de notre test à des critères externes ou aux resultyats d’autres tests et regarder si les participants ayant des caract élevés ou faibles ont repondu correctement ou non aux questions
  • alternativement, après avoir noté notre test, nous pouvons voir si des “groupes naturels” se forment au sein du test en examinant quels participants ont répondu et n’ont pas répondu correctement à chacune des questions - on peut parler de groupe à référence interne
22
Q

comment calculer la discrimination de l’item

A

l’indice D

  • Différence entre la proportion d’élèves ayant obtenu la bonne réponse à l’item et la proportion d’élèves ayant obtenu une mauvaise réponse à l’item – ou un trait
    En général, un niveau élevé de discrimination des items est préférable (entre 0,3 et 0,5).
23
Q

cest quoi la correlation item-total et ce qui nous indique (2)

A

La corrélation item-total désigne la corrélation entre les scores obtenus à une seule question d’un test et les scores obtenus à l’ensemble
il nous indique
1) si un item contribue positivement ou négativement au score global du test
2) et sa capacité à distinguer les performances élevées des performances faibles lors d’un test

24
Q

quest ce que l’analyse factorielle (4)

A
  1. outil essentiel pour processus de developpement de tests
  2. procédure statistique qui peut être utilisée pour trouver les dimensions communes qui sous-tendent les éléments (items) d’une matrice de corrélation.
  3. cet outil est utilisé pour nous aider à comprendre la structure des données que nous y introduisons.
    - Votre test est-il unidimensionnel ou multidimensionnel ?
  4. dans le contexte de la psychologie, cela signifie qu’il peut être utilisé pour identifier comment les mesures de votre sondage forment des sous-échelles ou des variables dans leur ensemble
25
Q

quelles sont les 2 grandes catégories d’analyses factorielles

A
  1. l’analyse factorielle exploratoire
    - But: quelle est la structure des données que j’ai devant moi
  2. l’analyse factorielle confirmatoire
    - But: la structure des données que j’ai devant moi correspond-elle à mes attentes quant à la façon dont elles devraient être structurées, sur la base de la théorie associée aux variables que j’ai étudiées ?
26
Q

l’analyse factorielle utilise quel données

A

les données brutes, donc on utilise analyse factorielle pour examiner les relations entre les autres items (du mm tests ou d’autres tests)
- donc l’analyse factorielle peut donc être utilisée pour nous renseigner sur la validité convergente et discriminante.

27
Q

explique le processus de l’analyse factorielle

A
  1. je saisis données dans analyse factorielle, elle crée des colonnes appelés “facteurs” (dimensions) qui représentent les variables de mes données
  2. l’analyse me montre apres la corrélation entre chacun de mes items et ces facteurs
  3. si un item est très fortement corrélé avec un facteur, cela signifie que l’élément (item) appartient à ce facteur.
    - chaque élément (item) ne peut appartenir qu’à un seul facteur
  4. en examinant quels éléments (items) appartiennent aux facteurs identifiés par l’ordinateur, nous pouvons examiner le contenu des items et décider, en tant que chercheurs en psychologie, quel est le thème commun aux items et donner un nom au facteur.

on voit ici que certaines variables sont tres corrélés au facteur 1 et dautres au facteur 2
- si un item n’a pas une forte corrélation avec un facteur - cela signifie que l’item est mauvais et doit être jeté

28
Q

quelle est une autre facon de visualiser l’analyse factorielle

A

par diagramme de dispersion créé par l’analyse factorielle

ce nuage de points montre la CORRESPONDANCE entre les items de nos propres données et les facteurs identifiés par l’ordinateur.
Nous pouvons voir dans ces données que les éléments forment deux groupes - c’est une preuve visuelle que ces données peuvent être organisées en deux facteurs.

29
Q

exemple, on a ces 5 items,
1. J’organise et je prévois à l’avance afin d’éviter de tout bousculer à la dernière minute.
2. Je me donne au maximum afin d’atteindre un but.
3. Lorsque je travaille, je me soucie peu des petits détails.
4. Au travail, mon désordre me cause parfois des problèmes.
5. Je préfère être spontané(e) que de m’en tenir à un plan
quel est le facteur selon vous

A

conscienciosité

30
Q

quest ce que la théorie de reponse a l’item (TRI)

A

nouveau modèle pour les tests psycho qui prend en compte la probabilité d’obtenir des réponses vrai ou fausses à des questions particulières.

les courbe caractéristique des items (CCI) aident le développeur de tests à identifier les items qui fonctionnent différemment à différents niveaux d’aptitude des testeurs.

31
Q

TRI

cest quoi les CCI

A

Sur l’axe Y, nous avons la probabilité d’obtenir une question correcte - et sur l’axe X, nous avons une estimation de la capacité du candidat au test (appelée thêta). Chaque ligne en forme de S sur le graphique correspond à une question différente du test.

Les CCI séparent la difficulté de l’item et la aptitude du candidat et les présentent visuellement dans un seul graphique.

32
Q

conclu sélection des item

A

donc apres avoir evaluer difficulté des items, discrimination des items, TCT et TRI, pour produire des informations sur les items que nous avons créés afin de pouvoir sélectionner les meilleurs items possibles pour notre test qui fonctionnent pour faire ce que nous voulons qu’ils fassent.

33
Q

quest ce que l’équité et biais des tests

A

ex ; test équitable : les groupes A et B diffèrent par
leurs résultats au test: le groupe A obtient de
meilleurs résultats. Toutefois, les groupes A et B diffèrent également quant au trait réel étudié. Le
test est équitable et non biaisé. Il reflète tout simple- ment les differences reelles entre les groupes.

ex : test biaisé : Au bas de la figure, les groupes C et D diffèrent par leurs résultats a u test, mais ne diffèrent pas quantau trait réel étudié. Cela indique que le test comporte un biais

34
Q

quelles sont les 3 méthodes évaluant l’équité (biais) d’un test

A
  1. Révision du contenu desitems par un comité d’experts (+ simple)
    - ethniques, culturels, socioéconomiques, handicapés et régionaux - est chargé d’analyser les items du test. Les examinateurs tentent de repérer les items dont la
    formulation ou le contexte peut avoir une signifi-
    cation ou une connotation particulière pour leur
    groupe.
    - 2inconvénients : combien de groupe on inclu ET seulement basé sur la propre opinion de la personne
  2. fonctionnement différentiel des items
    - détecter les biais par l’analyse factorielle
  3. prédiction différentielle
35
Q

équité et biais

explique les accomodations et modifications

A

ex : tests de lecture avec groupe deficience visuelle et groupe normal
si test caractère normaux devient un test d’acuité visuelle (donc groupe deficience moins bon, mais evalue pas mm construit)
mais si adaptation(accomodation) du test avec caractère gros, la on peut evaluer le construit test de lecture (essentiellement le test reste le mm)

modification : lorsque on evalue mm construit, mais avec une methode différente