Cours 5 Flashcards
(52 cards)
probleme de validité de contenu
a quel point la question est tough n’est pas pris en compte.
fait aps référence au résultats réel du test
on ne regarde pas si les résultat cumulé sur l’interaction entre la personne et le test. donc ne permet pas de déterminer a quel point la personne réagis a la question. si question est frustrante pour un groupe de personne.
faire analyse du type d’erreurs commises
questionnaire de 1 a 10 et la question est comment tu te sens.
apres tu lui demande pourquoi il a repondu ca.
il a mis 8 sur 10 parce qu’il ne comprends pas la question.
teta
calcul indicie de difficulter de la classe et dira aux gens a quel point ils sont bon
détermine si question est réussi par les plus fort ou non.
si par les plus fort seulement, question est trop tough
si par un peu de tous, question trop tough mais pas ensiegné car hasard.
Validité critériée
s’applique à tous les cas où il existe une mesure indépendante et directe de la caractéristique que le test est supposé mesurer.
On appelle cette mesure un critère (externe)
Elle a pour fonction de définir la relation entre les résultats au test et un autre critère externe.
Il est important de noter que l’on présuppose ici que le test ne mesure pas un construit purement théorique, mais a plutôt pour but de prédire ou diagnostiquer où se situe l’examiné par rapport à ce critère.
De plus, il est important de noter que le critère est souvent considéré comme une mesure directe de la caractéristique, c’est-à-dire que le critère est souvent
considéré comme le « vrai score ».
ATTENTION, ça ne veut pas dire que la mesure du critère est insensible aux sources d’erreurs.
S’il y a de l’erreur de mesure, le coefficient de validité
critériée sera affecté à la baisse.
vrai, si on mesure activation sns, et la personne qui passe test est attractive selon nous, notre sns sera plus activé. validité biaisé
diapo 36, ce qui faut savoir : le critère on essaie qu’il doit leplus proche du construit.
si je fais/crée un test sur le sommeil, je ferai un test comparé au meilleur test qui existe pour avoir meilleur test possible.
validité prédictive
a quel point je peux calculer dans le FUTUR ou la personne sera
ex: en passant les éleve du seocndaire, les fort irons plus de chance au cegep. pourra
def:
Est une validité critériée
pour pronostic (état futur)
Exemple:
◦ Test d’aptitudes au pilotage pour déterminer les meilleurs candidats potentiels (avant l’inscription au
programme de formation)
◦ Critère: habiletés à piloter à la fin du cours
valididté concomitante
immédiat, c’est quoi son statut maintenent
def:
Est une validité critériée
Lorsque l’administration du test et la mesure du critère sont simultanées.
diagnostic: état actuel
Exemple:
◦ Test de connaissances en pilotage d’avions commerciaux.
◦ Critère: ensemble des connaissances en pilotage d’avions commerciaux.
concomitante vs prédictive
- On veut mesurer l’état d’anxiété actuel d’un patient? (concomitante)
- On veut mesurer quel étudiant au baccalauréat sera un bon étudiant au doctorat? (prédictif)
- On veut mesurer les capacités d’un pilote d’avion avant de l’envoyer à son premier vol? (concomitante)
- On veut mesurer quel pilote dans un cours de base sera le meilleur à la fin du cours? (prédictive)
si mon test dit pas anxieux ou peu, je veut que mon critère disent pas ou peu anxieux.
sur graph, a quel point les point son près de la ligne nous dit a quel point c’Est valide ou non. (graphique exemple)
Il est important que les résultats au test n’influencent pas la mesure du critère…Comment?
nous passons un test sur le niveau de fatigue
s’attend a ce qu’on soit plus fatigué mtn que dans 10 minutes.
donc dans 10 minutes il nous trouvera auto moins fatigué.
Prophétie auto-réalisatrice!!
Prophétie auto-réalisatrice!!
La connaissance des résultats au test fait que les examinés reçoivent des cotes au critère qui tendent à se conformer aux résultats obtenus au test.
◦ Ce biais aura tendance à augmenter artificiellement la valeur des coefficients de validité.
Pour éviter ce type de problèmes, il faut garantir la confidentialité des résultats au test pendant
toute la période de validation.
La validité critériée est la méthode la plus simple pour établir la validité d’un test, mais elle n’est réalisable que sous certaines conditions:
comparer le nmbr de cheveux sur tete. pas 2 tests qui calcul ca,
- Qu’il existe un «critère», c’est-à-dire une mesure directe de la caractéristique que le test
est supposé mesurer. - Que la définition opérationnelle du critère soit valide
- Que cette mesure du critère est peu sensible (ou même pas du tout) aux différentes
formes d’erreurs de mesure.
théorie de la décision
décision qui est a prendre des que j’ai un seuil.
ex: bai, a partir de 10, considéré sx anxieux
test de sommeil, si tu score plus haut que 10, t’es considéré insomniaque.
quand il y a un seuil, on a une décision a prendre.
résultat dans la relation entre le test et le critère
si on bouge la barre du faux positif vers le centre, moins de faux négatif mais plus de faux positif. ainsi de suite.
pour test diagnostic ou préventif,
on aime mieux un test plus stricte que quand c’est oui, c’est oui.
slide 50 plus importante
sensibilité
si j’ai des test sur le suicide, je veux etre super sensible.
le met vers le 12 ar on veut moin de faut positif et plus de faut négatif.
spécifique
pour test diagnostic, cherche a etre spécifique, on veut pas dire oui a qqn que c’est non.
- diagnostiqué schizo a qqn qui l’a pas. = prob
on veut pas de faut négatif on veut des faut positif. on le emt a 8 (plus proche de la gauche)
sensibilité et spécifiqcité sont invresement proportionnelle
si augmente sensibilité je perds spécificité et vice -versa
validité de construit
accumulation progressive de donné (crée test ensuite, on analyse test pour avoir meilleure question puis a force faire étapes, on accumule le test) plein de méthode que tu fait en meme temps.
Nécessite une définition claire et explicite du construit qu’on prétend mesurer.
◦ Implique donc plus que la qualité de la mesure, elle implique également la qualité de la
construction théorique sous-jacente.
Il est donc nécessaire d’avoir des bases théoriques ou un modèle théorique auquel se référer.
◦ Elle s’établit en montrant la correspondance entre la théorie et certains faits qu’elle prédit.
La théorie devrait spécifier:
◦ La signification du construit.
◦ Comment ce construit est relié (ou non) à d’autres construits.
◦ Comment ce construit est relié à certains comportements mesurables.
Nous verrons 6 de ces méthodes de validation de construit
Pourquoi est-ce important d’avoir une haute fidélité?
Lorsqu’elle est élevée, elle indique que la mesure prise au moyen du test est effectuée de manière
constante.
Donc pour la validité, cela contribue à confirmer que le test mesure un construit ou un trait particulier.
Attention: Il s’agit d’un préalable à la validité et non une preuve de celle-ci.
cohérence demander rose diapo 55
analyse factorielle (validité de construit)
C’est l’analyse factorielle qui nous a donné le fameux Big Five
Il s’agit d’une méthode statistique sophistiquée qui permet de
comparer un ensemble d’items dans les tests qui semblent mesurer à peu près le même construit et de distinguer les tests qui mesurent des construits distincts (i.e. peu corrélés).
Elle est donc utilisée lorsque plusieurs tests sont administrés à peu près simultanément.
Compte tenu que le nombre de coefficients de corrélation calculés est très élevé, elle permet d’extraire des « facteurs » communs à certains tests et simplifie donc l’interprétation.
Qu’est-ce que ça veut dire?
ca fait des groupes avec tout les types de questions
