examen 1 Flashcards
(127 cards)
1
Q
Définition de psychométrie?
A
Science qui étudie l’ensemble des techniques de mesure utilisées en psychologie, ainsi que les techniques de validation et d’élaboration de ces mesure.
2
Q
q-Définition de Hogan, et al. pour le test à six éléments?
A
Le test est une méthode ou un outil standardisé qui fournit de l’information sur un échantillon de comportement ou de processus cognitif sous forme quantifiée.
3
Q
Définition de test psychologique?
A
Instrument ou processus d’évaluation dans lequel un échantillon de comportement d’un candidat dans un domaine donné est obtenu et subséquemment évalué et corrigé selon un processus standardisé
4
Q
q-Quels sont les 6 éléments de la définition d’un test?
A
1-Type de méthode ou d’outil
2-Fournit des informations
3-Sur le comportement et les processus cognitifs
4-Renseignement uniquement sur un échantillon de comportement
5. Méthode systématique et standardisée
6. Information traduite sous une forme numérique (quantifiable).
5
Q
Parlez du passé lointain (…-1840)?6
A
1-Origine et influence de la philosophie
2-Aristote, Platon, Thomas d’Aquin
3-Définir les traits communs chez les êtres humains (Ex: La façon de penser, de réagir, d’apprendre, etc.)
4-Traité de l’âme (Aristote) – premier manuel de psychologie
5-Renaissance: Éveil de l’intérêt individuel, mais surtout artistique
On ne tente plus de formater les gens, on s’intéresse davantage aux distinctions interindividuelles
6-L’examen oral est la méthode d’évaluation la plus courante.
6
Q
Parlez de la mise en place (1840 - 1880)?4
A
Grandes tendances:
1-Intérêt envers la maladie mentale
1.1-On voit apparaître les premières classifications (ex: DSM) avec Pinel, Tuke et Rush
1.2-Première méthode diagnostique
2-Adoption des examens écrits avec Mann
3-Influence des travaux de Darwin
3.1-Livre :La filiation de l’homme et la sélection liée au sexe. L’expression des émotions chez l’homme et les animaux
3.2-Caractéristiques des individus.
3.3-Éléments mesurables et quantifiables.
4-Naissance de la psychologie expérimentale avec Wundt au Laboratoire Université de Leipzig à Berlin.
7
Q
Parlez de l’enracinement (1880 - 1915) avec Galton (Ang)?3
A
1-Cousin de Darwin, n’avait pas vraiment d’emploi.
-A dédié sa vie à la recherche.
-fondateur de la psychométrie.
2-Intérêt pour l’hérédité des aptitudes de haut niveau (génie).
5-Invente le tableau de distribution bivariée qui mènera vers le concept de corrélation de Karl Pearson.
8
Q
Parlez de l’enracinement (1880 - 1915) avec James McKeen Cattell (US)?4
A
1-Les processus élémentaires sont la clé du fonctionnement de l’esprit.
2-Il crée une batterie de tests dans le but de prédire le succès scolaire.
3-Il invente le terme test mental
4-Tests mentaux de Cattell:
1-Force de préhension
2-Vitesse de mouvement
3-Zones sensitives
4-Pression douloureuse
5-Seuil différentiel de poids
6-Temps de réaction auditif
7-Temps de dénomination de couleurs
8-Bissection d’une ligne de 50 cm
9-Évaluation d’une période de 10 sec
10-Nombre de lettres mémorisées après une écoute
-Ces tests physiques donnent une indication des fonctions mentales supérieures. Certains sont encore utilisés de nos jours.
9
Q
Parlez de l’enracinement (1880 - 1915) avec Alfred Binet (FR)?4
A
1-Père des tests d’aptitudes intellectuelles
2-Échelle métrique de l’intelligence ou Échelle de Binet-Simon
3-Identifier les étudiants qui bénéficieront mieux d’une formation avancée
4-Au départ, ses intérêts étaient dirigés vers les enfants et adolescents.
10
Q
Parlez de l’enracinement (1880 - 1915) avec Spearman (Ang)?2
A
1-Théorie binaire de l’intelligence, appuyée sur des techniques statistiques.
2- À la même époque:Arrivé des premières versions de tests de rendement en éducation pour:
2.1-Mesurer les résultats de l’éducation
2.2-Pallier le manque de fidélité des dissertations et des examens oraux
2.3-Items à choix multiples, vrai/faux, à compléter
11
Q
Parlez de l’Essor (1915 - 1940) (Envolée) avec Terman (US)? 2
A
1-Traduction et adaptation des travaux de Binet.
2-Stanford-Binet: normalisation nationale et utilisation plus répandue du QI.
12
Q
Parlez de l’Essor (1915 - 1940) (Envolée) avec Otis (US)?3
A
1-Échelle d’intelligence collective d’Otis (évaluer plusieurs individus en simultanée)
2-Première guerre mondiale, les psychologues participent au recrutement des soldats.
(Ils mesuraient les capacités et aptitudes de chacun afin d’augmenter l’efficacité des troupes)
3-Débouche sur le test «Alpha et Bêta » administré à deux millions de militaires.
Alpha: postes stratégiques
Bêta: postes plus concrêts, pratiques
13
Q
Parlez de l’Essor (1915 - 1940) (Envolée) avec Thurstone ?
A
Affirme que l’intelligence humaine a sept dimensions ce qui conduit au développement d’une multitude de tests.
14
Q
Parlez de l’Essor (1915 - 1940) (Envolée) Wechsler (US)?5
A
1-Échelle d’intelligence de Wechsler-Bellevue (pour une population adulte)
2-Tests objectifs et projectifs de la personnalité se multiplient
3-WoodworthPersonal Data Sheet: sélections des recrues militaires
4-Rorschach
5-Conception MMPI
15
Q
Parlez de la Consolidation (1940 - 1965)?5
A
1-La psychométrie devient une science sérieuse.
2-Éditions révisées de plusieurs tests et de nouveaux sont créés.
3-Prends de l’ampleur dans la pratique clinique, les écoles, les affaires et l’armée.
4-Deuxième guerre mondiale, les tests sont utiles au recrutement.
5-Premiers ouvrages qui résument la psychométrie:
– Standard for Educational and Psychological Testing (APA)
– Essentials of Psychological Testing (Cronbach,)
– Psychological Testing ( Anastasi, )
16
Q
Parlez du passé récent (1965-2000)?4
Et de la période actuelle 2000 à…?5
A
1-Émergence de la théorie de réponse à l’item: (On ne s’intéresse plus autant au concept global, on s’intéresse davantage à l’item en lui-même.)
(1.2-On développe des modèles mathématiques qui permettent de voir si les items se comportent comme ils le devraient. Cela permet de mesurer le même concept de façons différentes selon les individus).
2-Activisme législatif et activisme judiciaire: (Législation de l’utilisation des tests selon les domaines.)
3-Critique publique de la psychométrie:
3.1-Questionnement sur la validité
3.2-Questionnement sur les différences ethniques aux tests
3.3-Les tests ne ciblent pas les caractéristiques voulues: (Les choix multiples limitent les informations. Encourage l’enseignement en fonction des critères.)
4-Influence des ordinateurs.
Période actuelle 2000…
1-Augmentation fulgurante du nombre et de la diversité des tests.
2-Influence de la gestion intégrée des soins de santé(:Les tests doivent être rapides, efficaces et économiques.)
3-Modèle du clinicien-scientifique et la pratique basée sur des données probantes.
4-Augmentation du nombre de tests en ligne:(Si les tests sont accessibles à tous, ils perdent toute leur valeur.)
5-Créations de logiciels imitant le jugement humain dans l’analyse des réponses aux tests.
(Ils comparent les résultats obtenus avec les normes disponibles)
17
Q
q-Parlez des 6 sources majeur de développement (principaux facteurs) de la psychométrie actuelle qui ont été déterminés?
A
1-Impulsion scientifique:(On veut s’assurer que les tests sont valables.)
2-Préoccupation envers l’individu:(On cherche à mesurer les caractéristiques individuelles des gens)
3-Applications pratiques
4-Méthodologie statistique:(A fait évoluer l’analyse des résultats)
5-Essor de la psychologie clinique:(A poussé le développement de l’évaluation des individus et l’évaluation des effets des interventions effectuées en psychothérapie)
6-Utilisation des ordinateurs:
6.1-Utilisé pour le dépouillement statistique
6.2-Préparer des relevés de résultats de tests (rapports chiffres vs narratifs)
6.3-Administration de tests à l’ordinateur
18
Q
q-Parlez de l’hypothèses ou postulats de bases en psychométrie?4
A
1-L’être humain a des traits ou caractères reconnaissables qui décrivent certaines facettes de sa personne.
2-Ces traits peuvent être quantifiés (et donc mesurés).
3-Les traits ont un degré de stabilité ou de permanence.
4-Ces traits ont des liens importants avec le comportement dans des situations réelles:Ils ont des impacts réels dans la vie des individus
19
Q
q-Parlez des 3 questions fondamentales des tests?6
A
1-Fidélité: constance des résultats ou stabilité de la mesure (aussi: constance des éléments à l’intérieur de chaque mesure)
2- Validité: ce que le test mesure avec le plus d’objectivité possible (le test mesure-t-il ce qu’il est censé mesurer?)
3-Normes: la manière d’interpréter les tests
Moins important:4-Élaboration du test: permets de mettre en lumière les autres éléments
5-Questions pratiques: coûts, disponibilité, temps de passation
6-Perspectives différentielle vs généralisation
20
Q
q-Parlez des catégories de tests?5
A
1-Test d’aptitudes intellectuelles:
1.1-Échelle d’intelligence de Wechsler pour adultes (WAIS)
1.2-Échelle d’intelligence de Stanford-Binet
1.3-Test d’habiletés scolaire d’Otis Lennon
1.4-Scholastic Assessment Test (SAT)
2-Test de rendement:
2.1-Batteries de tests ou sujet unique (ex. lecture, math)
2.2-Certificats, diplômes ou brevets (ex. MD)
2.3-Programme parrainé par le gouvernement (ex. 4e 5e sec lecture)
2.4-Test de rendement individuel (ex. trouble apprentissage)
3-Test de la personnalité
3.1-Inventaire multiphasique de la personnalité de Minnesota (MMPI)
3.2-Inventaire de dépression de Beck (BDI)
3.3-Rorschach
4-Mesures d’intérêts et des attitudes
4.1-Inventaire des intérêts professionnels de Strong (SII)
4.2-Test d’orientation par soi-même (OPSM)
5-Tests neuropsychologiques
21
Q
q-Parlez des autres méthodes de classification?5
A
1-Test de performance ou de papier-crayon
2-Test de vitesse et test de puissance
3-Test individuel et test collectif
4-Test de performance maximal (intelligence) et test de performance type (personnalité)
5-Test normatif (par rapport à un groupe de référence) et test critérié (méthode d’interprétation)
22
Q
q-Parlez des utilisation (3) et utilisateurs de tests (4)?
A
Utilisateurs: 1-Secteur clinique 2-Secteur de l’éducation 3-Secteur des ressources humaines 4-Secteur de la recherche Utilisation: 1-Variable dépendante 2-Description de l’échantillon 3-Sur le test lui-même
23
Q
q-Quels sont les deux problèmes courants qui motivent l’utilisation d’une variété de source d’information sur les tests?
A
1-Trouver de l’information sur un test en particulier.
2-Obtenir une liste de tests conçus à une fin précise.
24
Q
q-Quels sont les trois répertoires de tests qui fournissent un instantané factuel d’un grand nombre de tests sans évaluer la qualité des tests?
A
On les retrouve à la bibli:
1-Tests in Print (test publié)
2-Tests (tests publiés)
3-Directory of Unpublished Expérimental Mental Measures. (tests non publiés)
25
q-Quels sont les deux grandes séries périodiques de comptes rendus critiques des tests?
1-Mental Measurements Yearbook (MMY). (bibli)
| 2-Test Critiques
26
q-Quels sont les 9 principales sources d'information sur les tests?
1-Répertoire des tests publiés ou non publiés
2-Périodiques de comptes rendus critiques des tests publiés
3-Répertoires électroniques
4-Recueils spécialisés
5-Ouvrages consacrés à un test en particulier
6-Manuels de psychométrie
7-Revues scientifiques
8-Catalogues d’éditeurs
9-Utilisateurs de tests
27
q-Le répertoire des test donne quelles genre d'informations?3
1-Informations sommaires et descriptives: utilité, composition, durée, nom éditeur (résumé)
2-Rapide pour un premier trie
3-Pas de critique: Ne donne pas forces et faiblesses ni les qualités psychométriques
28
q-Les Périodiques et comptes rendus critiques donne quelles genre d'informations?4
1-Description détaillée des buts et des éléments qui le composent. Riche, mais souvent absent pour certains tests.
2-Évaluation des qualités psychométriques (fidélité, validité, normes, élaboration).
3-Décalage dans le temps
4- Biais de l’évaluateur.
29
q-En quoi consiste les répertoires électroniques? 3
1-Information descriptive sommaire (pas de critique)
2-Utile pour trouver des tests à partir d’un sujet (moteur de recherche standard)
3-Facile d’accès, mais les informations y restent pour toujours et donc plusieurs périmées.
ex: Mental measurements Yearbook (MMY, Buros), PsycTESTS
30
q-En quoi consiste les Recueils spécialisés?4
1-Complément aux répertoires avec un peu plus d’information et même des tests disponibles.
2-Souvent autour de thèmes ou de catégories spécifiques
3-Très utile pour un domaine
4-Pas de mises à jour régulières.
ex:Handbook of Psychological Assessment
31
q-En quoi consiste les ouvrages consacrés à un test?7
1-Plutôt rare
2-Pour des tests largement utilisés
3-Donne des indications sur les différents profils, l'interprétations, la populations et les éléments théoriques
4-Fait des étude de cas (et comment traiter)
5-Propriétés psychométriques
6-Mine d’information
7-Fait par ceux qui ont un biais favorable au test.
32
q-En quoi consiste les Manuels de psychométrie?4
1-Information sur les tests les plus fréquents
2-Notions fondamentales de psychométrie.
3-N’indiquent pas les meilleurs tests, seulement les plus utilisés.
4-Bonne initiation
33
q-En quoi consiste les revue scientifiques?4
1-Traitent souvent des qualités psychométriques des tests
2-Recherches récentes
3-Plus sur les innovations et non sur les procédures standards.
4-Difficile d’avoir une vue d’ensemble.
ex:Revue Canadienne des sciences du comportement, Revue québécoise de psychologie
34
q-En quoi consiste les catalogues et personnel des maisons d’édition?3
1-Pas très objectif, car biais favorable pour les instruments qu’ils ont publié. Ils ont comme but de faire des profits
2-Utile pour les questions pratiques (coût, composantes)
3-Pas d’information psychométrique.
35
q-En quoi consiste les autres utilisateurs?3
1-Précis en fonction d’un objectif ou d’une expertise.
2-Peut ne pas être à jour
3-Rester sur ses habitudes
36
q-Qu'est-ce que l'éthique et déontologique en psychométrie?
Responsabilité professionnelle et légale quand on utilise les tests.
Étique:Principes déontologique, morceaux et professionnels.
Juridique:Loi
37
q-À quoi sert le Code de déontologie (principes déontologiques fondamentaux)? 4
1-Faire le bien et éviter de nuire
2-Guider la pratique
3-Préserver la réputation de la profession (contrat social)
4-Valeurs défendues, comportements acceptés ou défendus, etc. (Valeur « quasi » juridique)
38
q-D'où proviennent (source) les règles de déontologie en psychométrie?7
1-Serment d’Hippocrate
2-Le code de Nuremberg
3-Code de déontologie de l’American Psychological Association (APA)
4-Code de déontologie de l’Ordre des psychologues du Québec (OPQ)
5-Code de déontologie de la Société Canadienne de Psychologie (CPA)
6-Standard for Educational and Psychological Testing (AERA, APA, NCME, 1999, 2014)
7-Normes de pratique du testing en psychologie et en éducation (traduit par G. Sarrazin, 2003
39
q-Quels sont les 5 principes éthiques s'appliquant à la psychométrie?
```
1-Garantir la compétence des utilisateurs
2-Consentement éclairé
3-Connaissances des résultats
4-Confidentialité
5-Protéger le contenu des tests.
```
40
q-Quels sont les trois principes, dont l'application est plus restreinte?
1-Définir des normes de qualité élevées dans l'élaboration et la mise en marché des tests.
2-Endosser la responsabilité des rapports narratifs automatisés
3- Prévenir l'utilisation des tests par des personnes non qualifiées
41
q-Quel système de classification utilise de nombreux éditeurs de test pour qualifier les acheteurs potentiels?
Le système à trois niveau A, B, C.
42
q-Quels sont les trois types de lois?
1-Législative :
Par les gouvernements ex:sur l’instruction publique
2-Administrative:
Par les agences administratives du gouvernement ex:code de déontologie des professions
3-Décision de la Cour:Jurisprudence
43
q-Dans quel domaine les lois ont la plus grande incidence sur la psychométrie?3
1-L'embauche
2-L'éducation
3-Psychologie juridique
44
q-Que fait la loi 21 modifiant le Code des professions et autres dispositions législatives dans le domaine de la santé mentale et des relations humaines? 3
```
1-Fixe des balises quant à l'exercice de 15 activités d'évaluation réalisées dans le domaine de la santé mentale et des relations humaine.
2-Reconnaît que ces activités sont jugées à haut risque de préjudice et en réserve l'exercice à certains types de professionnels.
3-Touches 9 types de professionnels:
3.1-Psychologues
3.2-Travailleurs sociaux
3.3-Conseillers en orientations
3.4-Psychoéducateurs
3.5-Thérapeutes conjugaux et familiaux
3.6-Orthophoniste
3.7-Infirmières
3.8-Ergothérapeutes
3.9-Médecins
```
45
q-Quels sont les 2 concepts bien établis où l'on se sert de test en psychologie juridique?
1-Aliénation mentale
| 2-L'aptitude à subir un procès
46
q-D'autres sphères psycholégal où l'on se sert de tests?3
1-Garde d’enfant
2-Dangerosité d’une personne
3-Évaluer la nature des séquelles suite à de mauvais traitements
47
q-Pourquoi construire un test?3
1-Combler un besoin concret ou clinique.
2-Approfondir ou démontrer une hypothèse théorique
3-Réviser ou adapter des tests existants
48
q-Quels sont les 6 étapes d’élaboration d'un test?
```
1-Définir l’objectif du test
2-Questions de conception préliminaire
3-Préparation des items
4-Analyse des items
5-Étalonnage et recherche
6-Préparation du matériel et publication
```
49
Définir la première étape, définir des objectifs, d'élaboration d'un test ?2
1-Formuler un énoncé d’intention clair: description détaillée du ou des construits que mesure le test ainsi que le public cible.
2-Justification: chercher s’il existe déjà un test approprié et déterminer en quoi le nouveau sera
différent et pertinent.
50
Définir la deuxième étape, questions de conception, d'élaboration d'un test?7
```
1-Longueur (nombre item)
2-Format des items.
3-Au nombre de scores.
4- Au mode de cotation
5-Recherche réalisée sur la variable.
6-Formation des utilisateurs
7-Mode d'administration
```
51
Définir la troisième étape, préparations des items, dans l'élaboration d'un test?6
1-Composition ou anatomie de l’item:
1.2-Stimulus auquel répond le candidat
1.3-Format de réponse ou la méthode
1.4-Condition qui gouverne la manière d’y répondre
1.5-Procédure de cotation des réponses (grille de cotation)
2-Types d’items:
2.1-Choix de réponses: -V/F, c'est le plus répandu. -Choix multiple, Échelle de Lickert.
Avantage:Fidélité de la cotation et optimisation temporelle et de la cotation qui peut se faire automatique.
2.2-À développement: Assez répandu. Facilite l’observation du comportement et des processus associés au test et permet d’évaluer les habiletés, le raisonnement, le processus de pensée, etc. Permets d’explorer des zones inhabituelles.(question ouverte à réponse longue, présentation orale, évaluation du rendement.)
2.3-Posent un défis de cotation particulier:
2.3.1-Diversité de réponses qui font appel au jugement
2.3.2-Critères pour obtenir une fidélité interjuges
2.3.3-Conceptualiser un système de cotation:Globale, analytique, qualification par points.
3-Plusieurs conseils et formulaires existent pour rédiger de bons items à développement ou choix de réponses.
4-Exemple de règle de formulation pour les choix de réponses?
4.1-S’assurer d’avoir le bon contenu
4.2-Ne pas inventer la réponse
4.3-Simplicité et clarté.
5- Exemple de règles de formulation à développement:
5.1-Tâche claire
5.2-Éviter les items optionnels
5.3-Préciser le système de cotation dès le début de l’élaboration
5.4- Faire la cotation de manière anonyme (effet halo)
6-Révisions des items: 6.1-Préparer plus d’items, car certains ne vont pas passer le test de validation.
6.2-Révision linguistique, clarté de la formulation.
6.3-Vérification du contenu auprès des experts ou de volumes consultés.
6.4- Évaluer les biais potentiels associés au genre et à l’ethnie (équité des tests)
52
Définir la quatrième étape, analyse des items, dans l'élaboration d'un test?2
```
1-Procédures concernant la mise à l'essai empirique et le traitement statistique individuel des items.
2-Elle comprend trois étapes:
2.1-Programme de mise à l'essai
2.2-L'analyse statistique
2.3-Sélection des items
```
53
Définir l'étape de mise à l'essai dans la quatrième étape, analyse des items, dans l'élaboration d'un test ?8
1-Prétest
2-Stade informel: (N=10)
3-Commenter les items, les consignes, le contenu
4-Raisonnement à voix haute ou entrevue qualitative
5-Stade formel: (N + grand) =pour établir la validité et la fidélité.Pour réaliser la mise à l'essai formelle:
5.1-Étude indépendante (plus courante)
5.2-Ajouts. (items expérimentaux en même temps qu’un test courant)
5.3-Analyse continue: (utiliser à plusieurs reprise un test ou groupes d'items et ajouter des items) work in progress
54
Définir l'étape l'analyse statistique, dans la quatrième étape, analyse des items, dans l'élaboration d'un test ?5
1-On regarde des indicateurs pour savoir si les items font bien ce qu’ils doivent faire, si certains le font mieux que d’autres, etc
2-Les statistique traditionnelles sur les items (issues de la théorie classique des tests TCT) comprennent :l'indice de difficulté de l'item(p) et l'indice de discrimination de l'item (D ou r)
2.1-l'indice de difficulté de l'item(p):suppose qu’il y a une bonne et une mauvaise réponse (indice de facilité, effet de plancher/plafond=gens cote faible/fort. Un item qui cote p 0,85 est facile car 85% on réussi, p 0,25 est un item difficile car 25% seulement y on répondue correctement.)
2.2-L'indice ou pouvoir de discrimination:Distinguer statistiquement divers groupes de répondants:
2.2.1-Méthode externe: (méthode empirique double) deux groupes contrastés par rapport au trait mesuré.
2.2.2-Méthode interne: (méthode empirique simple): contrastés selon un critère interne généralement par le score total au test lui-même.(+ utilisé) (Ex: utiliser un critère interne pour constituer, en fonction des scores, des groupes. Utiliser les scores obtenus pour former des groupes.
Groupes fort/faible: moitié supérieure vs inférieure (25%,27%,33%)
2.2.3-Degré de discrimination (D):
On essaie de voir la différence entre le % qui ont réussi par rapport au % qui n’ont pas réussi.
2.2.4-Corrélation avec le score total (r ou corrélation item-total ou indice de discrimination):Les gens qui réussissent bien globalement, devraient avoir de bons scores aux items. (La réussite des items doit avoir une forte corrélation avec le résultat global. Sinon, c’est que les items ne sont pas cohérents avec le concept)
(Types de corrélation selon les variables):
-bisérial r(rbis),
-bisérial de point r(rpbis),
-tétrachorique (rtet),
-coefficient phi (φ),
-r (corrigé).)
3-Selon la méthodologie de la théorie de réponse à l’item (TRI), la courbe caractéristique de l'item (CCI) et ses paramètres, particulièrement le paramètre de difficulté et la pente, sont d'important facteurs de sélection d'items.
3.1-L’item a sa propriété en lui-même et permet de savoir s’il mesure bien le concept
3.2-Courbe caractéristique de l’item (CCI): rapport entre la performance à un item et la présence d’un trait ou de l’habileté que veut mesurer l’échelle. C'est une représentation graphique entre ces deux construits.
3.3-Performance = la probabilité de réussir l’item
3.4-L’état du trait ou habileté: Thêta (θ)
3.5-Varie de -4 (trait moins présent) à +4 (trait plus présent)
Figure 6.6 (Pwpt)
4-Analyse factorielle:Contribue à identifier les items qui produiront des scores relativement indépendants et significatifs.
5-Pour faire la sélection finale des items on va faire la combinaison des critères comme: Tenir compte de l'objectif initial+ le concept du test+La spécification de contenu + les données de l'analyse d'items
5.1-Donnée de l'analyse d'items:
5.1.2-Le nombre d’items est déterminant dans la fidélité
5.1.3-Niveau de difficulté moyen d’un test est fonction directe de la valeur p des items
5.1.4-Indice de discrimination
55
Définir la cinquième étape de l'étalonnage et programmation de recherche analyse des items, dans l'élaboration d'un test ?8
1-Garder le test et les procédures fixes pendant cette étape
2-Générer des normes
3-Informations descriptives (sexe, âge, ethnie)
4-Validité et fidélité du test
5-Structure factorielle
6-Calibrage (formes alternatives, niveaux de test, anciennes versions)
7-Demander au logiciel de vérifier certains paramètres
8-Plusieurs autres programmes de recherche peuvent se dérouler en même temp que l'étalonnage.
56
Définir la sixième étape dans la préparation et publication dans l'élaboration d'un test ?5
1-Consignes d’administration et d’interprétation
2-Lors de la publication le test s'accompagne de:
2.1-Manuels techniques
2.2- Outils et rapport de cotation, relevé de résultats
2.3-Autres documents (graphiques, outils diagnostiques)
3-Continue de faire l'objet de recherche, par les auteurs, éditeurs ou chercheurs indépendants.
57
q-Définir Équité et biais?3
1-Termes à connotation opposée qui font référence au même questionnement: Est-ce que le test mesure le même construit pour différents groupe?
2-Équité:Est-ce que la mesure est défavorable pour un groupe
3-Biais = la différence est associée à une différence de caractéristiques entre les groupes.
58
q-Définir les trois principales méthodes d’étude de l’équité et les deux du prof?5
1-Révisions du contenu par un comité d'experts
2-Fonctionnement différentiel des items (DIF): est-ce que tous les items se différencient ou bien c’est un seul?
3-Prédiction différentielle:
on regarde si les items arrivent à prédire de façon juste les résultats obtenus à un temps de mesure ultérieur.
4-Analyses de l’invariance de la mesure
5-Adaptations ou accommodements pour corriger les biais
59
Quoi faire pour trouver des tests en français? 3
1-Utiliser les tests originaux et se limiter à faire des études auprès de population anglophone.
2-Développer de nouveaux instruments en français.
3-Valider en français des instruments existants.
60
Comment faire une traduction d’une version préliminaire?4
1-Traduction traditionnelle:2 traducteurs différents dans leurs langue maternelle = les différences entre les deux traductions= s’entendre.
2-Méthode du comité:Prendre des experts scientifiques, psychométriques et cliniques pour savoir si le contenu traduit a du sens.
3-Traduction inversée: Retourner le questionnaire dans sa langue d’origine à partir de la version traduite par 2 autres traducteurs et compare avec l’originale.
4-Traduire de façon linguistique n’est pas la même chose que traduire le sens des items, l’essence du construit.
61
Comment faire une évaluation de la version préliminaire?4
1-Faire un consensus à partir d’un comité formé de:1.1-Chercheurs, 1.2-ceux qui ont participé à la version préliminaire 1.3-expert linguistique et développeur du questionnaire 1.4-clinicien et/ou utilisateur
2-Le comité va vérifier la qualité de la traduction, mais aussi le sens du contenu ou de l’intensité des choix de réponses
3-Garder le même format de présentation
4-Prétest : petit groupe d’utilisateurs représentant la population cible pour évaluer: La Clarté, compréhension, contenu, réactivité
ex:Coter de « 1 » à « 7 » la clarté
Noter les items difficiles à comprendre, critiquer les items, réfléchir à voix haute
4.1-Méthodes:
– Sondage aléatoire: entrevue qualitative
– Test-retest (2 évaluateurs, différents moments)
62
Que veut dire: Validité concomitante et de contenu pour la traduction?5
1-Contenu: le test mesure ce qu’il devrait mesurer.
2-Concomitante: corrélé avec un critère mesurant le même concept.
3-Démontrer que les deux versions sont fortement corrélées en:
3.1-Administrer à des sujets bilingues les deux versions et évaluer les corrélations.
3.2-Administrer des versions différentes et contrebalancer à des sujets bilingues.
3.3-Comparer s’il existe des différences sur la moyenne des groupes ou encore sur chacun des items.
4-Bien identifier les sujets bilingues: Quel genre de bilingues sont-ils
pour lire, écrire, comprendre une conversation et s’exprimer.
5-Une fois le test validé, on peut dire que la traduction est bonne. Par contre, on ne peut pas dire que les normes sont semblables ou que le test se comporte de la même façon chez une population anglophone et une population francophone
63
Comment s'assurer de la Fidélité/validité/normes pour la traduction?6
1-Reproduire les conditions de la version originale
2-Fidélité (temps d’administration)
3-Validité (concepts similaires)
4-Structure factorielle (exploratoire vs confirmatoire)
Voir si ce sont les mêmes regroupements de construits qui émergent quand on compare les versions anglaise et française.
5-Peut révéler des problèmes de traduction ou encore des particularités culturelles.
6-Obtenir des normes transculturelles
64
Qu-est-ce qu'un distribution bivariée?
Relation qui existe entre deux variable sous forme de dispersion ou nuage de points.
65
Qu'est ce qu'un coefficient de corrélation (r)? 4
| p.75
1-Résumé numérique de la relation illustrée par la distribution bivariée.
(Traduction en chiffres de l’image de la distribution bivariée)
2-Varie de -1,00 à + 1,00
Le signe indique le sens de la corrélation, pas sa force.
3-Plus r est élevé plus il y a une bonne corrélation.
4-C'est la méthode la plus couramment employée pour exprimer la fidélité. (r)
66
Parlez des types de corrélation?3
1- La plupart des corrélations sont des corrélations de Pearson qui permettent de simplifier la formule de corrélation
2-Les autres types varient en fonction des caractéristiques des échelles de mesure.
3-Il existe plusieurs échelles.
67
(connaître la formule) Parlez de la droite de régression? (on devrait plutôt dire droite de prédiction)3
1-Une fois la corrélation établie entre deux variables (X,Y) on peut prédire, à partir de la relation, l’état d’Y` d’après la connaissance que l’on a de X.
b= pente de la droite de régression (correspond à la corrélation)
a= point d’intersection sur l’axe des y (ordonnée à l’origine)
2-La dispersion des données est proportionnelle à la force de la corrélation, c’est-à-dire que plus le coefficient est fort (se rapproche de 1 ou -1), plus les points se rapprochent de la droite de régression.
3-Formule: Y’ = bX + a
68
Parlez de l'erreur type d’estimation ?3
| formule 4.4
```
1-Permet de déterminer quelle est la marge d’erreur en fonction de l’écart-type de la distribution.
2-Plus la corrélation est faible, plus on a de chances de faire des erreurs (points dispersés)
3-ÉTy: L'écart type pour le test que concerne la prévision
r XY (en petit): La corrélation entre le test pour lequel on fait une prédiction et celui à partir duquel on la fait.
```
69
(savoir qu'il y a 4 facteur qui influence la corrélation) Nommez les quatre facteurs qui influencent les corrélations?
1-Linéarité:(Corrélation de Pearson: degré de corrélations linéaires entre deux variables.
-En présence de non-linéarité, la corrélation est sous-estimée, la faiblesse d’une corrélation peut donc s’expliquer par la non-linéarité de la dispersion.) (fig.4.4)
2-Hétéroscédasticité(dispersion inégale):(Hypothèse d’homoscédasticité (dispersion égale): suppose que le degré de dispersion est le même pour tous les points situés le long de la droite d’estimation (distribution normale)
-Dispersion égale des points autour de la pente. (fig.4.5)
3-Position relative (non absolue):La corrélation concerne strictement la position relative au sein d’un groupe. Elle n’exige pas l’égalité des scores.
Deux corrélations identiques supposent-elles que les participants obtiendront les mêmes scores aux deux tests?. NON. La corrélation n’exige pas l’égalité des scores absolus.
On ne s’intéresse donc pas au score absolu, mais bien à la relation entre les construits.(tableau 4.1)
4-Hétérogénéité du groupe (différence)Impact de la variabilité d’un groupe sur le coefficient de corrélation.
Plus le groupe est hétérogène, plus la corrélation est grande.
Plus il est homogène, plus elle est réduite(fig.4.6)
70
(Savoir que les formules existes) Qu'est-ce que la corrections pour la restriction de l’étendue?4
1-Les écarts de variabilité des groupes peuvent exercer une influence substantielle sur la magnitude de la corrélation.
2-Certaines formules permettre de faire des corrections pour ajuster le r.
3-Plus la variance est faible, plus la correction va avoir un impact (plus elle va valoir la peine).
4-La correction a un effet important quand la variabilité est faible et quand la corrélation est modérée (autour de 0,50).
71
Définition de la fidélité?
S’intéresse à la constance et à la reproductivité de la mesure (des résultats des tests)
72
Quel sont les caractéristiques de la fidélité?2
1-Dimension technique et quantitative:
1.1-Constance
1.2-Reproductivité
2-Tenir compte d’une marge d’erreur dans la reproduction d’un test, d’un résultat
73
Quel est la distinctions entre un changement réel (1)du trait et les changements temporaires(2)?
1-Il faut connaître la propriété du trait que l’on mesure. Il faut savoir si le trait à tendance à fluctuer dans le temps ou s’il est relativement stable
2-Hasard, fluctuations temporaires, évaluateurs
74
Quel est la distinctions entre un erreurs systématiques (1) vs erreurs aléatoires(2)?
1-Les erreurs systématiques se reproduisent de la même façon à chaque fois. La mesure sera donc fidèle, mais elle risque de ne pas être valide.(biais relatifs au sexe, à l’âge, à l’ethnie, etc.)
2-Tout ce qui entraîne une variation aléatoire!
2.1.-Type de correction (critères de notation, niveau d’inférence)
2.2-Contenu du test (échantillonnage d’items) items sélectionnés
2.3-Conditions d’administration (standardisation) Bruits, lumière, distractions
2.4-Circonstances personnelles (physiques ou psychiques) Fatigue, anxiété, humeur, douleurs
La fidélité concerne les erreurs aléatoires. elle ne tiens pas comptes des erreurs systématique
75
La théorie classique des tests (TCT) utilise les notions de score vrai (V), d'erreur de mesure (E) et de score observé (O). Expliquez? 3
1-Si on pouvait retirer toutes les sources d’erreurs = score théorique ou hypothétique. La moyenne hypothétique résultant d’administrations répétées du même test
2-Erreur de mesure (E): la différence entre le score vrai et le score observé.
3-Sommes de toutes les influences aléatoires potentielles.
V = O +/- E
76
(Pour l'examen il pourrait demander à partir d'un tableau, de quel fidélité il sagit) Quels sont les 4 méthodes pour estimer la fidélité?
1. Fidélité test-retest
2. Fidélité interjuges
3. Méthodes de versions parallèles
4. Cohérence interne
77
Pour la méthode de fidélité du test-retest, décrire la démarche et la source d'erreur en cause?4
1-On fait passer le même test aux mêmes personnes deux fois (1 jour – 1 mois).
2-Permet de contrôler les erreurs aléatoires au niveau mental et physique et peu parfois cibler des variation de la façon dont le test est administré et les administrateur.
3-On va utiliser la Corrélation de Pearson (coefficient de stabilité): il s’agit de la corrélation entre le score obtenu la première fois et le score obtenu la seconde fois.
4-Inconvénients:
4.1- Approprié davantage pour des tests simples et courts.
4.2-Effets du premier test sur la reprise (surestime)
4.3-Ne tiens pas compte des erreurs aléatoires attribuables aux variations de contenu.
4.4-Influencée par le laps de temps
78
Pour la méthode de fidélité interjuges décrire la démarche et la source d'erreur en cause? 4
1-Réfère aux conditions d’administration et de cotation.
1.1-Jusqu’à quel point les résultats au test diffèrent selon l’individu qui fait passer et cote le test.
1.2-Permet d’estimer les erreurs possibles (et donc de les parer) dues aux différences entre les évaluateurs.
2-variations aléatoires attribuables aux personnes ou techniques qui corrigent le test.
2.2-Plus le test est fidèle, plus la probabilité d’erreur diminue.
3- Deux évaluateurs ou deux méthodes de cotation qui travaillent séparément
4-Corrélation Pearson entre les deux (Kappa).
4.1-Si plusieurs évaluateurs: coefficient interclasse (CCI)
– Carrés moyens développés dans une analyse de variance, mais s’interprète comme une corrélation.
4.2-Voir jusqu’à quel point il y a une différence significative entre les évaluateurs.
79
Pour la méthode de fidélité Méthodes des versions parallèles ou de formes équivalentes décrire la démarche et la source d'erreur en cause? 5
1-Deux versions d’un même test qui doivent être très semblables ou équivalentes (nbre d’items, limite de temps, spécifications du contenu, etc.)
2-Les deux versions doivent mesurer la même chose, malgré des items différents.
3-On utilise cette méthode pour s’assurer que les deux versions dont on a besoin mesurent les mêmes choses.
4-On utilise la Corrélation de Pearson entre les deux tests
4.1- Administrer en même temps ou dans un court délai, car si trop long, il évaluera les autres sources d’influences (temps, condition du sujet).
4.2-Pour s’assurer que l’on mesure bien le construit sans qu’il soit influencé par les conditions physique et psychologique changeantes de l’individu.
5-Peu utilisé, car laborieux.
80
Parlez brièvement de la méthode de fidélité de la cohérence internet nommez les méthodes quels utilisent?5
1-La plus utilisé
2-Pour voir les sens communs, les observations générales.
3- Le nombre d’items est déterminant;
4-Le pourcentage de bonne réponse influence (p = difficulté). Ex: pq est au maximum quand p = 0.50. Pour maximiser la fidélité, il faut avoir un certain niveau de difficulté.
5-La corrélation entre les items est importante. On doit s’assurer que les items partagent le même construit.
Les trois Méthodes:
1-Bissection (moitié-moitié ou split-half):
On divise le questionnaire en deux et on regarde si chaque moitié se comporte de la même façon. Si les résultats sont semblables, le test est cohérent.
2-Formule de Kuder-Richardson:
On divise le test en plusieurs parties (3-4-5-6…)
3-Coefficient alpha:
Saturation d’un item par rapport à l’ensemble des items du questionnaire.
81
(comprendre la formule et à quoi elle sert) Parlez de la bissection?7
1-Sert à corriger les tests comme si chacune des moitiés était une version différente d’un test.
2-Pour trouvez la Corrélation entre les deux moitiés
3-Pas la meilleure méthode, car ne donne pas la fidélité du test en tant que tel.
4-Donne la fidélité des deux moitiés entre elles.
5-Parfois n’est pas vraiment égale entre les deux parties ou il faut tenir compte de la fatigue: Alternative = Fidélité pair-impair.
5.1-Pour contrer l’effet de fatigue: inverser l’ordre des items (échanger les premiers et les derniers)
6-N’exprime pas la fidélité du test en entier, mais celle d’un demi test:Alternative = correction Spearman-Brown:
Corriger les résultats d’une moitié pour les rapporter à l’ensemble du test.
Formules rc = 2rh/1+rb
rc=La corrélation corrigée du test en entier.
rh=La corrélation entre les deux demis tests
7- Formule plus générale pour estimer l’effet d’un changement de longueur: rc=nr0/1+(n-1)ro
n:Le facteur qui modifie la longueur du test
ro:La corrélation originale.
82
(retenir principe pas formule) Parlez de la Formule de Kuder-Richardson?4
1-Seulement pour les items qui ont une échelle dichotomique (vrai/faux)
2-Utilise le KR-20: permet d'obtenir la corrélation moyenne pour toutes les bissections possibles.
3-et le KR-21 :version simplifiée de KR-20
3.1-On part avec l’idée que tous les items ont le même coefficient de difficulté (p).
3.2-À la place, utilise la moyenne des scores obtenus au test.
4-Puisque l’hypothèse selon laquelle tous les p sont égaux est peu réaliste, on favorise l’utilisation de la formule KR-20.
K:Le nombre d'item contenus dans le test
p:Le pourcentage correct
q:(1-p)
ÉTx:L'écart type des scores obtenus.
83
(Ex)Parlez de la formule: Alpha de Cronbach?5
1-S'utilise pour n’importe quel type d’échelle – le plus utilisé
2-La formule sert à:
on considère chacun des items et on regarde à quel point ils sont cohérents, à quel point ils sont reliés au construit étudié.
3-Semblable à KR-20. Même résultat si on calcule avec une échelle dichotomique (ET2 = pq).
4- On applique le raisonnement que chaque item est en soit une version réduite du questionnaire.
5- Le coefficient alpha: 5.1-Indique dans quelle mesure les items d’un test mesurent le ou les mêmes construits ou traits.
5.2-Il mesure l’homogénéité des items, la cohérence entre ceux-ci.
5.3- Il donne une estimation de l’erreur de mesure attribuable à l’échantillonnage du contenu (le choix des items).
5.4-Ne mesure pas les sources d’erreurs en lien avec le temps, la condition des participants ou les évaluateurs.
5.5-Il est influencé ou déterminé par:
a)Le nombre d’items (+ il est grand, + le coefficient d’alpha sera fort, même si les corrélations interitems sont relativement faibles)
b)La moyenne de corrélation interitems (+ la corrélation est forte, + le coefficient d’alpha sera fort)
84
Parlez del'Erreur type de mesure (ETM) ?8
1-Traduire de manière pratique la fidélité du test.
2-ETM: L’écart-type d’un nombre théorique infini de scores obtenus avoisinant le score vrai d’une personne.
3-Correspond à l’écart type d’une distribution présumée normale
4-En cas de corrélation parfaite (1), l’ETM est de nulle (0). Dans ce cas, l’intervalle de confiance représente l’ETM.
5-Plus la corrélation (et la fidélité) est grande, plus l’intervalle de confiance sera petit.
6-Pas besoin d’une grande étendue, car tout le monde se situe autour des mêmes valeurs.
7-Si la corrélation est faible (les résultats sont dispersés), l’intervalle de confiance devra être plus grand.
8-Plus la fidélité est élevée, plus l’erreur de mesure sera petite.
85
Parler de l'intervalle de confiance ?10
1-Variation tolérable entre les valeurs déterminant que l’on mesure la bonne chose.
2-On utilise l’ETM pour créer un intervalle de confiance autour d’un score observé.
3- Puisque l’ETM est en soit l’écart-type d’une distribution présumée normale.
4-Selon une distribution normale, on sait que dans 68% des cas le score varie entre + 1 ETM.
5-Généralement, on utilise un intervalle de confiance de 68%.
6-Il est aussi possible de recourir, selon nos besoins, à un intervalle de 95% (ETM + 1,96) ou de 99% (ETM + 2,58)
7-On est capable de déterminer un intervalle à partir de l’erreur de mesure, en fonction du type de score qu’on utilise.
8-On devrait rapporter l’ETM selon l’unité de mesure utilisée pour l’interprétation du test. (Transposer l’information en chiffres).
9-On remplace l’ET de la distribution dans la formule pour avoir un ETM adapté au score à interpréter.
10-Formule:
On trouve l’écart type à partir de la fidélité. Ensuite, avec l’écart-type, on peut calculer l’ETM et déterminer l’intervalle de confiance.
86
Quels sont les trois erreurs types?
1. Erreur type de mesure (ETM):Indice d'erreur attribuable à un manque de fidélité.
2. Erreur type de la moyenne:Indice d'erreur attribuable à un échantillonnage aléatoire.
3. Erreur type d’estimation ou de prédiction:Indice d'erreur pour estimer Y d'après X
87
À quoi sert la Fidélité dans la TRI?4
1-N’évalue la fidélité que sous l’angle de la cohérence interne.
2-Postule que les items sont interdépendants.
3- Utilise la Formule Thêta
4-N’est pas influencée par l’homogénéité du test ou encore par l’hétérogénéité des individus
88
Parlez de la Théorie de la généralité? 5
1-On utilise un plan factoriel pour tout mesurer ensemble toutes les conditions.
2-Évaluer simultanément plusieurs sources d’erreurs
3-utilise l'Analyse de variance
4-Étude de décision: pour améliorer la fidélité.
5-Peu utilisé
89
Quels sont les Facteurs influant sur les coefficients? 4
1-Le fait que le r concerne la position relative plutôt que des scores absolus n’a pas d’impact sur la fidélité.
2-La curvilinéarité n’influence pas vraiment la fidélité.
3-L’hétéroscédasticité (distribution inégale des point le long de la droite de régression (résultats dispersés)) peut avoir un impact sur l’ETM.
Il suffit de jeter un œil sur les graphiques de dispersion. La TRI n’est pas affectée par ce phénomène, car l’ETM est pour chaque score.
4-L’hétérogénéité du groupe pose un problème.
Il suffit d’utiliser les formules 4,5 et 4,6 pour corriger le r soit une trop forte homogénéité ou encore une trop grande hétérogénéité.
90
Quel degré devrait-on viser? Quelle force de corrélation est souhaitable?5
1-Dépend de l’importance de l’exactitude, de l’impact des conséquences en cas d’erreur.
• ≥ 0,90 = excellent ≥ 0,80 = bon
• ≥ 0,70 = adéquat ≥ 0,60 = utiliser juste en recherche (pas suffisant pour un contexte clinique)
• ≤ 0,60 = utiliser un autre test !
2-Une source de fidélité ce n’est pas assez. On doit utiliser plusieurs stratégies pour mesurer plusieurs fidélités.
3-La différence entre des scores ou des profils est moins fidèle que la fidélité du score lui-même.
4-Plus on manipule, plus on introduit de sources d’erreurs, moins la fidélité est bonne.
5-Il faut se fier à la force quand on étudie la fidélité.
91
Que-est-ce que la Validité?5
1-Degré auquel un test mesure ce qu’il prétend mesurer.
2-Aspect fondamental de l’élaboration et l’évaluation d’un test.
3-Un test est valide par rapport à son usage particulier
4-accumulation de preuves dans le temps
5-Un test peut être valide, mais ses normes peuvent être déficientes.
92
Que-est-ce qu'un construit?
Un trait ou une variable psychologique, donc une construction théorique.
93
Que-es ce que la sous représentation du construit non relié au construit?Figure 5.1 (2)
1-Partie du construit qui n’est pas couverte par le test.
2-Degré auquel un test omet d’importants aspects du construit.
S’il omet de mesurer plusieurs aspects, il est sous-représentatif du construit.
(Utile pour analyser le degré d'intersection entre un test et le construit qu'il est censé mesurer)
94
Parlez de la Variance non reliée au construit?2
1-Autres caractéristiques non reliées au construit mesuré par le test.
2-Degré auquel les scores du test subissent l’influence d’éléments extérieurs au construit.
(Utile pour analyser le degré d'intersection entre un test et le construit qu'il est censé mesurer)
95
Parlez de la Validité d’apparence (face validity)3?
1-À quel point le test semble mesurer le construit souhaité. (qu'il semble valide)
2-On peut vouloir qu’un test ait une validité d’apparence ou pas, selon ce qu’on étudie.
3-Ne doit jamais substituer à la validité empirique.
(vise l'acceptation du test par le public)
96
Parlez de la Validité de contenu ?2
2-Concerne la relation existant entre le contenu d’un test et certains domaines bien définis de la connaissance et du comportement.
2-Surtout utilisée pour les tests de rendement et d'aptitude professionnelle.
97
Parlez des application de la validité du contenue aux tests de rendement?3 (Encadré 5.3)
1-Taxonomie de Bloom : cognitif, affectif et psychomoteur.
2-Se décline ensuite en processus
3-Souvent des variantes dans les tableaux de spécification
98
Quels sont les 4 principal sources d'erreurs de mesure?
1-Le contenu
2-Les conditions d'administrations
3-L'état physique ou mental du candidat
99
Parlez de la validation du contenue au niveau de l'Application aux tests de rendement scolaire? 2
1-Validité didactique: permet de savoir si le contenu a bel et bien été enseigné.
2-Fait référence à la notion d’occasion d’apprendre.
100
Parlez de la validation du contenue au niveau des tests d’aptitudes professionnelles?4
1-Évaluer les connaissances et les compétences au regard d’un poste.
ex: pour remplir telle et telle tâche, les individus doivent avoir les caractéristiques x, y, z. Il faut donc que le contenu mesure bien les caractéristiques x, y, z.
2-Construire un tableau de spécification à partir de l’analyse de poste.
3-Groupe d’experts pour définir les concepts et les processus.
4-On pourra établir une proportion de contenu jugée essentielle ou un ratio de validité de contenu.
101
Parlez de la validation du contenue au niveau des autres domaines? 4
1-Application plus difficile:
2-Tests de la personnalité ou d’aptitudes: on peut voir s’il le test se rapproche de la définition, mais il est difficile d’établir précisément le contenu et ses composantes.
3-On pourrait par exemple référer aux critères du DSM.
4- Il y a d’autres méthodes plus pertinentes pour montrer la validité de ces types de tests.
102
Quels sont les Problèmes avec la validité de contenu?4
1-Difficile de définir clairement le domaine des items.
2-Difficile d’évaluer le degré auquel les items du test couvrent les éléments de spécification du contenu.
3-Elle ne fait pas référence aux résultats réels du test, mais à son contenu… avant même qu’il ne soit complété ou qu’un score ne soit utilisé.
4-on n’analyse pas les scores, on analyse le contenu.
103
Parlez de la Validité critériée? 3
1-Vérifier si le test mesure ce qu’il prétend mesurer, selon certaines critères.
2-Définir la relation entre les résultats au test et un autre critère considéré comme un important indicateur du construit.
3-Deux contextes (varie en fonction du temps):
3.1-Validité prédictive: le test vise à prédire la valeur que prendront certains critères dans l’avenir.
Est-ce qu’il mesure une variable qui est associée au contenu?(ex:On pose l’hypothèse que l’examen de psychométrie est un bon prédicteur de l’admission au doctorat. Le critère dans le temps est l’admission au doc et le test est l’examen.
En fonction des scores obtenus à l’examen, on prédit que ceux qui ont obtenus des scores plus élevés ont plus de chances d’être admis au doc.)
3.2-Validité concomitante: concerne la concordance entre les résultats à un test et la valeur actuelle à d’autres variables.
(Ex: Anxiété de performance vs anxiété de catastrophe
similarité: concept d’anxiété. Il devrait avoir une relation entre les concepts d’anxiété, mais pas entre les causes de cette anxiété.)
On veut montrer à quel point ça s’apparente, à quel point on est près du concept que l’on veut mesurer
104
Quels sont les 3 applications pour la validité criériée?
1-Critère réaliste externe
2-Groupes contrastés
3-Corrélations avec d’autres tests
105
Quand et pourquoi utilisez le critère réaliste externe dans l'application de la validité criériée?2
1-Quand?Lorsqu’on dispose d’un critère externe qui donne une définition réaliste du construit.
2-Pourquoi si j’ai déjà un critère, développer un questionnaire?
2.1-Si je ne suis pas en mesure d’avoir l’information avant un certain temps.
2.2-Si c'est trop compliqué d’obtenir l’information sur le critère (exige du temps et de l’argent).
2.3-Pour substituer le critère (procédures d’évaluation) et le remplacer par un test qui pourra évaluer le construit de façon simple et rapide.
2.4-On veut un test qui nous donnera l’information la plus probable au regard du critère (un substitut possible au critère).
106
Pour savoir si mon test va substituer le critère, on doit montrer quoi et de quelle façon? 4(tableau 5.3 et 5.2 p.112)
1- On doit montrer la relation entre le test et le critère.
2-En utilisant le Coefficient de corrélation de Pearson (coefficient de validité: L'appellation Coefficient de validité indique qu’on a calculé une corrélation entre notre test et un critère, et cette corrélation a été utilisée pour démontrer la validité).
3-Lorsqu’on aura établi la relation (r) entre le test et le critère, il sera possible par la suite de prédire le score Y’ à partir du résultat au test X.
(Ex: moyenne au secondaire est prédictive de la réussite à l’université.
Une fois qu’on a démontré la relation entre les deux, on peut prédire la réussite ou l’échec à l’université selon la moyenne de l’individu au secondaire.
Puisque je connais la corrélation entre deux concepts, je peux maintenant prédire, en fonction d’un résultat, ce qu’on va obtenir.)
4-On va utiliser l'erreur type d’estimation:(même chose que l'erreur type de mesure sauf qu'on parle de prédiction)
Pour mesurer l'Erreur type d’estimation (les scores de critère)
Il s’agit de l’Écart-type des véritables scores critères autour des scores prédits.
Coefficient de validité entre le critère (Y) et le test (X)
ÉTy:L'écart type pour le test que concerne la prévision.
r xy(XY en minuscule):La corrélation entre le test pour lequel on fait une prédiction et celui à partir duquel on la fait.
On se donne une marge d’erreur pour estimer les probabilités que les cas aient des valeurs inférieures ou supérieures d’une certaine valeur aux prédictions concernant le critère externe.
107
Quand et pourquoi utilisez le groupe contrastés dans l'application de la validité criériée? 6 (Tab.5.4 p.114)
1- Quand on souhaite démontrer que le test permet de différencier un groupe d’un autre.: (Le critère est la composition du groupe.)
(Ex:Est-ce que le test peut différencier ceux qui ont le diagnostique de dépression et ceux qui n’en ont jamais eu. Distinguer ceux qui ont le construits de ceux qui n’ont pas le construit.)
2-Important de tenir compte du degré de séparation entre les groupes.
(Il faut que je m’assure que mes groupes soient bien différents.)
3-Si les groupes sont trop semblables, le test aura de la difficulté à faire la distinction.
4-Plus la différenciation entre les groupes est élevée, plus la validité du test est meilleure.
5-Les courbes peuvent se chevaucher (un individu peut ressentir un certain niveau de tristesse momentané sans pour autant être dépressif), mais les lignes médianes de chaque groupe (le critère) doivent être assez séparées.
VOIR FIGURE 5.4
6-La différence statistiquement significative est ici nécessaire, mais insuffisante.
Les groupes doivent être différents dans une mesure utile à la pratique.
108
Quand et pourquoi utilisez la corrélations avec d’autres tests dans l'application de la validité criériée? 5
1-Quand on veut faire un autre test en démontrant la corrélation entre le test et un autre test dont la validité est établie ou présumée pour le construit à l’étude.
2-On va utiliser le Coefficient de corrélation de Pearson
3- Avec la validité convergente: vise à évaluer la convergence du trait mesuré par le nouveau test avec un test étalon qui devient le critère de comparaison et dont les caractéristiques métriques sont bien établies.
(Ex: On veut faire un nouveau questionnaire qui mesure la peur de la récidive.
On veut voir si les deux questionnaires (le nouveau et celui de référence) convergent ensemble vers un même construit.
On établit une corrélation entre deux questionnaires qui, on l’espère, semblent mesurer la même chose. On veut donc obtenir une corrélation forte entre le nouveau test et celui de référence.)
4-Avec la Validité divergente: On peut utiliser des tests qui mesurent des construits voisins (anxiété, dépression). (Dans ce cas, on n’espère pas avoir une corrélation forte, sinon ça veut dire que le test de la peur de récidive mesure en fait de l’anxiété et de la dépression.)
5-Attention au sophisme inductif de fausse analogie ou déductif d’opposition: Bien connaître le test que l’on choisit comme critère. (EX: le titre veux rien dire)
109
Quels sont les 6 considérations pour l’interprétation de la validité critériée?
```
1-Facteurs influant le coefficient de corrélation.
2-Relation fidélité-validité.
3-Validité du critère
4-Contamination du critère
5-Validité divergente (discriminante).
6-Matrice multitraits multiméthodes.
```
110
Parlez des facteurs influant le coefficient de corrélation pour l’interprétation de la validité critériée?3
1-Linéarité: coefficient est sous-estimé si non linéaire
2-Homogénéité du groupe: voir la pertinence de faire les corrections en fonction des groupes et augmenter la taille de l’échantillon (N)
(On a besoin d’une variance pour comprendre la relation. Si les groupes sont trop homogènes, on a peu de variance).
3-Hétéroscédasticité: voir le graphique pour estimer l’influence.
Scores ne sont pas répartis également (l’écart-type diffère d’un bout à l’autre de la distribution).
111
Parlez de la relation fidélité-validité pour l’interprétation de la validité critériée?7
1-Pas le même objectif spécifique, mais même objectif global (déterminer si le test est fiable).
La fidélité a un impact sur la validité et vice-versa.
2-La validité d’un test dépend d’une certaine mesure de sa fidélité.
3-Elle repose aussi sur la fidélité du critère.
4-Si la fidélité d’un test est nulle, sa validité l’est également.
5-Si le critère n’est pas en lien fidèle avec le test, (fidélité du critère=nul)on ne peut se fier sur ce critère pour déterminer la validité du test, même si ce test est parfaitement fidèle en lui-même.
6-Comment exprimer l’effet d’une fidélité limitée sur la validité?
En utilisant l'Atténuation: terme technique qui exprime la limite imposée à la validité par une fidélité imparfaite.
7-Il y a des formules selon ce qui est à corriger:
Formule 5.4: pour atténuation du TEST
Formule 5.5: pour atténuation du CRITÈRE
Formule 5.6: pour atténuation du TEST et du CRITÈRE
112
Parlez de la validité du critère pour l’interprétation de la validité critériée?
Il faut avoir une bonne définition opérationnelle du critère.
113
Parlez de la contamination du critère pour l’interprétation de la validité critériée?
Situation dans laquelle le résultat au test influe sur la valeur du critère (surestimer).
(Ex: Je veux mesurer le niveau de dépression.
Critère: évaluation des psy.
Si les psy ont en main les résultats du test, ils vont probablement être influencés par ceux-ci.
Habituellement, la contamination mène à une augmentation de la corrélation entre le test et le critère.
Il faut donc s’assurer que les deux concepts ne sont pas en train de s’influencer l’un et l’autre.)
114
Parlez de la Validité divergente (discriminante) dans l’interprétation de la validité critériée?
Démontrer une corrélation relativement faible (ou négative) avec des construits autres que celui qu’on souhaite mesurer.
(Contraire de la validité convergente.
Démontrer que le test ne mesure pas ce qu’il n’est pas censé mesurer)
115
Parlez de la matrice multitraits multiméthodes dans l’interprétation de la validité critériée?
Matrice de corrélations entre différents tests et différentes méthodes.
(Tenter d'isoler différentes choses pour montrer que la relation entre mes construits et mes méthodes est différente. -Peu utilisé dans la pratique).
116
Il existe d'autre corrélation, comme la corrélation multiple, de quoi s'agit-il?4
1-On va faire une combinaison de l’information des tests
2-Par la corrélation multiple:Pour exprimer la relation entre une variable (critère) et la combinaison optimale de deux ou plusieurs variables (ou plusieurs tests).
3-Pour:Fournir la meilleure prédiction possible du critère
4-Permets de connaitre, de manière théorique, les variables qui contribuent le plus efficacement à la prédiction du critère.
((((beta nous permet de dire qui contribuer plus qu'un autre)(Ex: prédire la moyenne générale à l’université (critère) en se basant sur un test d’admission, la cote R collégiale et un test de motivation scolaire on utilise 3 variables).
(C'est de mettre en compétition pour voir qui explique le mieux)
(R = coefficient de corrélation d’ordre zéro (s’interprète comme la corrélation de Pearson)
(Pondération (ou poids) exprimée par b (score brut) ou β (bêta; score standardisé en score Z)
(Seul le poids β (bêta) est comparable (M = 0; ET =1) Parce que c’est un score standardisé.
Les poids bêta indiquent directement les variables qui reçoivent les poids les plus élevés.)
(On veut que:L’ensemble des sous-tests mesurent une grande variété de choses (ne se chevauchent pas trop, donc nous en disent beaucoup à propos du construit général).
Les sous-tests ne mesurent pas les mêmes choses.
Régression multiple: Même formule avec plus de variables
• R2 = pourcentage de variance dans Y qui est représenté ou expliqué par les variables prédictives.)))))
117
Il existe d'autre corrélation, comme la Validité incrémentale, de quoi s'agit-il?
Pour savoir si ça vaut la peine d'ajouter des test nouveaux (quantité de données nouvelles et uniques) ou non à la recherche.
118
Expliquez:Prédiction statistique ≥ prédiction clinique?
Les prédictions statistiques sont plus fortes, mais nous avons tout de même besoin des informations cliniques pour créer les outils statistiques.
119
Pourquoi utilise t'on l'a théorie de la décision?2
1-Pour optimiser la décision à partir d’un test dans le but d’économie de temps ou d’argent.
2-Touche les tests à des fins de sélection, certification, diagnostic.
(Ex:On veut démontrer jusqu’à quel point un test de 15 items peut être aussi fiable qu’une évaluation clinique.
À partir de quelle valeur on peut dire que mon test accote le jugement clinique).
120
Dans la théorie de la décision, quels facteurs qui influencent la répartition (la proportion de résultats appropriés)? 4
1- Le degré de corrélation entre le test et le critère (nuage de point)
2-L’emplacement du point de coupure (on doit faire un compromis entre le taux de faux positifs et le taux de faux négatifs)
3-Faux nég: lorsque le test identifie qu’il y a pas de problème alors que le psy dit qu,il y en a un.
Faux pos: lorsque le test identifie qu’il y a un problème alors que le psy dit qu’il n’y en a pas.
VOIR FIG. 5.6
4-Faire attention à l'impact du taux de base: proportion de sujets qui représentent une certaine caractéristique au sein d’une population.
(Lorsque le taux de base est extrême (faible ou fort), il est difficile de démontrer la validité d’un test qui vise à recenser les individus faisant partie du groupe ciblé. L’idéal c’est lorsqu’un test a un niveau de base de 50% )(semblable à l’impact du d)
121
Quels concept centraux doit-on observer lorsqu'on a un test qui sert à classer des individus dans deux groupes?2
1-Sensibilité: degré (%) auquel un test permettra de définir la personne du groupe critère. (La probabilité qu'un test réalisé sur une personne malade se révèle positif; autrement dit, que le test soit positif sachant que la personne est malade).
2-Spécificité: degré (%) auquel un test permettra de déterminer ou non la personne du groupe contraste. (La probabilité qu'un test réalisé sur une personne saine se révèle négatif; autrement dit, que le test soit négatif sachant que la personne n'est pas malade. )
122
Quels sont les facteurs influant sur la sensibilité et spécificité?2
1-Degré de séparation entre les groupes:
(Plus les groupes sont distincts meilleurs seront les indices (sensibilité et spécificité))
2-L’emplacement du point de coupure:
(Un déplacement du point de coupure fait varier la sensibilité et la spécificité de manière inverse
(Si la sensibilité augmente, la spécificité diminue et vice versa.))
123
Que-est-ce que la validité du construit?
Toute preuve (ou toute méthode) qui appuie de manière plausible que le test mesure ce qu’il est censé mesurer.
124
Quels sont les autres méthodes pour démontrer la validité du construit?5
1-Cohérence interne
2-Processus de réponse: (faible, mais utile qualitativement
Questionner les gens sur leur rationnel (leur raisonnement) quand ils répondent aux items)
3-Analyse factorielle: (déterminer les dimensions communes à partir des familles d’analyse factorielle: types, méthodes de rotations, règles d’arrêt)
4-Effet des variables expérimentales: (manipuler le construit:
si on postule que le questionnaire mesure l’anxiété, faire faire une tâche anxiogène à certains sujets et vérifier si leur niveau d’anxiété est supérieur aux individus qui n’ont pas fait la tâche.)
5-Changements développementaux
(On devrait observer une différence entre les résultats d’un enfant et d’un adulte dans un test d’intelligence.)
125
Qu'est-ce que la validité de conséquence?
Renvoie le test aux conséquences de ses usages et de ses interprétations:
– Celles énoncées explicitement par les auteurs
– Celles qui peuvent survenir de son utilisation sans l’avoir prévu.
126
Expliquez: Biais des tests et validité?
S’assurer que le test mesure bien ce qu’il est censé mesurer pour différents groupes.
(Ex: s’intéresser aux différences culturelles).
127
Expliquez:Généralisation de la validité?
Soupeser toutes les preuves et déterminer la pertinence des études existantes relativement à l’usage prévu du test (méta-analyse).
(Prendre les chiffres de tous les résultats accumulés.
Il faut se demander si un test est plus ou moins valide qu’un autre ou s’il est mieux que rien.)
