Chapitre 11 - Recherche évaluative + Chapitre 13 - Évaluation d'interventions et intégration Flashcards
(28 cards)
Qu’est-ce que l’évaluation de programmes (recherche évaluative)
Les définitions diverses de ces 2 concepts pourraient se située sur un continuum où à une extrémité, la recherche évaluative est perçu comme une activité strictement scientifique utilisant que des logiques et des méthodologies reconnue en recherche sociale, à l’autre extrémité nous avons l’évaluation de programme qui doit être très près des besoins concrets de l’organisme. Sur le plan sémantique, la recherche évaluative est + large et + quantitative et l’évaluation de programme est + procge des besoins et + qualitative. Sur le plan pratique, elles sont centré sur des programmes (implantés ou à implanter)
Qu’est-ce qu’un programme
Il s’agit d’un ensemble organisé, cohérent et intégré d’activités et de services, avec des ressources, dans le but d’atteindre des objectifs déterminés visant des problèmes précis et ce, pour une population définie
Quelles sont les éléments à considérer en regardant un programme (composantes)
-La problématique ciblée par le programme: Sur quoi un organisme veut agir
-Les buts et les objectifs du programme: buts (idées liées à des étapes à atteindre, l’orientation générale du programme), objectifs (réalisations à faire pour atteindre les buts)
-Les ressources matérielles, humaines et financières
-Les services ou activités du programme qui en représente le coeur de celui-ci
-Les résultats attendus du programme sur la clientèle cible
-Le contexte du programme: peut influencer la réalisation du programme
Quelles sont les deux formes (approches) d’évaluation de programme
Les évaluations d’ordres formative et sommative
Expliquez l’évaluation de programme de nature formative
Dans une évaluation formative, l’objectif principal est de fournir des résultats qui permettent de bonifier un programme en cours. Dans la collecte de données, l’accent est mis surtout sur l’explication des processus conduisant aux résultats. Les données sont souvent analysés et présentés aux personnes engagés dans le dév du programme afin d’apporter des changements s’il y a lieu. L’accent est aussi mis sur l’interprétation des résultats selon les conséquences sur la pratique
Expliquez l’évaluation de programmes de nature sommative
Cette évaluation est utlisée lorsqu’un programme a atteint sa pleine maturité et ce afin de quantifier, généraliser, prendre des décisions sur l’avenir d’un programme. Elle vise à porter un jugement global sur la qualité d’un programme en répondant à des questions d’ordres administratives. La collecte de donnée est accés sur les effets du programme sans chercher à expliquer les résultats. Ceux-ci sont présenté à la fin de la recherche dans un rapport écrit. Cette évaluation fournit peu de résultats permettant d’apporter des changements au programme.
Quelles sont les 5 formes de recherche évaluative (en fonction des objectifs)
L’analyse des besoins, l’analyse d’implantation, l’analyse d’efficacité, l’analyse d’efficience et l’analyse d’impact
Expliquez l’analyse des besoins (recherche évaluative)
Une évaluation des besoins réfère à l’utilisation systématique des méthodes de recherche en sciences sociales afin d’identifier l’ampleur et la nature d’un problème social, ses causes et ses conséquences, les caractéristiques des personnes touchées (clientèle) et les contextes dans lesquels elles vivent. Ces évaluation servent à planifier les services à une communauté donnée. Elles sont utilisés pour déterminer les problèmes des membres et envisager des solutions acceptables pour répondre à leur besoin. Donc, elles permettent de conceptualiser les programmes d’intervention et d’apporter une solution aux besoins identifés. Il existent 4 types de méthode de collecte de données: inventaire des ressources, analyse de l’utilisation des services et de la clientèle, l’enquête et l’analyse des indicateurs sociaux
Expliquez l’analyse d’implantation (recherche évaluative)
L’évaluation de l’implantation (processus) désigne l’utilisation de méthode de recherche scientifique permettant d’examiner si l’organisme réalise ce qu’il avait prévu de faire, de constater comment il le fait, s’il existe un écart entre ce qui était prévu et ce qui se fait et d’expliquer cet écart. Cette évaluation vient répondre à 3 types de catégories de questions: celle sur la clientèle, celle sur les services et celle sur les ressources. Elle peu être utilisé dans les 1er années d’implantatoins d’un programme, mais peu aussi être utilisé pour des programmes plus anciens afin de suivre l’évolution de la clientèle ou les changements pouvant survenir dans sa mise en oeuvre.
Expliquez l’analyse d’efficacité (recherche évaluative)
L’évaluation de l’efficacité est définit comme étant l’utilisation de méthodes de recherche scientifiques visant à porter un jugement sur l’atteinte des objectifs d’un programme. Elle cherche à vérifier si des changements se sont produits chez les sujets et à démontré que ces changements sont lié au programme (défi). Il existe 2 conditions préalables à l’évaluation de l’efficacité: 1-les objectifs du programmes doivent être clairement définis en terme de changements désirés, 2-l’évaluateur doit s’assurer que le programme a bien été implanté (qu’il offre bien les services planifiés)
Expliquez l’analyse d’efficience (recherche évaluative)
L’évaluation de l’efficience (rendement) vise à mettre en lien les effets d’un programme et ses coûts. Elle permet de répondre à des questions telles que: Quel est, entre 2 programmes ayant les mêmes objectifs, celui qui permet de les atteindre au moindre coûts. Il existe 2 formes d’évaluation de l’efficience: celle du rapport coût-efficacité et celle du rapport coût-bénéfice. Malgré ses avantages, cette évaluation demande des connaissances méthodologiques et techniques importantes sur le plan économique, des finances et administratif.
Expliquez l’analyse d’impact (recherche évaluative)
L’évaluation de l’impact d’un programme consiste à évaluer les effets (indirects) qui ne sont pas directement liés aux objectifs du programme. Cela est intéressant à faire, car les effets indirects sont très peu examiné malgré le fait que cela soit pertinent et important dans la compréhension globale d’un programme d’intervention.
Quelles sont les étapes à suivre en recherche évaluative
- Déterminer le mandat et la faisabilité.
(et choisir si ce sera une évaluateur(trice) interne ou externe à l’organisme) - Déterminer le protocole d’évaluation.
- Procéder à la collecte des données.
L’enquête, l’analyse des indicateurs sociaux, l’observation directe, l’étude de dossiers (des usagers ou de l’organisme), les intervenants impliqués dans le programme, les participants eux-mêmes, etc. - Présentation des résultats/rapport aux mandataires
Expliquez l’étape de la détermination du mandat et de la faisabilité en recherche évaluative
Peut importe s’il s’agit d’un évaluateur interne ou externe à l’organisme, il doit déterminer si l’ensemble du contexte est favorable à la réalisation de l’évaluation (répond à des questions: qui veut l’évaluation, pk, à quelles fins, par qui, etc.). Cette étape consiste aussi à déterminer si la façon dont le programme a été constitué permet une évaluation. Il s’agit de déterminer clairement les objectifs (court-long terme) de façon à vérifier s’ils sont bien atteints, de décrire les ressources qui seront mis en oeuvre pour atteindre ces objectifs et ce, afin de vérifier si le programme est bien implanté comme il a été conçu.
Expliquez l’étape de la détermination du protocole d’évaluation en recherche évaluative
Cette étape vise à préciser l’ensemble des questions de l’évaluation et à déterminer le protocole d’évaluation, c-à-d, l’ensemble des modalités de collecte des données qui permettront de répondre aux questions de l’évaluation. Cela est important pour l’évaluateur afin d’établir un climat de confiance et de coopération avec l’équipe engagée dans le programme d’intervention
Expliquez l’étape de la collecte de données et l’analyse des données en recherche évaluative
Cela consiste à mettre en oeuvre le protocole d’évaluation où le rôle de l’évaluateur est de voir à ce que tout soit réalisé comme prévu. Il doit s’assurer que l’échantillonage et le recrutement soit réalisé convenablement, que les instruments de mesure sont bien administrés, que les échéanciers soit respectés. Cela est essentielle afin de garantir la qualité des données et du protocole d’évaluation. Les données peuvent être recueillis par des agents de recherche, des intervenants, etc. Une fois la collecte terminée, on procède à une analyse où une évaluation formative fera en sorte que les données seront analysées plus souvent et plus vite afin de les rendre accessibles à l’équipe d’intervenants en vue de modific. potentielles du programme.
Expliquez l’étape de la présentation des résultats/rapport aux mandataires en recherche évaluative
Suite à l’analyse des données, les résultats doivent être présentés aux principaux utilisateurs potentiels de l’évaluation. Les résultats peuvent être sous la forme d’une communication orale ou d’un rapport écrit. Cette étape est crucial dans le contexte d’évaluation d’un programme, car l’un des objectifs de l’évaluation est d’aider à la prise de décision.
Expliquez les phases des essais cliniques (en santé et en psycho)
-Pré-phase: biologistes, animaux, etc.
-Phase 1: administration à des volontaires humains sains pour étudier la tolérance et le métabolisme du traitement (innocuité)
-Phase 2: Les caractéristiques de l’activité thérapeutique et les doses efficaces sont déterminés sur quelques cas cliniques (pilotes)
-Phase 3: Des essais multicentriques sont réalisés sur un grand nombre de patient afin de démontrer l’efficacité par rapport à un placebo (essais cliniques randomisés, randomized control trials (RCT))
-Phase 4: Les essais cliniques ont lieu dans des conditions plus proches de leur utilisation habituelle, dans le but d’évaluer la tolérance sur un grand nombre de patients (validité externe).
* L’approche en santé mentale est moins exigeante qu’en santé physique
Expliquez la notion de traitement validé empiriquement
Pour qu’un traitement soit validé empiriquement, il faut qu’il rencontre les critères suivant:
-Un minimum de 2 RCTs (randomized control trials) qui, soit: 1-Démontrent une supériorité à un autre traitement ou à un placebo. 2-Démontrent l’équivalence (avec un N suffisant). OU des protocoles à cas uniques rigoureux et beaucoup de cas.
-Utilisent un « manuel » de traitement.
-Reposent sur un échantillon bien défini.
-Ont été effectuées par deux équipes indépendantes.
Expliquez la questions des données manquantes en essais cliniques
Les données manquantes peuvent représenter un phénomène à considérer et à inclure dans l’évaluation.
* On peut Remplacer les données manquantes au post ou à la relance par les dernières données disponibles (last available observation carried forward, LCOF) afin de donner un « poids négatif » aux données manquantes et éviter des conclusions trop positives.
Expliquez les différents guides d’évaluations
-Consort: essais contrôlés randomisés
-Strobe: étude observationnelles (suivi de cohorte, cas-témoins, études transversales, etc.)
-Prisma: revues systématiques et méta-analyses
-Stard: études sur la précision des tests diagnostiques
-Coreq: rapport de recherche qualitative: entretiens individuels et entretiens de groupe focalisés
-Entreq: synthèses de recherche qualitative, revues de littérature et méta-analyse
-Squire: études sur l’amélioration de la qualité des soins
-Care: études de cas
-Sampl: méthodes et analyses statistiques
-Spirit: essais cliniques, études expérimentales et divers protocoles
Expliquez le guide d’évaluation JARS
Il désigne ce qu’il faut mettre dans un article selon l’APA. Il existe une version pour la recherche qualitative et quantitative! Il est Bien utile de les citer dans les articles et demandes de subventions
Quels sont les différents types de recension des écrits
La recension non-systématique, la recension systématique et la méta-analyse
Expliquez la recension des écrits non-systématique
Dans ce type de recension, l’auteur rapporte ce qu’il désire (ce qui n’est pas un problème en soi). C’est une recension narrative,
« Scoping review », etc
