Cours 10 : Évaluation de programme Flashcards
Quelles sont les questions les plus fréquentes qui justifient la mise en place d’une évaluation de programmes? Nommez-en 4.
1) Pertinence de la mise en œuvre du programme
2) Conceptualisation du programme.
3) Opérations et la dispensation des services.
4) Effets du programme.
5) Coût-bénéfice du programme.
Approche développée par le psychologue communautaire Howard Bloom visant à mieux encadrer sa profession, les principes de Bloom sont des propositions qui visent à créer des communautés résilientes, saines et inclusives en promouvant le bien-être individuel et collectif. À partir de ce qui fut mentionné dans le cours, rapportez 4 de ces propositions (vous pouvez formuler celles-ci dans vos propres mots).
1-Dépendamment de la provenance de votre salaire, considérez que vous travaillez pour la communauté. Pour les bénéficiaires !!
2-Si vous voulez connaître les besoins d’une communauté en matière de santé mentale, demandez à la communauté.
3-Si vous recueillez des informations sur une communauté, vous avez la responsabilité de leur communiquer les informations.
4-Aidez la communauté à établir ses propres priorités.
5-Vous pouvez aider la communauté à choisir entre différentes lignes d’action dans ses efforts pour résoudre ses problèmes.
6- Dans le cas où la communauté desservie est si désorganisée, que les représentants des diverses facettes de la communauté ne peuvent pas être trouvés, vous avez la responsabilité d’aider à trouver de tels représentants.
Quelles sont les caractéristiques d’un programme efficace? Pour répondre à cette question, donnez 6 des 9 caractéristiques d’un programme pour qu’il soit considéré comme efficace.
- Utilisent une approche globale (interviennent de diverses façons dans de multiples milieux)
- Procèdent à une analyse en profondeur du contexte d’implantation et des répercussions possibles
- Assurent un « Dosage » suffisant; l’action dans la durée
- Donnent des opportunités de relations positives et l’établissement de relais
- Se basent sur la recherche et la théorie: Référence à un modèle logique d’action fondé sur des concepts et des connaissances solides et des exemples inspirants
- Incluent l’évaluation des résultats
- S’appliquent au bon moment; notion de « timing » et de « fenêtre d’opportunité »
- Se veulent pertinents au contexte socioculturel: Sensibilité aux particularités de la communauté hôte, son histoire, ses expériences antérieures
- Misent sur l’organisation, la planification et l’accès à des ressources suffisantes
Dans un contexte d’évaluation de programmes, en quoi consiste l’évaluation des besoins? Pour répondre à cette question, assurez-vous d’expliquer les principaux objectifs de l’évaluation des besoins puis nommez les 4 catégories de besoins rencontrés dans une évaluation de programmes.
L’évaluation des besoins peut porter sur plusieurs objectifs spécifiques à chaque situation. Le besoin va correspondre à une nécessité sociale ou naturelle qui se traduit par un manque, ou un écart. C’est l’expression d’un manque ressenti par rapport à un enjeu. Ce qui est objectif est l’écart et ce qui est subjectif est le manque. Les objectifs permettent d’identifier les indicateurs et par conséquent il oriente la recherche.
Voici les 4 principaux objectifs :
- Identifier et décrire la clientèle-cible du programme;
- Identifier et décrire les problèmes prioritaires qui affectent la clientèle-cible;
- Déterminer les solutions nécessaires et des alternatives afin de répondre aux besoins;
- Prioriser des solutions en réponse aux besoins de la clientèle-cible du programme.
4 catégories de besoins :
- Les besoins ressentis
- Besoins exprimés
- Besoins normatifs
- Besoins comparatifs
Dans la taxonomie en lien avec l’évaluation des programmes, nous avons vu qu’il existait 4 types de besoins auxquels les programmes peuvent répondre. À partir ce qui fut présenté dans le cours, dites quels sont les 4 types de besoins rencontrés en les définissant.
- Les besoins ressentis
- Attentes des personnes : enquêtes, sondages, groupes cibles
- Besoins exprimés
- Les fréquences des demandes et de l’utilisation des services chez une population donnée.
- Besoins normatifs
- Reposent sur le jugement d’expert : impliquent l’utilisation de normes et de seuils en dessous ou au-delà desquels des besoins apparaissent
- Normes établies avec la connaissances des problématiques et se traduisent sous la forme d’indicateurs/fcts de risque (p.ex., seuil de pauvreté, moyenne des revenus, nbre d’années de scolarisation, etc.)
- Besoins comparatifs
- Reposent sur le jugement d’expert.
- Aucun niveau absolu.
- Repose sur l’utilisation des normes
- Implique la comparaison entre les caractéristiques de deux populations et les ressources dont elles disposent.
Pourquoi l’utilisation de modèles logique est-elle aussi importante en évaluation de programmes? À partir de ce que nous avons vu dans le cours, expliquez ce qu’est un modèle logique et définissez ce que devrait être un bon modèle logique (son utilité et son usage).
Le modèle logique est un outil visuel permettant de décrire un programme dans sa logique fondamentale. C’est un diagramme de ce qui est commun aux programmes : il répond au quoi, qui et pourquoi. Par conséquent, le modèle identifier les moyens qui seront déployés, la logique des actions, les effets attendus et la population ciblée.
Le modèle logique permet de s’assurer de l’atteinte de ces critères puisqu’il permet de définir:
- Les buts et les objectifs attendus à court, moyen et long terme
- Le lien (présumé) entre les activités choisies et les buts/objectifs poursuivis par le programme (Vision théorique [ce pourquoi on dit que c’est présumé])
- Les éléments du programme à suivre et à évaluer (Amène à identifier les indicateurs, les sources de données et les méthodologies appropriées pour la collecte ; Permet de déterminer le type d’évaluation qui pourrait/devrait être effectuée)
Pour être évaluable, un programme doit satisfaire certains critères. Un tel modèle permet d’identifier les données dont nous aurons besoin pour évaluer un programme
Qu’est-ce qu’un bon programme devrait obligatoirement comporter pour être considéré comme « évaluable »? Pour répondre à cette question, rapportez les 4 critères.
- Les buts et objectifs du programme sont bien définis
- Les buts et objectifs sont plausibles en fonction des activités mises en œuvre
- Des données pertinentes sont accessibles concernant l’application du programme
- Les utilisateurs potentiels de l’évaluation s’entendent sur les buts poursuivis par l’évaluation
Dans le contexte de l’évaluation de programmes, plus particulièrement lors de la troisième étape (étape de l’évaluation), nous avons vu que l’évaluation pouvait porter sur plusieurs aspects d’un programme (catégories d’évaluation). Quels sont ces aspects? Pour répondre à cette question, rapportez les trois catégories, en vous assurant de mentionner tout autre aspect optionnel pouvant être évalué.
- L’évaluation des besoins (voir étape 1)
- L’évaluation de l’implantation et l’évaluation des processus
- L’évaluation des effets et l’évaluation du rendement
Optionnel : L’évaluation de l’empowerment, quoique cet aspect devrait toujours venir dans nos pratiques ou bien dans les programmes.
Dans un contexte de conception et d’évaluation de programmes, à quoi fait-on référence lorsque l’on parle d’implantation et pourquoi est-il est important de l’évaluer? Pour répondre à cette question, assurez-vous de rapporter quels sont les objectifs et l’utilité derrière l’évaluation de l’implantation de programmes.
IMPLANTATION
- Étape où procède à la mise en œuvre du programme selon les moyens et les objectifs spécifiques décrits lors de la planification. L’implantation est une étape particulièrement critique puisqu’elle concrétise la planification par la dispensation des services.
- L’évaluation de l’implantation évalue l’implantation et ses effets.
OBJECTIFS
- S’assurer que ce que l’on dit qu’on fait est bien ce que l’on fait
- Associer les effets du programme à un processus explicite
- Être capable de reproduire un programme
- S’assurer d’une compréhension commune
- Rejoindre la clientèle-cible
UTILITÉS
- Si nous souhaitons reproduire le programme ailleurs ou auprès d’une autre population, il faut avoir la documentation de l’évaluation de l’implantation. Cela permet de document les bonnes et moins bonnes pratiques. Si nécessaires, les ajustements sont ciblés.
- Cela amène une compréhension commune entre les acteurs. L’évaluation de l’implantation constitue un moment particulièrement propice à l’examen du processus de recrutement, de sélection et de l’évaluation de la clientèle.
- Permet d’identifier les conditions de mise en œuvre
- Permet des ajustements en cours de route
- Permet d’attribuer au programme les résultats mesurés
- Permet de vérifier si le programme : est mis en œuvre conformément aux intentions ; est offert aux clientèles ciblées et est mis en œuvre conformément à l’« effort » ou à « l’intensité » prévus.
Quelles sont les 5 catégories de facteurs qui peuvent nuire à l’implantation d’un programme?
- Caractéristiques de la communauté : Financement, politiques, culture de recherche, etc.
- Caractéristiques des intervenants: Besoin et avantages perçus, ouverture au changement
- Caractéristiques du programme: Compatibilité, adaptabilité, etc.
- Capacité organisationnelle: Climat de travail, type de leadership, etc.
- Soutien offert: Formation, encadrement, assistance technique, etc.
Dans un contexte d’évaluation de programmes, nous avons vu que la sélection d’indicateurs reposait principalement sur 6 critères. À partir de ce qui fut présenté dans le cours, rapportez ces 6 critères en donnant une brève explication pour chacun d’entre eux.
- La validité. Un indicateur est valide lorsqu’il mesure efficacement le phénomène étudié; c’est-à-dire qu’un indicateur valide permet de bien capter les résultats du programme évalué.
- L’utilité. Un indicateur est utile lorsqu’il peut directement servir à la planification, au suivi ou à l’évaluation des activités d’un programme. Un indicateur est également utile quand il est simple d’utilisation et qu’un grand nombre de personnes peuvent facilement le comprendre, y compris les non-spécialistes.
- L’accessibilité (ou facilité d’accès). L’accessibilité d’un indicateur dépend de la disponibilité des sources de données pour le mesurer, mais aussi de la facilité et du coût des moyens à employer pour collecter et analyser les données.
- Objectivité. L’indicateur doit permettre de juger sans ambiguïté du changement attendu. Il doit permettre à différents observateurs de s’entendre sur l’atteinte ou non du changement.
- Sensibilité. L’indicateur doit être suffisamment sensible pour permettre de discerner les changements dans l’état de la clientèle-cible. Ce degré de sensibilité est relatif à chaque situation selon l’ampleur du changement attendu.
- Fidélité: La fidélité de l’indicateur réfère à sa stabilité au fil du temps. Afin d’être utile à juger des changements provoqués par l’intervention l’indicateur doit permettre d’obtenir des observations constantes tout au cours de la mise en œuvre du programme. « Une mesure est considérée comme fiable, si elle produit des résultats constants lorsqu’elle est appliquée de façon répétitive sur le phénomène dans le même état» (Saucier et Brunelle, 1995, p. 24)
L’une des principales valeurs de la psychologie communautaire est sans doute la collaboration. En effet, l’une des grandes forces des psychologues communautaires est d’être toujours en mesure de tisser des liens très étroits entre eux et les communautés desservies. Il n’y a donc rien d’étonnant à ce que cet aspect se retrouve dans chaque aspect de l’évaluation de programmes et ce, du début à la fin. En ce sens, il est donc important que le.la psychologue communautaire soit sensible à la communauté desservie lorsque vient le temps de communiquer les résultats. À partir de ce qui fut présenté dans le cours sur l’évaluation de programmes, rapportez au moins 6 conseils pour bien communiquer les résultats.
- Utiliser un langage clair et simple, éviter le jargon
- Faire ressortir l’information importante
- Placer l’information la plus importante au début et à la fin
- Combiner des images et des mots, ou des graphiques et chiffres
- Organiser l’information avec clarté
- Aller du concret à l’abstrait
- Présenter l’information menaçante avec tact , si critiques : le faire positivement
- Utiliser des résumés - n’inclure que les détails essentiels
- Adapter le contenu à l’auditoire (transfert de connaissances) si politiciens : discours différents que si intervenants ou chercheurs.
Lors du cours sur l’évaluation de programmes, nous avons vu que les évaluations bien conçues devaient tenir compte de 4 points essentiels. Rapporter ces 4 points.
- La rigueur du devis
- La prise en considération des contraintes liées aux ressources
- L’utilisation de multiples sources de données
- La capacité de tenir compte de l’influence des valeurs (des évaluateurs, des intervenants et de la communauté)
À quoi fait référence le cadre de Kelly? Répondez brièvement à cette question puis rapportez quelles sont les 5 valeurs fondamentales à la base de ce cadre.
Le cadre de Kelly fait référence à la consultation d’un psychologue communautaire
- Fiabilité : tout fait ce qu’il doit faire
- Crédibilité : chacun va informer honnêtement de ses buts et ses attentes
- Intégrité : ne pas dévoiler info qui peuvent nuire aux autres
- Réceptivité : pas sur la défensive
- Réciprocité : compréhension commune des attentes, des espoirs, des besoins et partagée par tous
ÉTAPES DE L’ÉVALUATION DE PROGRAMMES
Complétez le schéma.
