Cours 5.1 La performance et retombé des ESC - Les types d'évaluation

Question 1

Quelles sont les deux finalités de l’évaluation ?

Answer 1

1) Formative visant à améliorer et réorienter

2) Sommative : visant à statuer sur la poursuite, l’arret, la reproduction ou l’extension de l’initiative

Question 2

Quels sont les différents niveau de formalisation et cout associés à des pratiques de mesure d’impact social ?

Answer 2

1) validation du ressenti
2) Outil maison
3) démarche basée sur des méthodes reconnues
4) Démarche scientifique

(De moins à plus couteux, et de moins formel à plus formel)

Question 3

Raison pour lesquelles vous vous intéressez à la mesure d’impact social (perspective)

Answer 3

1) Perspective de clarification et amélioration
- juger de la pertinence d’un intervention
- améliorer la qualité de votre intervention
- vous orienter dans la planification
- clarifier votre action

2) Perspective redition de compte
- produire un rapport annuel
- rendre des comptes à vos bailleurs de fonds
- montrer que votre organisation est socialement et environnementalement responsable

3) Perspective de démonstration de l’impact
- faire reconnaitre vore action auprès de bailleurs de fond et autres parties prenantes
- établir une crédibilité
- attribuer une valeur monétaire à votre intervention
- obtenir du financement en fonction de vos résultats et de votre impact sociale

4) perspective de recherche
- faire avance les connaissances
- établir quelles approches fonctionnent le mieux

Question 4

Les composantes de l’activité des entreprise sociales et collectives

Answer 4

Contexte - activité - ressources - service et produit - objetifs - effets - besoin et aspiration

Question 5

Questionnement en 12 étape pour faire de l’évaluation

Answer 5

Question sur les intentions

1. raison d’être
2. les cibles
3. les objetifs
4. la nature du programme

Question sur le programme

5. les intrants
6. les activités de production
7. Les extrants

Question sur les effets
8. Les impacts

Question sur l’atteinte des objetifs et le rendement

9. l’atteinte des objetifs
10. le rendement absolu
11. le rendement relatif
12. la valeur du programme

Question 6

Situation problématique
Objetifs
intrant
activité
extrant
effets directs
effets ultimes
facteur externe

Answer 6

Efficacité : objetifs au résultat

efficience : intrant au résultat

résultat : extrant + effets directs + effets ultimes

Mise en oeuvre : intrant + activté + extrant

effet : effets direct + effets ultime

impact = effets ultime + facteur externe

Question 7

Méthode en fonction des étapes de votre action

Answer 7

Clarification et amélioration

Reddition de compte

Démonstration de l’impact

Recherche
- Analyse du cycle de vie (mesure de l’activité jusqu’à l’impact)

Question 8

Évaluation normative

Answer 8

Jugement
structure (quantité, qualité, organisation des ressource) - processus (service produit) - résultat (SPR)

Comparaison par rapport à critères et à des normes, mesure des écarts.

Validité repose sur la qualité de la mesure et sur la force causale des liens postulé entre S-P-R

EX: Écarts entre l’objetifs prévu et atteints, cout prévu et cours réel, population ciblée et deservie, services et normes de service.

Question 9

Recherche Évaluative - Analyse stratégique

Answer 9

Déterminer la pertinence ou raison d’être d’une intervention

adéquation stratégique : justesse du lien entre objetifs de l’intervention et nature du problème

voire le choix du problème à résoudre

ordre de priorité des problémes, (technique de priorisation) importance relative ou priorité des causes (modèle causal du problème)

Question 10

Recherche évaluative : Analyse Logique

Answer 10

Évaluer le bien-fondé d’une intervention (validité théorique)

adéquation entre les différents objetifs, et entre les objetifs et les moyen pour les atteindre (validité opérationnelle)

valider la capacité a généraliser le modèle

Question 11

Recherche évaluative : Analyse de la production

Answer 11

Productivité : relation entre les ressources utilisées et le volume de service produits

Qualité : relation entre les moyens et la qualité des service produit : meme ressource, plus de ou de meilleurs service produit ? Meme quantité- qualité de service produit moins de ressource ?

Output intermédiaire - outputs finaux

Méthodes économique, comptable

Question 12

Recherche Évaluative : Analyse des effets

Answer 12

Mesurer l’efficacité de l’intervention

• quels sont les effets observables ?
• Quels sont les effets attribuables ?
• Effet voulu vs effet non attendu ?
• Effet court therme vs globaux ou long terme (impact) ?

Approche expérimentales et quasi-expérimentales

Limites : ne touche pas les processus de production des effets (boite noire de l’intervention)

Question 13

Recherche évaluative : Analyse de l’efficience

Answer 13

Relation entre les ressources et les effets observé

Cout (inputs) et conséquence (outcomes) des interventions

• meilleurs effets, même couts ?
• Meme effet, cout moindre ?

Méthode économique

• analyse cout-bénéfice (monétarisation)
• analyse cout-efficacité (cout monétaire sur valeur réelle des conséquences)
• analyse cout-utilité (idem)

Question 14

Recherche évaluative : Analyse de l’implantation

Answer 14

Relation entre l’intervention, ses composantes et le contextes, et la production des effets

Expliquer les raisons des écarts observé

• i-a : expliquer la transformation de l’intervention dans le temps
• i-b : influence du milieu d’implantation ?
• ii : influence de la variation de l’implantation sur effets ?
• iii : influence de l’intéraction entre le milieu d’implantation et l’intervention sur les effets observé ?

Méthode des études de cas

Question 15

Analyse stratégique

Analyse des effets

Analyse du rendement

Analyse de l’intervention

Analyse de la productivité

Analyse de l’implantation

Answer 15

Analyse stratégique : effet sur sitation problématique

Analyse des effets : Service sur les effets

Analyse du rendement : resource sur les effets

Analyse de l’intervention : objetifs sur les services

Analyse de la productivité : service vs ressource

Analyse de l’implantation : intervention sur le contexte

Question 16

Recherche, évaluation et prise de décision

Answer 16

Recherche non évaluative

Recherche évaluative

Évaluation normative

Prise de décision

Question 17

Problème vs objectifs

Objectifs vs ressources

Ressources

Ressource vs service

Service

Service vs effets

Answer 17

Problème vs objectifs : Analyse stratégique (Recherche évaluative)

Objectifs vs ressources : Analyse logique (Recherche évaluative)

Ressources : Appréciation de la structure (normative)

Ressource vs service : analyse de la productivité (Recherche évaluative)

Service : Appréciation des processus (normative)

Service vs effets : analyse des effets (Recherche évaluative)

effets vs service : analyse d’implantation (Recherche évaluative)

Effets : Appréciation des résultats (normative)

Analyse de rendement (Recherche évaluative)

Question 18

Le modèle Logique

Answer 18

Le modèle logique :

• La feuille de route du programme
• il décrit les résultats escomptés
• de même que les activités qui seront entreprises
• et les extrants et les résultats attentdu

Éléments de la chaine de résultats

• les intrants, les activité,s les extrant et les resultats du programme (y compris les trois types de résultats - immédiat, intermédiaire et ultime)
• entre lesquels il existe un lien logique

Question 19

Le modèle logique au TIESS

Answer 19

1) intrant (input)
2) activité)
3) extrant (output)
4) effets directs
5) effets ultimes
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière)

Question 20

Modèle logique - exemple d’un programme de réduction de la vitesse

Answer 20

1) intrant (input) : argent et ressource humaine
2) activité : conception d’une campagne de sensibilisation
3) extrant (output) : publicité à la télévison et sur la route
4) effets directs : réduction de la vitesse automobile
5) effets ultimes : réduction des accidents mortel sur la route
6) sommes des changements observés (facteurs externes, ce qui serait arrivé de toute manière) : taux de mortalité sur la route + autre facteur ayant diminuer la mortalité sur la route

Question 21

Types d’évaluation :

Answer 21

Pertinence : raison d’être vs nature de l’activité

Cohérence : objetifs - output - activité

Efficience : input - output

Efficacité : objetifs de l’activité - effets directs

Impact : objetifs de l’activité - effets directs + indirect

Question 22

Vocabulaire : composante du modèle logique

Intrant :

Answer 22

Intrant :
ressource financière et non financière utilisées pour exécuter des activités, produire des extrants et atteindre des résultats

Question 23

Vocabulaire : composante du modèle logique

Activité

Answer 23

Activité :
Mesure interne mises en oeuvre pour produire un ou plusieurs extrant
- demontrent le comment du programme
- aussi processus, stratégie, ou mesure de suivis

Question 24

Vocabulaire composante du modèle logique :

Extrant

Answer 24

Extrant :
Produit ou service découlant directement des activités, d’une politiques, d’un programme ou d’une initiatives
- dans le cas d’un politique, ils relèvent du contrôle du ministère
- ce sont habituellement des éléments tangible qui peuvent être comptés
- ils démontrent le quoi du programme
- on parle aussi dans le même contexte de produits livrables ou d’unité de service

Question 25

Vocabulaire composante du modèle logique

Résultats

Answer 25

Résultat

• changement ou les différences résultant des extrants du programme
• démontrent le pourquoi du programme
• résultats de haut niveau (les résultats ultimes) ne relèvent pas toujours du contrôle d’un programme unique, ils se situent plutot dans la sphere d’influence du ministère
• on parle aussi dans le même contexte d’impacts ou de retombée

Question 26

Vocabulaire composante du modèle logique : Résultat immédiats

Answer 26

Résustats immédiat

• résultat directement attribuable aux extrants
• en terme d’échéancier, il s’agira de résultats à court terme

Question 27

Vocabulaire composante du modèle logique : résulats intermédiaire

Answer 27

Résultat intermédiaire

• Résultats qui devraient logiquement suivre, une fois qu’au moins un résultats immédiat à été atteint.
• souvent ;es résultats intermédiaires decrivent des changements de comportements généré par des améliorations dans les compétences, les connaissances, la sensibilisation ou l’accès dans la population cible
• la changement peut se manifester au niveau des particuliers, du groupe, d’une orgaisation ou de la collectivité

Question 28

Vocabulaire composante du modèle logique

Answer 28

Résultats ultimes

• résultats se situant au plus ahut niveau parmi les résultats pouvant raisonnablement etre attribués a une politique, a un programme, ou a un initiative selon un lien de causalité
• le résultat ultime est la conséquence d’un ou de plusieurs résultats intermédiaire qui ont été atteints
• un résultat ultime contribue souvent à la réalisation des résultat stratégique de haut niveau du ministère

Question 29

Théorie

ressource

activité

résultats de production

effets

impact

Answer 29

Théorie : hypothèse

ressource : certaines ressources sont nécéssaire pour faire fonctionner le programme

activité : si vous avez accès à ces ressources, alors vous pourrez realiser les activités prévus

résultats de production : si vous réaliser les activités prévus avec l’intensité demandé, alors vous pourrez vraisemblablement fournir les produits et services que vous aviez prévu fournir

effets : si les activités que vous aviez planifier se réalisent, alors les usager en tireront certains avantages

impact : si ces avantages sont obtenus par les participants, alors on peut s’attendre à voir certains changements à long terme de produire (dans la population, sur le système, de santé, etc.)

Question 30

Modèle avec accent sur le théorique :

Description détaille des raisons qui justifient la pertinence d’un programme ou d’une activité

Answer 30

• quel objetifs doivent être atteint ?
• comment le programme doit permettre de les atteindre
• principe sur lesquels repose le programme (analyse des si, comment et pourquoi)
• étapes qui mènent aux résultats attendus

Question 31

Modèle avec accent sur les résultats

Les premières phases de la planification du programme ou de l’Activité

Answer 31

• lien entre ressource, activité et résultat (effet et impact)
• sur une échelle temporelle (court, moyen et long terme)
• d’un ensemble d’activité donnée
• avec un liens logiques qui unissent les composantes du programme

Question 32

Modèle avec accent sur les résultats

Lien entre ressource, activité, résultats mais avec plus de détails

Answer 32

-plan de mise en oeuvre
-détail de toutes les activités nécéssaires
- montre ce qui sera effectivement fait si le programme est mis en oeuvre, tâches projeter, mesure de progrès,
- évaluation de chaque effet en lien avec chacune des activité
bon outil de suivi de l’implantation

Question 33

Exemple : Modèle logique pour une organisation que l’on connaît

Answer 33

• Activité 1 : augmenter l’estime de soi pour les 10-12 ans
• Extrant : un programme de 10 semaines pour les 10-12 ans
• Résultat immédiat : augmentation de l’estime de soi dans le groupe du programme
• Résultat intermédiaire : plus grand nombre de prise de risque sociale à l’école
• Résultat finaux : meilleurs intégration à l’école secondaire

Question 34

Différence entre évaluation des processus et évaluation d’impacts ?

Answer 34

Évaluation des processus
- Valeur en soi
- Éthique de l’és (finalité de service, démocratie économique, lucrativité limités. Autonomie de gestion)
- Hypothèse : le processus conduit a la production d’effet
Évaluation d’impact
- Effets (causés par l’action) sur : les bénéficiaires directs, les bénéficiaires indirects, la société.

Question 35

Qu’est-ce qu’un indicateur ?

Answer 35

Outils de mesure. La plupart des indicateurs sont des indicateurs de réalisation, et non d’effet.

Question 36

Quels sont les défis, les risques associés à l’évaluation ?

Answer 36

• Risque de standardisation
• Effets sélection de l’observable, du quantifiable
• Effet boussole (dirige l’organisation)
  Défi épistémologique, organisationnels, méthodologique et politique,
  épistémologique
• Entre difficulté, limite, impossibilité de quantifier et une nécessaire objectivation des effets
• Entre la quasi impossibilité d’isoler le lien causal et la nécessaire question de la contribution de l’action
  organisationnels
• Évaluation du processus et des effets
• Entre la mesure des effets et les effets de la mesure
• Des ressources pour l’Action ou pour l’évaluation
  méthodologique
• Entre la méthode miracle et le foisonnement des méthodes toutes dotées de biais
  politique
• Entre la standardisation et le particularisme
• Entre outil de contrôle et opportunité d’entreprenariat institutionnel.

Question 37

En quoi l’évaluation consiste-t-elle une opportunité ?

Answer 37

• Renforcer la légitimité
• Culture d’évaluation (amélioration des pratiques)
• Mobiliser les parties prenantes

Question 38

Démarche d’évaluation : pour qui ? pour quoi ? évaluer le processus ou appréhender les effets ou l’impact, avec quel moyen ? avec quelles parties prenantes ?

Answer 38

1. Identifier les effets pertinents en fonction de la mission sociale
   Ex : effets globale d’une maison d’accueil
   Effet économique, effet d’acquisition de compétence, effets santé, effets psychologique, effets au réseaux sociaux.
2. Identifier ou construire des indicateurs.
   Ex : effets psychologie : auto efficacité perçus, estime de soi, etc.
   Définir la méthodologie
    

Question 39

1. L’évaluation n’est jamais neutre. Vrai ou faux? Justifiez votre réponse.

Answer 39

Vrais, jamais neutre, teinté d’un paradigme, nombreux biais, jugement de valeur, plusieurs types d’évaluations, plusieurs types d’externalité et de mesure d’impacte, différent niveau de formalisation de l’évaluation (simple et complexe). Le contexte de l’évaluation. Pour démontré ma neutralité, il faut exposé sur quels critères l’évaulaiton sera fait, sous quels paradigme. La neutralité n’est pas la rigeur même si les deux concepts sont proche, mais ils ne soppose pas.

Question 40

1. Qu’est-ce qu’une relation causale? Comment peut-on l’établir?

Answer 40

Démontrer la cause qui est relié à l’effet. (revoir lecture TIEFF) Pour avoir une causa a effet, il ne doit pas y avoir un troisième facteur qui peut intervenir. On doit bien isolé les deux facteurs. On peux l’établir grace au contre-factuel, ex: si la maison des jeunes n’existait pas, les jeunes serait dans la rue le soir.
Quels sont les facteurs qui peuvent faire en sorte que la mesure des effets (ou d’impacts) soit moins efficace que souhaitée?
Une causalité exacte peut être établis seulement en laboratoire. Dans un cas en relation soxciales, c’est plus difficile à établis, puisque la réalité est multifactoriel et on ne peut pas isoler un seul facteur.
L’hétéronéité des sujets ne permet pas nécessairement de démontrer une relation causale
Les modes de pratiques des professionnel ex:
Les éléments de contexte (l’envirronnemnt), si celui évolue (ex; le marché du travail qui change), la mesure peu être moins exacte.
Si une troisième variable explique mieux l’effet, la relation causale du départ est moins valide.
Une corrélation n’est pas une causalité. Il faut se méfier des coorélations.

Question 41

1. Qu’est-ce qu’un modèle logique? À quoi sert-il?

Answer 41

Modèle d’évaluation d’impact basé sur la théorie du changement. Si je fait ça, ceci va arriver. On commence avec les ressources, quand on utilise les ressources, il y a un premier résultat, qui est possible parce que… cest une déduction logique…Si alors, pourquoi. L’hypothèse est relié à la théorie du changement, il faut exposer notre paradigme. La théorie est la justification de l’hypothèse. Limite du modèle logique : on peu avoir des effets non prévus, positif ou négatif. Les effets non prévu ne pourront pas être utilisé dans notre financement. Le modèle logique ne permet pas vraiment l’innovation et de justifier des effets non prévus.

Question 42

Qu’est-ce que la mesure d’impact social?

Answer 42

La mesure d’impact social désigne, de manière générale, l’activité qui consiste à évaluer les effets découlant d’une intervention.

Le mot mesure signifie, au sens propre « déterminer, évaluer d’après un étalon, à l’aide d’un instrument ». On peut aussi l’interpréter, au sens figuré, comme un synonyme d’évaluation.
Le mot impact est un anglicisme de plus en plus en usage dans la langue française et employé, dans ce contexte, comme synonyme de conséquence, effet ou retombée.
Le mot social renvoie généralement à la prise en compte d’aspects autres que les considérations purement économiques.
Dans la pratique, la mesure d’impact social désigne un ensemble de pratiques visant à décrire et à démontrer les changements causés par une activité. Les techniques permettant d’atteindre cet objectif peuvent impliquer un niveau de formalisation ou de « rigueur scientifique » variable, allant de brèves études basées sur les perceptions de quelques participants à des études longitudinales avec des groupes contrôles sélectionnés aléatoirement (essai randomisé contrôlé). Bien que la corrélation ne soit pas parfaite, un niveau de formalisation plus élevé entraînera généralement des coûts également plus élevés.

Question 43

L’évaluation des effets désigne

Answer 43

L’évaluation des effets désigne une démarche systématique permettant d’estimer les conséquences attribuables à une intervention.

On peut situer l’évaluation des effets dans un ensemble plus vaste d’évaluations portant sur divers objets liés à l’intervention d’une organisation. Cette intervention est généralement illustrée grâce au modèle logique.

Question 44

Pourquoi mesurer l’impact social ?

Answer 44

Plusieurs raisons peuvent pousser une organisation à s’engager dans une démarche d’évaluation. Pensons à : juger de la pertinence d’une intervention, aider à la planification, améliorer une intervention, rendre des comptes, renforcer le pouvoir d’agir des participants, valoriser la contribution de l’action des employés et bénévoles, contribuer à l’avancement des connaissances, établir une crédibilité, accroître son niveau de reconnaissance ou encore essayer d’accéder à des financements. Dans certains cas, la meilleure option sera effectivement d’évaluer l’impact social, mais dans d’autres situations il vaudra peut-être mieux évaluer les besoins, les activités, les résultats à court terme, voire ne pas évaluer du tout et concentrer ses efforts sur la planification, la communication, le marketing, etc.

Question 45

Comment mesurer son impact social?

Answer 45

Plusieurs méthodes, guides et outils proposent une démarche permettant d’évaluer les effets d’une entreprise d’économie sociale. Ces démarches ont plusieurs points communs, qui peuvent être résumés en quelques étapes.

1.Définir les objectifs de l’évaluation. Avant de se lancer dans une démarche d’évaluation, il faut d’abord se demander pourquoi une telle démarche est nécessaire, à qui elle s’adresse et à quelles questions vous souhaitez répondre. Tout le reste de la démarche dépendra des réponses à ces questions. Il s’agit donc potentiellement de l’étape la plus importante, celle à laquelle vous devriez consacrer le plus de temps, d’autant plus que ce travail ne peut pas être délégué à des experts externes. Il est important de noter que les organisations évaluées n’ont pas toujours le contrôle à cette étape puisque certaines démarches sont imposées de l’externe.
Pour en savoir plus sur cette étape, consultez Pourquoi évaluer? Pour qui? Quelle approche?
2. Choisir la méthode et l’approche. Par approche, nous entendons notamment la manière dont vous aborderez l’évaluation et les choix que vous ferez en matière d’implication d’intervenants externes. Le choix de cette approche devrait découler des réponses à l’étape 1. Il vous faudra évidemment tenir compte des ressources dont vous disposez ainsi que du temps que vous êtes prêts à investir, et être prêt à réviser vos objectifs s’il n’y a pas de concordance entre ceux-ci et vos moyens. Dans la majorité des cas, vous ne choisirez pas une méthode toute prête, mais bâtirez plutôt une démarche adaptée à votre contexte en vous inspirant de ce qui existe.
Pour en savoir plus sur cette étape, consultez Les méthodes liées à la mesure d’impact social.
La formulation exacte des étapes qui suivent dépend des objectifs d’évaluation, de l’approche, de la méthode et des ressources que vous aurez choisi d’allouer. Ces étapes sont présentées uniquement dans le but de vous donner une idée générale de ce qu’implique une évaluation des effets.

3. Identifier et impliquer les parties prenantes de l’activité à évaluer. Une fois que vous avez convenu qu’une évaluation des effets est effectivement le type d’évaluation dont vous avez besoin, vous pouvez commencer le travail en cartographiant les groupes (membres, utilisateurs, bailleurs de fonds, partenaires, employés, etc.) susceptibles d’être concernés par votre activité, c’est-à-dire qu’ils sont directement affectés ou qu’ils ont le pouvoir de l’influencer.
4. Identifier les effets recherchés et les indicateurs. Pour mesurer les effets de votre activité, vous devez idéalement élaborer une « théorie du changement », c’est-à-dire un portrait des buts ultimes (votre mission), objectifs intermédiaires et moyens qui vous permettront de cheminer vers ces buts. Nous qualifions ces divers objectifs d’effets recherchés et leur nature varie d’une organisation à l’autre. La sélection d’indicateurs pertinents se base sur les effets recherchés.
   Pour en savoir plus sur cette étape, consultez Les indicateurs.
   En réalisant les étapes 2, 3 et 4, vous êtes en train de rédiger un plan d’évaluation. Un modèle de plan d’évaluation, tiré d’une publication d’Imagine Canada (2006), peut être utilisé en cliquant ici.
5. Recueillir et analyser les données. Cette étape consiste à documenter les effets en fonction des groupes et objectifs ciblés par votre action, puis à analyser les données ainsi recueillies. La méthodologie exacte, le niveau de formalisation et les détails de cette étape varient grandement en fonction de la méthode que vous privilégierez.
   Pour en savoir plus sur cette étape, consultez la section « guides » de notre sélection des ressources pertinentes sur Passerelles.
6. Utiliser l’information et réévaluer les besoins. Le fruit de l’évaluation que vous aurez ainsi menée doit servir certaines finalités (p. ex. améliorer vos activités, faire reconnaitre votre action, prendre des décisions, etc.). Des évaluations subséquentes et des mises à jour pourront être nécessaires ou non en fonction de vos besoins.

Question 46

Les introductions à l’évaluation commencent souvent en opposant les finalités sommative et formative.

Answer 46

L’évaluation sommative est une évaluation dont l’objectif est de porter un jugement sur la pertinence d’une intervention, et de la poursuivre ou de l’interrompre. Elle est généralement réalisée au terme de l’intervention, par des observateurs qui n’ont pas pris part à l’action, ce qui lui procure une certaine neutralité.
L’évaluation est dite formative si l’objectif est de brosser, pendant la mise en œuvre d’une intervention, un portrait du fonctionnement des activités dans une perspective d’amélioration. Elle a alors tendance à être réalisée en étroite collaboration avec les personnes impliquées dans l’intervention et sa validité sera davantage tournée vers l’interne.
Il existe cependant de nombreuses autres finalités qui s’inscrivent plus ou moins dans cet axe sommatif-formatif. Ainsi, l’évaluation peut aussi être un moyen de :

Rendre des comptes ;
Renforcer le pouvoir d’agir des participants ou valoriser la contribution des employés et bénévoles ;
Contribuer à l’avancement des connaissances ;
Enfin, particulièrement dans le cas de certaines démarches de mesure d’impact social, faire reconnaitre les résultats de son action, voire constituer un plaidoyer pour légitimer celle-ci et obtenir du financement.

Question 47

L’évaluation peut porter sur différents aspects

Answer 47

L’évaluation peut porter sur différents aspects : les besoins, la pertinence, les processus, l’implantation, l’efficacité, l’efficience, les résultats, les effets, et enfin l’impact.

Question 48

Organisation des méthodes en fonction des objets auxquelles elles s’intéressent

Answer 48

Perspective de clarification et d’amélioration : les méthodes de clarification et d’amélioration visent à comprendre, à expliquer puis à améliorer l’intervention; elles couvrent l’ensemble des objets du modèle logique. La preuve d’un impact est cependant secondaire comparativement à la clarification des besoins, des objectifs et des moyens employés pour y parvenir. Exemple : la théorie du changement.

Perspective de reddition de comptes : les méthodes liées à la reddition de comptes concernent d’abord les activités (processus) et les extrants. Ils visent à montrer à un public externe que l’organisation prend en considération des indicateurs extrafinanciers dans sa gestion. Exemple : la Global Reporting Initiative.

Perspective de démonstration de l’impact : Les stratégies de démonstration de l’impact visent à convaincre un public externe de la valeur d’une action. Pour y parvenir, on peut mettre en valeur les retombées économiques (MISQ), attribuer une valeur monétaire à des retombées qui ne sont traditionnellement pas transigées sur le marché (ACA et SROI) ou réaffirmer la valeur de ces retombées non marchandes dans une démarche politique plus large (US). L’objet principal, du point de vue du modèle logique, est l’effet produit. Exemple : le Social return on investment.

Perspective de recherche : seules les méthodes associées à la perspective recherche tentent véritablement de mesurer l’impact au sens de prouver qu’une intervention a généré certains effets. En ce sens, leur principal objet est l’impact. Idéal type : les essais randomisés contrôlés.

Question 49

un indicateur est

Answer 49

e, un indicateur est une mesure qui sert à évaluer ou à apprécier les résultats, l’utilisation des ressources, l’état d’avancement des travaux, le contexte, etc. Il permet d’apprécier un phénomène qualitativement ou quantitativement à l’aide de données ou de renseignements utilisés comme points de repère.

Les indicateurs servent à mesurer un critère et peuvent être organisés par dimensions, comme illustré dans l’exemple suivant. De plus, comme dans l’exemple, ces indicateurs peuvent être qualitatifs ou quantitatifs et s’appliquer à des objets différents (contexte, extrants, effets, etc.).

Question 50

Deux grandes stratégies

Answer 50

La première approche est motivée par une volonté de se démarquer ou de rendre compte à un public externe. C’est une stratégie de distinction.
La seconde approche vise d’abord à mieux comprendre l’action et à améliorer la gestion. Elle s’adresse d’abord à un public interne. C’est une stratégie de pilotage de l’action.

Question 51

Les impacts négatifs potentiels de la mesure d’impact

Answer 51

Réactivité
Résumé : si on leur impose la mesure d’impact, certaines entreprises vont réagir de manière attendue ou non. Elles pourraient, par exemple, avoir recours à des stratégies ou des comportements qui visent à les faire paraître performantes par rapport aux indicateurs sur lesquels elles sont évaluées – plutôt qu’en fonction des effets réellement recherchés – ou carrément adopter des pratiques de manière symbolique, sans véritablement y croire.

Substitution des objectifs poursuivis
L’un des risques les plus connus de l’introduction d’une évaluation de la performance basée sur des indicateurs imposés de l’externe est ce que la littérature appelle le goal displacement , c’est-à-dire la substitution de buts initialement visés par de nouveaux objectifs directement liés aux indicateurs mis de l’avant.

Business washing
Morley (2017), dans un article sur « l’impact de l’impact », a documenté des cas d’organisations (entreprises sociales ou organismes de bienfaisance) au Royaume-Uni qui ont intégré le langage et la logique de la mesure d’impact à leurs activités et à leurs communications. Si, dans certains cas, cette intégration était jugée utile et satisfaisante, dans d’autres, on ne parle pas vraiment d’intégration, mais plutôt d’une adoption symbolique de certains codes pour accroître sa légitimité auprès de bailleurs de fonds et autres parties externes. On qualifie cette situation où un organisme à but non lucratif souhaite paraître plus professionnel et comparable à une entreprise classique, sans forcément l’être, de business washing.

Comportements indésirables causés par des mesures de performance trop étroites

Vision – les organisations, devant des cibles différentes, choisissent celles qui sont les plus faciles à mesurer ou les plus avantageuses et ignorent les autres.
Sous-optimisation – les organisations choisissent d’agir de manière à bien servir leur propre fonctionnement, mais nuisent aux performances de l’ensemble du système.
Myopie – les organisations concentrent leurs efforts sur des objectifs à court terme au détriment des objectifs à plus long terme.
Fixation sur les mesures facilement atteignables – lorsque les effets sont difficiles à mesurer, il existe une tendance naturelle à utiliser des mesures basées sur des extrants plus facilement mesurables, qui remplacent les effets souhaités ou définis dans les objectifs de l’organisation.
Déformations – les organisations font de faux rapports ou déforment les mesures de performance pour faire bonne impression.
Interprétations erronées – les organisations utilisent ou analysent des informations d’une manière trompeuse et/ou difficile à interpréter.
Manipulations – les organisations « sous-performent » délibérément afin d’obtenir une cible plus facile à atteindre lors de leurs activités.
Ossification – les organisations ne prennent pas la peine de réviser ou de supprimer des mesures périmées ou qui n’ont plus de raison d’être.

Concurrence et conformisme
Résumé : en mettant des entreprises d’économie sociale en concurrence sur une base qui serait inadaptée, un bailleur de fonds qui souhaite financer uniquement les entreprises à « impact social » risquerait de décourager le développement de certaines innovations et de récompenser les entreprises qui sont les plus aptes à générer et à démontrer certains effets préétablis, au détriment d’autres résultats tout aussi désirables.

L’évaluation comme mode de gouvernance
Résumé : l’évaluation des effets des entreprises d’économie sociale est une question stratégique qui n’est jamais neutre. Les lignes qui précèdent permettent de comprendre cette prémisse du projet du TIESS sur la mesure d’impact. Ainsi, les critiques évoquées dans les sections précédentes ne remettent pas en cause l’activité d’évaluation elle-même, elles mettent en garde contre l’utilisation qui peut être faite de cette activité et appelle les entreprises et les réseaux d’économie sociale à développer un point de vue critique par rapport aux enjeux posés. Ces réseaux et entreprises ne doivent donc pas s’éloigner de l’évaluation, mais plutôt se l’approprier, la saisir comme une occasion de réfléchir, de repenser ou de réaffirmer leurs objectifs, leurs priorités, leur identité et leur projet politique.

Question 52

Évaluer un effet intangible

Pour évaluer un effet réputé intangible, il importe d’abord de bien décortiquer la nature du problème.

Answer 52

Un premier défi est de cerner l’effet que l’on souhaite évaluer ou mesurer l’aspect de la réalité que l’on cherche à décrire.
Un second défi consiste à trouver un indicateur ou proxy qui reflétera bien cet aspect.
Un troisième défi consiste à mesurer le changement ou la différence vis-à-vis de cet aspect.
Enfin, un dernier défi consiste à établir un lien de causalité, c’est-à-dire à démontrer qu’un changement est dû à une activité en particulier (dans une certaine proportion).

Question 53

La notion de causalité désigne un « lien qui unit une cause à un effet » (Hutchinson, 2018). Pour (McDavid et Hawthorn, 2006), trois conditions doivent être respectées pour établir une relation de causalité :

Answer 53

« [l’intervention] précède le résultat observé,
la présence ou l’absence du résultat observé est corrélée avec celle de [l’intervention],
il n’y a pas d’autres facteurs explicatifs rivaux plausibles pour expliquer la corrélation entre [l’intervention] et le résultat. [1] » (p. 25).