Cours 5.2 Performance et retombées de ESC - L'évaluation des effets

Question 1

Analyse d’effet = recherche évaluative

Answer 1

Différence avec l’appréciation normative :
- 1. S’intéresse à l’ensemble des effets possible vs seulement effets recherchés

-2. Porte sur la relation de causalité entre services et effets (la teste) vs seulement comparer les effets observés aux résultats

Question 2

Types d’effets

Answer 2

Toute intervention produit des effets :
- postif, négatif (pervers), null

Type d’effet : (les trois premiers sont du modèle logique théorique)

• voulu
• non voulu
• prévisible
• imprévisible : expérece des acteurs, et participant

Robustesse des hypothèses sous-jacentes
- choix des effets à analyser dépent de leur degré de pertinence, de la démonstration de leur impact causal

Moment de la mesure :

• effet court terme (durable ou non?)
• effet long terme (les mêmes qu’effets court terme?)
• effet à très long terme (attribuable ou non à l’intervention ?)

Question 3

Type d’efficacité

Answer 3

Efficacité théorique

Efficacité d’essaie

Efficacité d’utilisation

Efficacité populationnelle

Question 4

Efficacité théorique

Answer 4

Contexte : laboratoire

contrôle de tous paramètre autres que l’intervention

Question 5

Efficacité d’essai

Answer 5

Contexte : expérimentation

groupe expérimental et groupe contrôle (selection aléatoire)

contrôle conditions d’administration de l’intervention

Question 6

Efficacité d’utilisation

Answer 6

Contexte : pratique normale

contrôle : pas de contrôle des conditions d’administration ou des sujets

Question 7

Efficacité populationnelle

Answer 7

Contexte : mesure à l’échelle de toute la population

efficacité des effets dans la population ciblé vs utilisatrices seulement

Question 8

Contexte de mesure des effets a une influence déterminante sur l’efficacité de la mesure

Answer 8

• plus les conditions sont contrôles, plus les sujets sont sélectionnés sur la base de critères homogènes plus l’efficacité sera élevé

l’efficacité diminue quand on introduit de la variabilité dans les caractéristique individuelle des sujets, les modes de pratiques des professionnels, l’accessibilité de l’intervention

Question 9

La relation causale

Answer 9

Établir les inférences de causalité
Démontrer (vérifier si)
- cause reliée à l’effet présumé
- modification apportées à la cause précèdent les modifications qui surviennent dans les effets
- existence d’une seule explication de la reation de cause à effet observé

Question 10

3 conditions classique du rapport de causalité

Answer 10

1. la cause doit précéder l’effet (dimension temporelle)
2. la deux variable doivent être reliées empiriquement (présence de variations concomitantes)
3. la relation entre les deux variables ne peut pas être expliquées par une troisième varibale

Question 11

Déterminisme

Answer 11

Déterminisme absolu

• condition de nécéssité : X doit se produire pour qui y se produise
• condition de suffisance : si x se produit, alors y se produit

Déterminisme non absolu

• x est nécéssaire, mais non suffisant pour la production de y
• x n’est pas nécéssaire, mais suffiant pour la production de y

Rleation concomitante

• x n’est ni nécessaire ni suffisant pour que y se produise
• mais si x est présent, il est plus probable que y se produise
• ou si x est absent, il est plus probable que y soit absent

Question 12

Cause

Answer 12

Cause non déterministes:

• inus condition: une partie insuffisante mais non redondante d’une condition suffiante mais non nécéssaire (Mackie, 1974)
• Exemple d’un feu de forêt
  
  • insuffisante : l’allumettre a besoin de la présence d’autres conditions
  • non redondante : l’allumette ajoute un élément différent dans les conditions de la constellations (feuilles sèches et oxygène)
  • non nécéssaire : il existe d’autres ensemble de condition susceptible de déclencher un feux (briquet)

Question 13

Corrélation ne veux pas dire causalité

Answer 13

Ignore quelle variable viens en premier pour l’effet présumé

ignore s’il y a des explications alternatives pour l’effet présumé

Question 14

Majorité des causes son INUS CONDITIONS

Answer 14

Nécéssité de la présence de plusieurs facteur spour que l’effet se produise, toutefois, on connait rarement l’ensemble des facteurs et encore moins leur liens

Ceci explique qu’une relation causale apparait sous certaines condition mais pas de manière universelle dans le temps, l’espace,les populations, etc.

• a différent degrés les relations causales sont dépendantes du contexte
• la généralisation des effets est toujours une questions importante

Question 15

Covariation entre deux facteurs

Answer 15

Pour s’assurer qu’il y a un covariation et que celle-ci n’est pas due a un 3e facteur

Il faudrait pouvoir comparer ce qui se produirait si une cause était présente avec ce qui se produirait si un cause était absente (évidence contrefactuelle) ceteris paribus

Question 16

Type de causalité

Nécéssaire - suffisant

nécéssaire - insuffisant

Pas nécéssaire - suffisant

Pas nécéssaire - insuffisant

Answer 16

Nécéssaire - suffisant : les personnes qui ont la mutation génétique associes a la maladie de tay développent toute cette maladie, mais seules les personne qui ont cette mutation génétique peuvent développer cette maladie.

nécéssaire - insuffisant : un personne doit nécéssairement etre infecté par le VIH pour contracter le SIDA, mais toute les personne infectées par le VIH ne contracte par le SIDE

Pas nécéssaire - suffisant : La décapitation est suffisante pour cause la mort, mais les gens peuvent mourir de nombreuse facon

Pas nécéssaire - insuffisant : fumer accrois les risque de développer un cancer du poumon, mais cette habitude n’est ni nécéssaire ni suffisante pour expliquer le développement d’un cancer du poumon. il s’agit d’une cause contributive

Question 17

Validité interne

Answer 17

Variable indépendante - variable dépendante

Certitude que les variations observés dans les variables dépendante, lors de l’évaluation sont vraiment dues à l’intervention

ex: de biais : histoire, maturation, selection, interaction, utiliation des instruments de mesure

Question 18

Validité externe

Answer 18

Variable indépendant - autres contexte - variable dépendante

capacité de généraliser à d’autre situation (milieu, temps, population) la relation démontrée entre une intervention et ses effets

ex de biais: réacitivté des sujets, contrôle imparfait, biais de sélection des sujets

Question 19

Comparaison avant-après O1XO2

Answer 19

Biais possible:

• biais d’histoire : événement survenus entre les deux observation
• biais de maturation : changement naturel chez les sujets
• biais d’accoutumance : habituation des sujets
• biais de msure : changement dans processus, instrument, observateur
• biais de régression vers la moyenne : apres sujets extrème, les observation se raproche ensuite de la moyenne

Question 20

Comparaison entre 2 groupe

Answer 20

Avantage :
élimine les biais de l’histoire,d’accoutumance, de mesure ou de régression vers la moyenne

Limite :
différence pas nécéssairement attribuable à l’intervention si sujets différents avant l’intervention (biais de selection)

Question 21

Post-test uniquement X02

Answer 21

Biais val interne : histoire, maturation, selection

Biais val externe : relation causale ambigus, attentes de l’évaluateur, interaction composante de l’intervention

Question 22

Ex. infication (ex. refuge)

Answer 22

Intrant: % augmentation du personnel
activité: budget consacré aux activité
extrant: % de femme participante
résultat : % de femme quittent leur partenaire
impact % bénéficiaire signalant une amélioration notable de qualité de vue
+
sur la société

Question 23

3 niveaux d’efficacité

Answer 23

Efficacité apparente

efficacité démontrée

efficacité prouvé

Question 24

Efficacité apparente

Answer 24

supposer que les bénéficiaire retirent les avantages prévus, si les données sont recueillis systémtiquement (no d’identification des participants, suivi au fil du temps des impacts)

Question 25

efficacité démontrée

Answer 25

Évaluateur externe, indépendance examine le programme, recuielle systématiquement donnée sur participants et population similaire non participante

Question 26

efficacité prouvé

Answer 26

Etude expérimental, type essai aléatoire contrôlé (groupe contrôlle aléatoire)

Question 27

Quelques moyens utiles

Answer 27

Contact de suivi avec les bénéficiaires : téléphone, courriel, visite, sondage
test préalable avant le lancement d’un programme, test ultérieurs pour mesurer les résultat prévus et les impact
sondage auprès de l’ensemle de la population cible permet d’éliminer le biais de selection
biais de non-réponse peut être résolu en renforcant le caratère légitime du sondage ou en offrant des incitatif
formation des interviewers pour éliminer biais de préférence