Mesurer l'impact : contrefactuel, méthodes et contribution

1Le problème fondamental : que se serait-il passé sans le programme ?

L'impact d'un programme est la différence entre ce qui s'est passé avec le programme et ce qui se serait passé sans lui : le contrefactuel. On ne peut jamais observer directement le même ménage avec et sans programme ; toutes les méthodes d'évaluation d'impact sont des façons de construire une estimation crédible de ce contrefactuel.

Deux comparaisons naïves sont trompeuses :

• Avant-après chez les bénéficiaires : le changement observé mélange l'effet du programme et tout ce qui a changé en même temps (récolte, prix, sécurité, autres aides). Si la récolte a été bonne, la sécurité alimentaire s'améliore même sans programme ; si elle a été mauvaise, un programme efficace peut paraître sans effet.
• Bénéficiaires contre non-bénéficiaires après le programme : les deux groupes étaient différents au départ, justement parce que le ciblage a choisi les plus vulnérables. La comparaison sous-estime alors l'effet, ou le surestime si ce sont les plus motivés qui se sont inscrits (biais de sélection).

Question à poser devant toute affirmation d'impact : « par rapport à quoi ? ». Si la réponse est « par rapport à avant », ce n'est pas une mesure d'impact.

2L'essai randomisé contrôlé et son usage en humanitaire

Dans un essai randomisé contrôlé (ECR), on tire au sort, parmi les personnes éligibles, celles qui reçoivent le programme (groupe de traitement) et celles qui ne le reçoivent pas ou plus tard (groupe de contrôle). Le tirage au sort rend les deux groupes comparables en moyenne sur toutes les caractéristiques, observées ou non. L'effet est simplement la différence des résultats moyens à la fin.

En humanitaire, refuser une aide vitale à des personnes éligibles pour constituer un groupe de contrôle est contraire à l'éthique. Mais des ECR restent possibles et ont produit des connaissances majeures (sur le cash, la nutrition, la santé mentale) dans des situations précises :

• Ressources insuffisantes de toute façon pour tout le monde : le tirage au sort est alors une façon équitable de répartir, et le groupe non servi sert de contrôle.
• Mise en place progressive : tout le monde recevra le programme, mais l'ordre est tiré au sort (conception en escalier, « stepped wedge »).
• Comparaison de deux variantes d'un programme, toutes deux jugées acceptables : cash mensuel ou en une fois, avec ou sans accompagnement.

Les ECR coûtent cher, prennent du temps et répondent à des questions précises ; ils se justifient quand la réponse servira à de nombreux programmes. Pour la plupart des projets, des méthodes quasi expérimentales suffisent.

3La différence de différences

La différence de différences compare l'évolution d'un groupe aidé à l'évolution d'un groupe de comparaison non aidé : effet = (après − avant) dans le groupe aidé − (après − avant) dans le groupe de comparaison. Elle élimine les différences initiales stables entre les groupes et les tendances communes (récolte, prix).

Exemple. Proportion de ménages avec une consommation acceptable. Groupe aidé : 28 % avant, 52 % après (+24 points). Groupe de comparaison : 35 % avant, 44 % après (+9 points). Effet estimé : 24 − 9 = 15 points. Une comparaison avant-après aurait attribué 24 points au programme ; une comparaison des seuls résultats finaux en aurait attribué 8.

Condition de validité : l'hypothèse des tendances parallèles. Sans le programme, les deux groupes auraient évolué de la même façon. On la vérifie si possible avec plusieurs mesures avant le programme, et l'on s'assure que le groupe de comparaison ne reçoit pas une autre aide importante pendant la période (contamination) et ne subit pas un choc spécifique.

En humanitaire, le groupe de comparaison est souvent une zone voisine non couverte faute de financement, ou des ménages éligibles inscrits sur liste d'attente. On ne crée jamais un groupe de comparaison en refusant l'aide pour les besoins de l'étude.

4Appariement et régression sur discontinuité

L'appariement construit un groupe de comparaison en associant à chaque ménage aidé un ou plusieurs ménages non aidés qui lui ressemblent sur les caractéristiques mesurées avant le programme (taille, biens, revenus, statut, zone). La méthode du score de propension résume ces caractéristiques en une probabilité d'être aidé, et l'on compare des ménages au score proche. Sa limite : elle ne corrige que les différences observées. Si la motivation ou les réseaux sociaux ont influencé l'inscription et ne sont pas mesurés, le biais demeure.

La régression sur discontinuité s'applique quand l'éligibilité dépend d'un seuil sur un score : par exemple, ménages avec un score de vulnérabilité de 60 ou plus aidés, en dessous non. Les ménages juste au-dessus et juste en dessous du seuil (57-59 et 60-62) sont presque identiques ; la différence de résultats entre eux estime l'effet du programme autour du seuil. Conditions : le seuil est appliqué strictement, et les ménages ne peuvent pas manipuler leur score pour passer au-dessus.

Exemple. Ménages au score 57-59 : 38 % avec une consommation acceptable. Ménages au score 60-62 (aidés) : 51 %. Effet estimé autour du seuil : environ 13 points. Ce résultat vaut pour les ménages proches du seuil, pas forcément pour les plus vulnérables.

La série chronologique interrompue compare la tendance d'un indicateur avant et après le début d'un programme, sur de nombreux points de mesure (par exemple les admissions hebdomadaires en nutrition). Elle est utile quand il n'existe aucun groupe de comparaison, à condition d'avoir assez de points avant l'intervention.

5Approches de contribution : quand l'attribution est impossible

Beaucoup d'effets importants ne se prêtent pas aux méthodes statistiques : un plaidoyer qui change une loi, un renforcement de capacités d'organisations locales, une coordination améliorée. On ne peut pas les comparer à un contrefactuel chiffré. On cherche alors à établir de façon crédible que le programme a contribué au changement.

• Analyse de contribution (Mayne) : on expose la théorie du changement, on rassemble les preuves pour chaque lien, on examine les explications alternatives, et l'on construit un « récit de contribution » que l'on fait critiquer par des parties prenantes.
• Traçage de processus (process tracing) : on teste des hypothèses causales en cherchant des preuves dont la présence ou l'absence permet de confirmer ou d'écarter une explication (par exemple, la reprise mot pour mot d'une note de plaidoyer dans un décret).
• Récolte des effets (outcome harvesting) : on identifie d'abord les changements observés chez les acteurs, puis on remonte pour déterminer si et comment le programme y a contribué.
• Changement le plus significatif : on collecte des récits de changement auprès des personnes, et des panels sélectionnent les plus significatifs en expliquant pourquoi. Utile pour découvrir des effets non prévus.

Rigueur ne veut pas dire quantitatif. Une analyse de contribution bien menée, qui examine sérieusement les explications alternatives, est plus crédible qu'une comparaison avant-après chiffrée.

6Choisir la méthode et décider ce qu'il faut prouver

Le choix d'une méthode dépend de quatre questions :

• Quelle décision ? Étendre un modèle pilote à l'échelle nationale justifie une preuve forte ; ajuster un programme en cours se contente d'une preuve suffisante.
• Les preuves existent-elles déjà ? L'effet du cash sur la consommation alimentaire est très documenté : inutile de le redémontrer avec un ECR dans chaque projet. Il suffit souvent de vérifier que le programme est fidèle au modèle et que les effets intermédiaires sont présents.
• Qu'est-ce qui est faisable et éthique ? Existe-t-il un groupe de comparaison sans refuser l'aide ? Un seuil d'éligibilité net ? Une mise en place progressive ?
• Quel budget et quel délai ? Une évaluation d'impact sérieuse exige une référence avant le démarrage : elle se conçoit avec le programme, pas à la fin.

Pour la taille d'échantillon, une évaluation d'impact doit avoir une puissance suffisante pour détecter l'effet attendu. Détecter un effet de 15 points demande beaucoup moins de ménages qu'un effet de 5 points. Si l'effet attendu est faible et l'échantillon petit, l'étude conclura presque sûrement « pas d'effet significatif », ce qui sera mal interprété comme « pas d'effet ».

Dernier point : présenter honnêtement le niveau de preuve. « Les ménages aidés ont amélioré leur consommation de 24 points ; par rapport à une zone de comparaison, l'effet attribuable est estimé à 15 points, sous l'hypothèse de tendances parallèles que les données de deux campagnes précédentes soutiennent » est une phrase qui inspire confiance.