Pilotage d'une évaluation finale : termes de référence, analyse d'impact et réponse de la direction

Faiblesses : (1) l'objectif « démontrer l'impact positif » préjuge du résultat : une évaluation sert à apprendre et à rendre des comptes, pas à prouver ; (2) les questions sont trop nombreuses, fermées et sans lien avec les critères ; (3) l'enquête limitée aux bénéficiaires ne permet aucune attribution, alors que des données de comparaison existent ; (4) juillet est en pleine soudure et en saison des pluies : les résultats ne seraient pas comparables aux enquêtes de novembre et l'accès serait difficile ; (5) conflit d'intérêts majeur : l'ancien chef de projet évaluerait son propre travail ; (6) rapport en anglais, alors que les autorités, partenaires et communautés lisent le français ou l'arabe ; (7) aucune disposition éthique (consentement, confidentialité, protection des données, conduite à tenir en cas de signalement d'abus) ; (8) aucune restitution aux communautés ni réponse de la direction prévue.

Budget réaliste : honoraires 25 × 450 = 11 250 USD ; collecte 800 / 8 = 100 jours-enquêteur × 20 = 2 000 USD ; formation 12 enquêteurs × 3 jours × 20 = 720 USD ; véhicules 2 × 12 jours × 120 = 2 880 USD. Total d'environ 16 850 USD avant saisie, supervision et restitution, soit près du double des 9 000 USD prévus. Il faut soit augmenter le budget (une évaluation finale représente couramment quelques pour cent du budget d'un projet), soit réduire l'échantillon en le justifiant par un calcul de puissance, en conservant le groupe de comparaison.

Objectif reformulé : « Apprécier, de façon indépendante, la pertinence, l'efficacité, l'efficience, l'impact et la durabilité du projet, en particulier pour les ménages dirigés par une femme, afin d'en tirer des leçons pour la phase 2 et de rendre compte aux communautés, aux autorités et au bailleur. »

Questions : (pertinence) dans quelle mesure les filières choisies répondaient-elles aux priorités et contraintes des ménages réfugiés et hôtes, femmes comprises ? (cohérence) le projet était-il articulé avec les autres interventions de moyens d'existence de la zone ? (efficacité) dans quelle mesure les résultats attendus en revenus et diversité alimentaire ont-ils été atteints, pour quels groupes, et pourquoi ? (efficience) quel coût par ménage dont le revenu a augmenté, comparé à d'autres modalités ? (impact) quelle part des changements observés peut être attribuée au projet, et quels effets non prévus ? (durabilité) quelles activités se poursuivent sans appui, et à quelles conditions ?

Doubles différences = (finale − base) intervention − (finale − base) comparaison.

Lecture : une comparaison avant-après attribuerait au projet le double de l'effet réel sur la diversité alimentaire (+1,8 au lieu de +0,9) et plus du double sur le revenu (+13 000 au lieu de +5 500). L'effet sur les femmes chefs de ménage est presque nul : le projet n'a pas atteint ce groupe, ce qui appuie la recommandation R1.

Validité : (1) l'hypothèse des tendances parallèles ne peut pas être vérifiée avec deux points de mesure ; les niveaux de base sont proches (3,8 et 4,1 ; 28 000 et 30 000), ce qui est rassurant mais non probant ; (2) la distribution de semences dans 5 villages de comparaison sur 9 améliore probablement leurs résultats : l'effet du projet est donc vraisemblablement sous-estimé ; une analyse séparant les 4 villages non contaminés serait utile, avec prudence sur la taille d'échantillon ; (3) les deux enquêtes en novembre, après récolte, rendent les mesures comparables entre elles, mais ne disent rien de la soudure ; (4) il faudrait vérifier la significativité (intervalles de confiance, régression avec effet de grappe) avant toute affirmation forte, et vérifier que l'attrition de l'échantillon est faible.

Formulation : « Le projet est associé à une amélioration du score de diversité alimentaire d'environ 0,9 point et du revenu d'environ 5 500 XAF par mois au-delà de l'évolution des villages de comparaison ; cette estimation est probablement prudente du fait d'une assistance reçue par une partie de ces villages. Aucun effet n'est observé pour les ménages dirigés par une femme. »

Commentaires de l'équipe : ils sont défensifs et en partie erronés. Une participation de 60 % de femmes ne prouve pas l'inclusion : la double différence montre un effet quasi nul pour les ménages dirigés par une femme. La chute des prix n'est pas contrôlable, mais le risque était prévisible et gérable. La préférence supposée du bailleur ne justifie pas une dispersion qui réduit l'efficacité.

Une réponse de la direction est publiée avec le rapport et son suivi est revu tous les trimestres.

Je rappelle que l'évaluateur est indépendant : ni le chef de projet ni moi ne pouvons lui demander de retirer un résultat. Le chef de projet peut en revanche formuler des commentaires factuels sur le rapport provisoire ; l'évaluateur décide de les intégrer ou non et documente ses choix. Si la taille de l'échantillon est une limite réelle, la bonne réponse est de l'indiquer (intervalle de confiance, mention de prudence), pas de supprimer le résultat. Je refuse de retenir le rapport : le bailleur l'attend, et le cacher avant une demande de financement serait trompeur. Je propose au contraire de transmettre le rapport avec la réponse de la direction, qui montre comment la phase 2 corrige la faiblesse : c'est un argument en faveur de la proposition. J'informe le directeur pays de la demande et, si elle est maintenue, je l'escalade selon la politique d'évaluation de l'organisation.

« (1) Le projet a eu un effet positif mesurable, au-delà de l'évolution des villages de comparaison : +0,9 point de diversité alimentaire, +5 500 XAF de revenu mensuel (environ +20 %) et 9 points de moins de ménages recourant à des stratégies de crise. (2) Cette estimation est probablement prudente, car une partie des villages de comparaison a reçu une autre assistance. (3) Les ménages dirigés par une femme n'en ont presque pas bénéficié : la phase 2 adaptera le paquet à leurs contraintes. (4) La dispersion sur 8 filières et l'absence de suivi des prix ont réduit l'effet (chute de 30 % du prix de l'arachide). (5) La phase 2 concentrera l'appui sur 4 ou 5 filières, avec analyse de marché et ciblage participatif. »