Évaluer : critères, termes de référence, matrice et utilisation

1Pourquoi et quand évaluer

Une évaluation est une appréciation systématique et objective d'une intervention, de sa conception, de sa mise en œuvre et de ses résultats. Elle diffère du suivi : le suivi est continu et interne, il demande « faisons-nous ce que nous avions prévu ? » ; l'évaluation est ponctuelle, souvent externe, et elle demande « faisons-nous la bonne chose, de la bonne manière, et qu'est-ce que cela change ? ».

Elle a deux fonctions, parfois en tension : la redevabilité (rendre compte aux personnes, aux bailleurs, au conseil d'administration) et l'apprentissage (améliorer ce programme et les suivants). Une évaluation conçue uniquement pour la redevabilité produit des notes ; une évaluation conçue pour l'apprentissage produit des décisions.

Avant de commander une évaluation, écrivez qui l'utilisera et pour quelle décision. Si personne ne peut répondre, l'évaluation sera un rapport de plus sur une étagère.

2Les critères du CAD de l'OCDE

Les critères d'évaluation du Comité d'aide au développement de l'OCDE, révisés en 2019, sont au nombre de six :

• Pertinence : l'intervention répond-elle aux besoins et priorités des personnes, et reste-t-elle pertinente si le contexte change ?
• Cohérence (ajoutée en 2019) : est-elle compatible avec les autres interventions dans le même contexte, internes et externes à l'organisation ?
• Efficacité : atteint-elle ses objectifs, y compris pour les différents groupes ?
• Efficience : produit-elle ses résultats de façon économique et à temps ?
• Impact : quels effets de plus long terme, positifs ou négatifs, voulus ou non ?
• Durabilité : les bénéfices continueront-ils après la fin du financement ?

En humanitaire, on utilise aussi les critères adaptés par l'ALNAP : couverture (a-t-on atteint toutes les personnes dans le besoin, sans exclusion ?), connectivité (lien entre l'urgence et le plus long terme) et coordination.

Les critères ne s'appliquent pas tous avec le même poids. Une évaluation en temps réel d'une réponse de trois mois se concentre sur la pertinence, la couverture et l'efficacité ; parler de durabilité à ce stade a peu de sens. Choisir trois ou quatre critères et les approfondir vaut mieux qu'en survoler six.

3Des termes de référence qui obtiennent une bonne évaluation

Les termes de référence (TdR) sont le contrat intellectuel de l'évaluation. Des TdR vagues produisent des évaluations vagues. Ils contiennent :

• Contexte et description de l'intervention (avec la théorie du changement et le cadre logique en annexe).
• Objet et utilisateurs : pourquoi maintenant, pour qui, pour quelles décisions.
• Portée : période, zones, composantes, ce qui est exclu.
• Questions d'évaluation : cinq à huit questions principales, pas trente. Chaque question est évaluable avec les moyens et le temps disponibles.
• Approche et méthodes attendues, en laissant l'équipe proposer, et les données existantes disponibles.
• Éthique : consentement, protection des données, protocoles pour les sujets sensibles, participation des personnes.
• Livrables et calendrier : rapport initial (inception), restitution, rapport provisoire, rapport final, résumé.
• Profil de l'équipe, budget, gouvernance (groupe de référence) et règles d'indépendance.

Ordre de grandeur. Une évaluation finale externe de qualité d'un projet multisectoriel coûte souvent entre 25 000 et 80 000 USD selon le terrain et les méthodes. Un budget trop faible conduit à quelques jours de terrain et à un rapport sans preuves ; il vaut mieux moins d'évaluations, mieux faites.

4La matrice d'évaluation et le rapport initial

La matrice d'évaluation est l'outil central du rapport initial : pour chaque question, elle précise les sous-questions, les indicateurs ou critères de jugement, les sources de données, les méthodes de collecte et d'analyse, et les limites.

Exemple. Question : « Dans quelle mesure les transferts monétaires ont-ils amélioré la sécurité alimentaire des ménages les plus vulnérables ? » Critères de jugement : évolution du score de consommation et du rCSI entre la référence et la fin, comparée à une zone de comparaison ; différences selon le sexe du chef de ménage et la présence d'une personne handicapée. Sources : enquêtes de référence et finale, suivi post-distribution, discussions de groupe. Méthodes : différence de différences, analyse qualitative par groupe. Limites : zone de comparaison partiellement aidée par d'autres acteurs à partir du mois 6.

Le rapport initial est le moment de corriger le tir : l'équipe confirme ce qui est faisable, signale les questions impossibles à traiter, propose l'échantillonnage. Le gestionnaire le valide avec le groupe de référence avant le terrain. C'est le meilleur investissement de temps de toute l'évaluation.

La qualité d'une évaluation se juge sur la clarté du lien entre constats (appuyés par des données), conclusions (jugements fondés sur les constats) et recommandations (actions qui découlent des conclusions). Une recommandation sans constat correspondant est une opinion de l'évaluateur.

5Indépendance, éthique et gestion de l'évaluation

L'indépendance protège la crédibilité : l'équipe d'évaluation n'a pas participé à la conception ni à la mise en œuvre ; le gestionnaire de l'évaluation n'est pas le chef du projet évalué ; l'équipe a accès librement aux données et aux personnes ; le programme peut commenter les faits du rapport provisoire, mais pas imposer de changer les conclusions.

Les normes et règles d'évaluation du groupe des Nations unies pour l'évaluation (UNEG) et les principes de l'ALNAP insistent sur l'éthique : ne pas nuire aux personnes interrogées, consentement éclairé, confidentialité, attention aux personnes en détresse et aux risques de représailles, restitution aux communautés.

Le gestionnaire de l'évaluation a un rôle actif : il prépare les données, organise l'accès au terrain, réunit le groupe de référence, contrôle la qualité aux étapes clés, protège l'indépendance de l'équipe, et organise la restitution. Les principaux risques sont connus : retards de démarrage qui réduisent le terrain, données de référence inexistantes, accès limité, pression pour adoucir les constats.

Une évaluation qui ne trouve que des points positifs n'est pas crédible. Un programme qui accepte des constats négatifs bien étayés montre qu'il est sérieux.

6La réponse de la direction et l'utilisation

La réponse de la direction (management response) est le document qui transforme une évaluation en décisions. Pour chaque recommandation : acceptée, partiellement acceptée ou rejetée, avec la justification ; actions prévues ; responsable ; échéance. Elle est rédigée dans le mois qui suit le rapport final et publiée avec lui.

Le suivi des actions se fait lors des revues trimestrielles de direction : où en est chaque action ? Les organisations matures publient chaque année un taux de mise en œuvre des recommandations acceptées.

Une recommandation peut être légitimement rejetée : trop coûteuse, hors du mandat, déjà en cours. Mais la justification doit être écrite. Ce qui n'est pas acceptable est l'absence de réponse.

Enfin, la diffusion adapte le format au public : résumé de deux pages pour la direction et les bailleurs, présentation pour les équipes, version simple et orale pour les communautés, et publication du rapport complet (par exemple dans la bibliothèque de l'ALNAP) pour le secteur. La publication des évaluations, y compris critiques, est un engagement du Grand Bargain en matière de transparence.