Tableau de suivi des indicateurs : recalcul, double comptage et fiche de référence

T3 : 1,96 × √(0,381 × 0,619 / 310) = 1,96 × 0,0276 = ± 5,4 points, soit un intervalle de 32,7 % à 43,5 %.

Base : 1,96 × √(0,22 × 0,78 / 300) = ± 4,7 points, soit 17,3 % à 26,7 %.

Les intervalles ne se chevauchent pas : l'amélioration est statistiquement défendable. Elle ne peut toutefois pas être entièrement attribuée au projet (pas de groupe de comparaison ; d'autres acteurs distribuent du savon dans la zone).

La borne haute (43,5 %) reste sous la cible de 50 % : à trois mois de la fin, la cible est peu probable si rien ne change. Il faut analyser les obstacles (coût du savon, accès à l'eau, absence de dispositif) et ajuster (distribution de dispositifs, recharges de savon).

Écart 71 % / 38 % : 33 points de différence entre ce que les gens disent et ce qui est observé. C'est un biais de désirabilité sociale classique : les ménages répondent ce qu'ils pensent qu'on attend d'eux. Cela justifie de garder l'observation comme méthode.

• Définition : proportion de ménages ciblés chez qui l'enquêteur observe un dispositif de lavage des mains (fixe ou mobile) avec de l'eau et du savon (ou de la cendre si le projet l'accepte, à préciser) au moment de la visite, et dont le répondant réalise une démonstration correcte (mouiller, savonner, frotter au moins 20 secondes, rincer, sécher à l'air ou avec un linge propre).
• Numérateur : ménages remplissant les deux conditions. Dénominateur : ménages enquêtés ayant accepté l'observation.
• Méthode : enquête ménages par échantillon aléatoire simple sur la liste des bénéficiaires ; observation directe, pas de question fermée ; formulaire numérique avec photo du dispositif seulement si le ménage y consent, sans visage.
• Collecteurs : enquêteurs formés, indépendants des relais qui animent les séances (pour éviter le biais de complaisance).
• Fréquence et calendrier : base, mi-parcours (T2) et fin de projet, à la même saison pour limiter l'effet de la disponibilité de l'eau.
• Désagrégation : sexe du chef de ménage, village ou site, ménage avec personne handicapée, statut (déplacé, retourné, hôte).
• Base et cible : 22 % (n = 300, mois 1) ; cible 50 %.
• Responsable : chargé(e) de suivi-évaluation pour la collecte et l'analyse ; chef de projet pour l'utilisation des résultats.
• Contrôle qualité : revérification d'au moins 5 % des ménages ; marge d'erreur rapportée avec le résultat.
• Limites connues : l'observation ponctuelle ne prouve pas la pratique aux moments critiques ; présence de savon variable selon le jour de la visite.

Exemple de réponse : « Je comprends l'inquiétude, mais nous ne pouvons pas garder 6 940 : ce chiffre compte plusieurs fois les mêmes personnes et l'indicateur porte sur des personnes uniques. Un audit ou une évaluation finale le découvrirait facilement, et la correction serait alors bien plus coûteuse pour notre crédibilité. Le chiffre du T2 (4 630) avait la même erreur. Je propose d'annoncer 4 870 personnes uniques au T3, avec une note de bas de page expliquant la correction de méthode et la révision du chiffre du T2. Nous pouvons aussi indiquer les 6 940 participations comme donnée complémentaire : elles montrent que 1 450 personnes sont revenues, ce qui est un point positif. Je prépare la note pour validation demain. »

Mesures : (1) identifiant individuel obligatoire dans le formulaire de présence et déduplication automatique avant chaque consolidation ; plus de fiches papier sans numéro, ou saisie avec rapprochement de la liste nominative ; (2) fiches de référence validées pour tous les indicateurs et formation des équipes sur la différence entre compter des personnes et compter des actes, et sur le calcul d'un pourcentage cumulé ; (3) revue trimestrielle de la qualité des données par le MEAL avant tout envoi au bailleur, avec contrôle de cohérence (aucun indicateur en pourcentage ne peut dépasser 100 % d'atteinte sans vérification, comparaison avec les sources primaires).