Le système de suivi : plan MEAL, qualité des données et suivi à distance

1Le plan MEAL : la colonne vertébrale du suivi

Le plan MEAL décrit comment chaque indicateur sera mesuré, par qui, quand, et pour quelle décision. Il se présente sous forme de tableau : indicateur, définition, base, cible, source et méthode, fréquence, désagrégation, responsable de la collecte, responsable de l'analyse, utilisation (revue mensuelle, rapport bailleur, ajustement du ciblage).

Il couvre quatre types de suivi :

• Suivi des activités et des extrants : ce qui a été réalisé, par rapport au plan (registres de distribution, listes de présence, fiches de chantier).
• Suivi des effets : changements chez les personnes (enquêtes de référence, intermédiaires et finales ; suivi post-distribution).
• Suivi du contexte : prix, accès, sécurité, mouvements de population, et indicateurs des hypothèses critiques du cadre logique.
• Suivi de la redevabilité : plaintes et retours reçus, délai de réponse, satisfaction, participation (semaine 8).

Le coût du plan MEAL doit être dans le budget : personnel, outils, transport, enquêtes, évaluations. Une fourchette de 3 à 10 % du budget du projet est habituelle ; un projet pilote dont on veut démontrer l'effet peut justifier davantage.

Le meilleur test d'un plan MEAL : pour chaque indicateur, pouvez-vous nommer la réunion où il sera discuté et la décision qu'il peut déclencher ? Sinon, demandez-vous s'il faut le collecter.

2Des outils de collecte au tableau de bord

La chaîne de données a cinq maillons : collecte, saisie et stockage, nettoyage, analyse, diffusion. La collecte mobile (KoboToolbox, ODK, CommCare) a remplacé le papier dans la plupart des contextes : contrôles automatiques à la saisie (plages de valeurs, champs obligatoires, sauts logiques), géolocalisation et horodatage, envoi direct au serveur.

Un bon formulaire se conçoit à partir du plan d'analyse : on écrit d'abord les tableaux que l'on veut produire, puis les questions nécessaires et seulement elles. Il se teste sur le terrain avec de vrais répondants avant d'être déployé, puis on fige une version ; toute modification ultérieure est documentée, car elle rend les données avant et après incomparables.

Le nettoyage suit des règles écrites : doublons, valeurs aberrantes (un ménage de 45 personnes, une dépense alimentaire de 2 000 USD par semaine), incohérences (un enfant de 3 ans marié), entretiens trop courts (moins de 10 minutes pour un questionnaire de 40 minutes). On ne corrige jamais une valeur sans source ; on la signale, on vérifie avec l'enquêteur ou on la retire, et l'on garde un journal de nettoyage.

Le tableau de bord montre peu d'indicateurs, avec la cible, la tendance et un code couleur selon des seuils fixés à l'avance. Il est mis à jour au rythme des décisions : hebdomadaire pour les distributions, mensuel pour les indicateurs d'effet intermédiaire.

3La qualité des données : cinq dimensions

Une évaluation de la qualité des données (DQA) vérifie cinq dimensions :

La méthode la plus concrète est la vérification par recomptage : on choisit un échantillon de sites, on recompte à partir des sources primaires (registres, fiches) et l'on compare avec les chiffres rapportés. Un ratio de vérification de 1,00 est parfait ; on fixe une tolérance, par exemple entre 0,95 et 1,05. Au-delà de 1,05, les chiffres rapportés sont gonflés ; en dessous de 0,95, des activités ne sont pas rapportées.

Exemple. Un centre de santé rapporte 1 240 consultations ; le recomptage des registres en trouve 1 085. Ratio : 1 240 / 1 085 = 1,14. Le centre surdéclare de 14 % : il faut comprendre la cause (double comptage des visites de suivi, pression sur les cibles) avant toute sanction.

4Les contrôles qualité de la collecte

La qualité se joue pendant la collecte, pas après. Les contrôles standard :

• Formation et test des enquêteurs, avec un test écrit et des entretiens simulés ; les enquêteurs qui échouent ne collectent pas.
• Supervision directe d'une partie des entretiens (par exemple 5 %).
• Rappels de contrôle (back-checks) : 10 % des ménages sont réinterrogés sur quelques questions stables (taille du ménage, type d'abri). Un taux de concordance faible pour un enquêteur signale des erreurs ou des entretiens inventés.
• Contrôles à distance quotidiens : durée des entretiens, coordonnées GPS (entretiens tous au même endroit), heure (entretiens à 3 heures du matin), distribution des réponses par enquêteur (un enquêteur dont tous les ménages ont exactement 5 membres).

Les données inventées (« curbstoning ») sont plus fréquentes qu'on ne le croit quand les enquêteurs sont payés à l'entretien, sous pression de quotas, ou envoyés dans des zones dangereuses. Les prévenir passe par des objectifs réalistes, une paie journalière plutôt qu'à l'unité, et des contrôles annoncés à l'avance.

Un responsable MEAL qui ne trouve jamais d'erreur ne cherche pas assez. Publier en interne les erreurs trouvées et corrigées renforce la confiance dans les chiffres.

5Le suivi à distance et les tiers de suivi

Dans les zones inaccessibles au personnel (insécurité, restrictions), le suivi à distance combine plusieurs sources pour compenser l'absence de visites :

• Partenaires locaux ou personnel local qui ont accès, avec des outils standardisés et des preuves (photos géolocalisées, listes signées).
• Tiers de suivi (TPM) : une société ou une organisation indépendante, souvent exigée par les bailleurs, qui vérifie un échantillon d'activités.
• Appels téléphoniques à un échantillon aléatoire de bénéficiaires (suivi post-distribution par téléphone).
• Données à distance : images satellites (camps, cultures, destructions), données de transactions des opérateurs mobiles, données de prix.
• Retours de la communauté par ligne gratuite et messagerie.

Le suivi à distance a des limites : échantillons par téléphone biaisés vers les ménages équipés et souvent masculins, risques de pression sur les partenaires, transfert des risques de sécurité vers le personnel local. Il faut le dire dans les rapports, payer correctement les partenaires pour ce travail, et ne pas leur demander de prendre des risques que l'organisation refuserait pour son propre personnel.

La triangulation est la règle : une distribution est considérée vérifiée quand au moins deux sources indépendantes concordent (par exemple liste signée et appels à un échantillon de bénéficiaires).

6Rendre le suivi utile : de la donnée à la décision

Le suivi échoue rarement par manque de données ; il échoue parce que personne ne les utilise. Trois mécanismes rendent le suivi utile :

• Des seuils d'alerte fixés à l'avance : si le temps d'attente aux distributions dépasse 3 heures, si le taux de plaintes non résolues dépasse 20 %, si le prix du panier augmente de plus de 10 %, une action prédéfinie est déclenchée.
• Des revues régulières où l'équipe programme, le MEAL, la logistique et la finance regardent ensemble les mêmes chiffres et décident. Le compte rendu note les décisions, leur responsable et leur échéance.
• Un retour aux personnes et aux équipes : présenter aux communautés ce qui a été appris et changé ; montrer aux enquêteurs à quoi leurs données ont servi.

L'indépendance du MEAL compte. Si le responsable MEAL rend compte uniquement au chef de projet dont il mesure les résultats, la tentation de lisser les mauvais chiffres est forte. Une double ligne hiérarchique (opérationnelle au projet, technique à un responsable MEAL pays ou siège) protège la qualité de l'information.