Analyse d'enquête, cadre logique et rapport au bailleur

Faiblesses : (1) l'indicateur du résultat 1 (« nombre de coupons distribués ») est un indicateur de produit, pas de résultat ; (2) la cible de 7 200 coupons ne correspond à rien de mesurable chez les ménages et ne dit rien de l'utilisation ; (3) le résultat 2 (« satisfaits ») n'est pas un changement attendu du projet mais une mesure de redevabilité ; (4) aucune désagrégation (sexe du chef de ménage, handicap, site) ; (5) pas de second indicateur d'objectif alors que le rCSI est collecté.

Proposition : Objectif spécifique : « Les ménages déplacés ciblés améliorent leur consommation alimentaire et réduisent le recours aux stratégies de survie négatives ». Indicateurs : % de ménages avec SCA acceptable (base 38 %, cible 60 %, enquête ménages) et rCSI moyen (base 24, cible ≤ 16, même source), désagrégés par sexe du chef de ménage et par site. Résultat 1 : « Les ménages ciblés ont un accès régulier à des vivres diversifiés sur les marchés locaux » : % de ménages ayant reçu et utilisé 6 coupons sur 6 (cible 95 %, listes de distribution et rapports de rachat des commerçants) ; nombre moyen de groupes d'aliments consommés (score de diversité alimentaire du ménage). Résultat 2 : « Les ménages participent à l'assistance et peuvent faire valoir leurs droits » : % de plaintes traitées et clôturées en moins de 14 jours (cible 90 %, registre du mécanisme de plaintes) ; % de ménages connaissant au moins un canal de plainte (cible 85 %, suivi post-distribution).

Marge d'erreur = 1,96 × √(p(1 − p) / n) = 1,96 × √(0,61 × 0,39 / 182) = 1,96 × 0,0362 ≈ ± 7,1 points. L'intervalle de confiance est donc d'environ 54 % à 68 %.

La valeur centrale (61 %) dépasse la cible (60 %), mais la borne basse (54 %) est en dessous : on ne peut pas affirmer avec certitude que la cible est atteinte. On peut en revanche affirmer une amélioration significative par rapport à la base (38 %, marge ± 5,6 points sur n = 290 : intervalle 32 à 44 %), car les intervalles ne se chevauchent pas.

Il faut ajouter le biais de non-couverture : Lushagala manque, l'échantillon final n'est pas représentatif des deux sites. Si l'enquête a été faite par grappes, l'effet de plan (souvent 1,5 à 2) élargit encore la marge.

Ménages dirigés par une femme : progression de +15 points (29 % à 44 %) contre +23 points pour l'ensemble ; l'écart s'est creusé. Attention à la petite taille de l'échantillon (n = 61, marge d'environ ± 12 points) : c'est un signal à confirmer, pas une preuve.

Plaintes : 500 plaintes ; la catégorie principale (exclusion du ciblage, 212, soit 42 %) n'est traitée dans les délais qu'à 29 % (61 sur 212), ce qui indique un problème de ciblage et un mécanisme de réponse saturé. 148 plaintes sur les prix suggèrent une hausse des prix chez les commerçants agréés, ce qui réduit la valeur réelle du coupon. Les 4 plaintes sur le comportement du personnel peuvent relever de l'exploitation et des abus sexuels : elles doivent suivre la procédure PSEA confidentielle, pas le circuit normal, et une seule a été traitée dans les délais.

Recommandations : (1) revoir le ciblage avec un comité mixte et un processus d'appel, et renforcer l'équipe de traitement des plaintes d'exclusion ; (2) suivre les prix chaque semaine chez les commerçants agréés, en ajouter d'autres et indexer la valeur du coupon si la hausse dépasse 10 % ; (3) analyser les obstacles des femmes chefs de ménage (charge de soins, distance, sécurité) par des groupes de discussion, et adapter (horaires, distribution à domicile pour les plus vulnérables) ; (4) transmettre immédiatement les 4 cas sensibles au point focal PSEA et vérifier la prise en charge des personnes concernées.

Exemple de réponse : « À la fin du projet, 61 % des ménages enquêtés avaient un score de consommation alimentaire acceptable, contre 38 % au départ (marge d'erreur ± 7 points), et l'indice réduit des stratégies de survie est passé de 24,1 à 15,3. L'amélioration est nette ; l'atteinte de la cible de 60 % ne peut toutefois pas être confirmée statistiquement. Les ménages dirigés par une femme ont moins progressé (29 % à 44 %), un écart que nous analysons. Trois limites doivent être notées : le site de Lushagala n'a pas pu être enquêté en fin de projet pour des raisons d'accès, ce qui peut surestimer les résultats ; l'absence de groupe de comparaison empêche d'attribuer tout le changement au projet (récolte et autres assistances) ; enfin, 42 % des plaintes portaient sur l'exclusion du ciblage, et seules 29 % d'entre elles ont été traitées dans les délais. Des mesures correctives sont en cours (révision du ciblage, suivi des prix, renforcement du mécanisme de plaintes). »

Je refuse de retirer ces informations, avec diplomatie : elles sont nécessaires à l'intégrité des données et à la redevabilité envers le bailleur et les populations ; les bailleurs vérifient les méthodes et une omission découverte plus tard nuirait davantage à la crédibilité de l'organisation. Je propose plutôt de les présenter de façon constructive (ce que nous avons appris, mesures prises) et d'ajouter une enquête complémentaire à Lushagala dès que l'accès le permet. Si la pression persiste, j'en réfère au responsable MEAL régional ou au siège selon la politique interne.