Vérification des données déclarées et contrôle de la qualité d'une enquête

Le facteur global (- 4,5 %) est sous le seuil de 5 %, mais il masque deux sites en anomalie : c'est pourquoi on vérifie site par site.

Chiffre transmis : 1 619 ménages vérifiés, avec une note indiquant que 305 ménages de Nova Sofala seront rapportés dès que les listes auront été retrouvées et vérifiées (maximum possible : 1 924). On ne transmet jamais 2 000.

Suites : Guara-Guara : retrouver les 22 ménages (visite ou appel) ; s'ils confirment avoir reçu le kit, faire compléter la liste avec un témoin et une note signée ; sinon, rechercher où sont les kits. Grudja : 290 kits sortis, 236 ménages servis et aucun retour, donc 54 kits non justifiés : vérification physique immédiate du stock sur site, entretien avec l'équipe de distribution et les comités ; si le détournement est possible, signalement selon la politique antifraude, sans enquête personnelle. Nova Sofala : rechercher les listes à Beira ; à défaut, vérification par échantillon auprès des ménages (appels, visites). Pour tous : rapprochement systématique entrepôt, listes et rapport avant chaque rapport mensuel.

Taux de contrôle : 39 / 380 = 10,3 % des entretiens, ce qui est un bon niveau.

Taux d'écart : E1 0 % ; E2 2 / 6 = 33 % ; E3 1 / 7 = 14 % ; E4 5 / 9 = 56 % ; E5 0 % ; E6 1 / 5 = 20 %.

E4 : faisceau d'indices concordants de données inventées ou de modules sautés : durée médiane de 12 min pour un questionnaire de 30 min ; 61 / 88 = 69 % des entretiens en moins de 15 min ; aucune réponse « ne sait pas » (invraisemblable) ; 88 entretiens contre 58 en moyenne pour les autres ; écart sur plus de la moitié des contrôles. Ce n'est pas une preuve de fraude, mais les données ne sont pas fiables.

Décision : suspendre E4 de la collecte en attendant la vérification ; écarter ses 88 entretiens de l'analyse ; faire réinterroger ses ménages par d'autres enquêteurs. Sans E4, il reste 380 - 88 = 292 entretiens, soit moins que les 324 nécessaires : il en manque au moins 32. Mais compléter avec 32 ménages pris ailleurs ne suffit pas : les 9 villages de E4 (30 % des villages) seraient sous-représentés. Il faut refaire les ménages tirés dans ces villages.

E2 : écarts sur la taille du ménage, question clé pour les indicateurs par personne : revoir la définition du ménage avec lui, contrôler 20 % de ses entretiens suivants. E6 et E3 : suivi normal, à surveiller.

Pour la suite : tableau de contrôle quotidien et non hebdomadaire, seuils d'alerte (durée inférieure à la moitié de la médiane du pré-test, aucun « ne sait pas », écart de plus de 20 % aux contrôles).

« Merci pour ton message. Je comprends la contrainte de délai, mais je ne peux pas garder les données de E4 en l'état : 69 % de ses entretiens durent moins de 15 minutes pour un questionnaire de 30, il n'a aucune réponse « ne sait pas » et 5 contrôles sur 9 montrent des écarts. Si ces données entrent dans l'analyse, tout le rapport perd sa valeur, et le bailleur ou une évaluation pourrait le voir. Je propose de réinterroger ses ménages avec deux enquêteurs pendant trois jours et de prévenir aujourd'hui le chef de projet que le rapport partira avec trois jours de retard, ou qu'une note préliminaire sans les 9 villages sera envoyée vendredi, avec ses limites clairement indiquées. »

Équité envers E4 : pas d'accusation ; on lui présente les constats de façon factuelle et il peut s'expliquer (incompréhension des consignes, pression du nombre d'entretiens, problème de tablette). La suite relève de la procédure RH et, en cas de fabrication avérée, de la politique antifraude. Les constats restent confidentiels. On vérifie aussi si le système a encouragé la vitesse (paiement à l'entretien, objectifs journaliers trop élevés).