Enquêtes et échantillonnage : obtenir des chiffres justes

1Population, échantillon et représentativité

Une enquête cherche à connaître une population (tous les ménages déplacés d'un district) à partir d'un échantillon. Les résultats ne sont généralisables que si chaque unité de la population a une probabilité connue et non nulle d'être tirée : c'est l'échantillonnage probabiliste. Un échantillon « de convenance » (les ménages proches de la route, ceux présents à la distribution) peut être grand, il reste biaisé.

Il faut d'abord une base de sondage : liste des ménages, des sites, des villages, avec leur population. Sans liste fiable, on travaille par étapes : on tire des villages ou des blocs d'un camp, puis des ménages à l'intérieur, en les dénombrant sur place.

Les principaux plans :

• Aléatoire simple : tirage au sort dans la liste complète. Le plus simple statistiquement, souvent impraticable sur le terrain.
• Systématique : on calcule un pas (population / taille d'échantillon), on tire un point de départ au hasard, puis on prend un ménage tous les « pas ». Pour 2 400 abris et 240 ménages à interroger, pas = 10 ; départ tiré entre 1 et 10, par exemple 7 : abris 7, 17, 27…
• Stratifié : la population est divisée en groupes (déplacés et hôtes, zones urbaines et rurales) et l'on tire un échantillon dans chaque groupe. Indispensable si l'on veut des résultats fiables pour chaque groupe.
• En grappes : on tire d'abord des grappes (villages), puis des ménages dans chaque grappe. Moins coûteux en déplacements, mais moins précis : il faut un échantillon plus grand.

2Calculer la taille d'échantillon

Pour estimer une proportion, la formule de base est : n = z² × p × (1 − p) / e², où z vaut 1,96 pour un niveau de confiance de 95 %, p est la proportion attendue (0,5 quand on ne sait pas, car c'est le cas le plus exigeant) et e la marge d'erreur.

• Marge 5 % : 1,96² × 0,25 / 0,0025 = 384 ménages.
• Marge 7 % : 196 ménages.
• Marge 10 % : 96 ménages.

Diviser la marge par deux multiplie l'échantillon par quatre. Le choix de la marge dépend de la décision : pour suivre une variation de 10 points entre deux enquêtes, une marge de 10 % ne suffit pas.

Correction pour population finie. Quand la population est petite, l'échantillon nécessaire diminue : n = n₀ / (1 + (n₀ − 1) / N). Pour N = 2 000 ménages : 384 / (1 + 383 / 2 000) = 384 / 1,19 = 323 ménages. Pour N = 100 000, la correction est négligeable.

Effet de plan. En échantillonnage en grappes, les ménages d'un même village se ressemblent, ce qui réduit l'information apportée par chacun. On multiplie l'échantillon par l'effet de plan : DEFF = 1 + (m − 1) × ICC, où m est le nombre de ménages par grappe et ICC le coefficient de corrélation intra-grappe. Avec 10 ménages par grappe et un ICC de 0,05 : DEFF = 1 + 9 × 0,05 = 1,45. Faute de données, on utilise souvent 1,5 à 2.

Non-réponses. On divise par le taux de réponse attendu : avec 10 % de non-réponses, n / 0,9.

Calcul complet : marge 5 %, p = 0,5, DEFF 1,5, non-réponses 10 % : 384 × 1,5 = 576 ; 576 / 0,9 = 640 ménages, par exemple 64 grappes de 10 ménages.

3Stratification et comparaisons

Si l'on veut des résultats pour chaque strate avec la même précision, il faut la taille d'échantillon dans chaque strate. Pour trois districts avec une marge de 5 % chacun, l'échantillon est trois fois plus grand qu'une estimation globale. C'est souvent la principale cause des enquêtes trop chères : on promet des résultats par district, par sexe du chef de ménage et par statut, sans calculer l'échantillon nécessaire.

Quand les strates ont des tailles différentes et que l'on veut un résultat global, on pondère : chaque strate compte selon sa part dans la population et non selon sa part dans l'échantillon. Exemple. Déplacés : 20 000 ménages, échantillon 400, 60 % en insécurité alimentaire. Hôtes : 80 000 ménages, échantillon 400, 30 % en insécurité alimentaire. Moyenne non pondérée : 45 %. Moyenne pondérée : 0,2 × 60 + 0,8 × 30 = 36 %. Présenter 45 % surestimerait fortement la situation.

Pour comparer deux enquêtes (référence et finale) ou deux groupes, il faut un échantillon capable de détecter la différence attendue : détecter un passage de 40 % à 50 % avec 95 % de confiance et 80 % de puissance demande environ 385 ménages par groupe en échantillonnage aléatoire simple, davantage en grappes. Un petit changement exige un grand échantillon.

4Concevoir un questionnaire fiable

Un questionnaire se construit à partir des indicateurs et du plan d'analyse. Règles essentielles :

• Une idée par question : « Avez-vous accès à l'eau et au savon ? » est deux questions.
• Période de rappel définie : « Au cours des 7 derniers jours » pour l'alimentation, « au cours des 30 derniers jours » pour les dépenses. Une période trop longue produit des erreurs de mémoire.
• Modules standard pour les indicateurs standard (score de consommation alimentaire, rCSI, groupe de Washington), sans les modifier, pour rester comparable.
• Formulation neutre : « Que pensez-vous de la distribution ? » plutôt que « Êtes-vous satisfait de la distribution ? ».
• Ordre : questions simples au début, sensibles à la fin, et jamais de question sensible sans formation des enquêteurs et sans possibilité de référencement.
• Traduction et rétrotraduction dans les langues locales, puis test sur le terrain.
• Durée : au-delà de 45 minutes, la qualité des réponses diminue ; supprimer ce qui n'est pas indispensable.

Le consentement éclairé est lu à chaque répondant : objet de l'enquête, durée, caractère volontaire, absence de lien avec l'aide, confidentialité. Un refus est respecté et remplacé selon la règle prévue, jamais par le voisin le plus pratique.

5Interpréter une proportion et son intervalle de confiance

Un résultat d'enquête est une estimation, entourée d'une incertitude. L'intervalle de confiance à 95 % d'une proportion est approximativement : p ± 1,96 × √(p × (1 − p) / n), multiplié par √DEFF en grappes.

Exemple. 384 ménages en échantillonnage aléatoire simple, 45 % sans accès suffisant à l'eau. Erreur type : √(0,45 × 0,55 / 384) = 0,0254. Marge : 1,96 × 0,0254 = 5,0 points. Intervalle : 40 % à 50 %.

Conséquences pratiques :

• Si la référence était 45 % (intervalle 40-50 %) et la finale 49 % (intervalle 44-54 %), on ne peut pas affirmer que la situation s'est dégradée.
• Les résultats par sous-groupe ont des intervalles plus larges, car les sous-groupes sont plus petits : 45 % sur 80 ménages dirigés par une femme a une marge d'environ 11 points.
• On présente toujours la taille d'échantillon, et l'intervalle pour les indicateurs clés.

La signification statistique ne veut pas dire importance pratique : avec un très grand échantillon, une différence de 1 point peut être significative sans changer aucune décision. Inversement, une différence importante peut ne pas être significative avec un petit échantillon : on dit alors que les données ne permettent pas de conclure, pas qu'il n'y a pas d'effet.

6Organiser une enquête sur le terrain

Une enquête ménage se prépare en semaines, pas en jours. Le calendrier type :

• Semaine 1 : objectifs, indicateurs, plan d'analyse, plan d'échantillonnage, accord des autorités.
• Semaine 2 : questionnaire, traduction, programmation sur tablette, tests.
• Semaine 3 : recrutement et formation des enquêteurs (3 à 5 jours, avec test et pratique), test pilote, corrections.
• Semaines 4 et 5 : collecte, avec contrôles qualité quotidiens et réunions de débriefing.
• Semaine 6 : nettoyage, pondération, analyse, validation avec l'équipe et les partenaires.
• Semaine 7 : rapport et restitution, y compris aux communautés.

Logistique. Nombre d'équipes = taille d'échantillon / (entretiens par équipe et par jour × jours de collecte). Pour 640 ménages, 4 entretiens par enquêteur et par jour, 10 jours : 640 / 40 = 16 enquêteurs, soit 4 équipes de 4 avec un superviseur chacune. On prévoit 10 à 20 % de jours de réserve pour les imprévus (pluie, sécurité, accès).

Le remplacement des ménages absents ou qui refusent suit une règle écrite (revenir une fois, puis remplacer par le ménage suivant dans la liste tirée), sans quoi les enquêteurs remplacent les ménages éloignés par des ménages proches, ce qui biaise l'échantillon.