Module IA · complément des 12 semaines · environ 4 heures

Suivi, évaluation et MEAL avec l'intelligence artificielle

Mini MBA Programmes et MEAL

Objectifs du module
  • Utiliser l'IA pour accélérer l'analyse qualitative et quantitative tout en gardant des résultats vérifiables.
  • Mesurer la fiabilité d'un codage assisté par IA par un double codage sur échantillon.
  • Protéger les données des personnes enquêtées et des plaignants à chaque étape.

Ce module complète les 12 semaines du programme. Il n'ajoute pas d'examen : certificats et diplôme s'obtiennent comme avant. Les outils sont décrits tels que connus en novembre 2026 ; ils évoluent vite.

1Où l'IA aide l'équipe MEAL

Dans le cycle MEAL, l'IA générative est utile pour les tâches répétitives de texte et de structure :

  • Analyse qualitative : proposer un premier livre de codes à partir de 50 réponses ouvertes, classer des verbatims, résumer des groupes de discussion.
  • Outils de collecte : relire un questionnaire (questions doubles, orientées, trop longues), proposer des options de réponse, aider à écrire la logique d'un formulaire KoboToolbox ou ODK.
  • Analyse quantitative : écrire des formules Excel, des scripts R ou Python, expliquer un test statistique.
  • Restitution : premier jet d'un rapport, d'une fiche de synthèse, de messages clés pour les communautés.

Elle n'est pas fiable pour produire des chiffres : demander « quel est le taux de satisfaction ? » à un assistant qui a lu un fichier peut donner un résultat faux. Faites calculer par une formule ou un script que vous pouvez relire et réexécuter.

2Codage qualitatif assisté : la méthode

  1. Anonymiser les réponses avant tout envoi : retirer noms, numéros, lieux précis, détails qui identifient.
  2. Construire le livre de codes avec l'IA sur un échantillon, puis le réviser en équipe : définitions claires, exemples, code « autre ».
  3. Coder l'ensemble avec l'IA en lui donnant le livre de codes.
  4. Vérifier : un analyste code à la main un échantillon aléatoire (par exemple 10 %, au moins 50 réponses) et l'on calcule le taux d'accord. En dessous d'environ 80 %, on revoit les définitions et on recode.
  5. Documenter dans le rapport : outil utilisé, taille de l'échantillon vérifié, taux d'accord, limites.

Attention aux langues : un modèle comprend souvent moins bien les réponses en langues locales ou transcrites phonétiquement ; vérifiez davantage ces réponses.

3Données quantitatives : nettoyer et calculer sans inventer

Bonnes pratiques :

  • Demander à l'IA le code ou la formule, pas le résultat. Exemple : « Écris une formule Excel qui compte les ménages dont le score de consommation alimentaire est inférieur à 21 ».
  • Tester le code sur un petit échantillon dont vous connaissez la réponse.
  • Garder une trace : script commenté, version des données, étapes de nettoyage (doublons, valeurs aberrantes, incohérences).
  • Ne jamais envoyer la base brute avec identifiants à un outil grand public ; travailler sur une base anonymisée ou sur un compte professionnel approuvé.

Pour la traduction d'un questionnaire, l'IA peut produire un premier jet, mais la rétro-traduction et le test auprès de quelques répondants restent indispensables : un mot mal choisi peut changer le sens d'un indicateur.

4Plaintes, retours et données sensibles

Les mécanismes de plainte et de retour reçoivent parfois des messages très sensibles : abus, exploitation et atteintes sexuelles (PSEA), fraude, menaces. Règles :

  • Les allégations de PSEA, de fraude grave ou les menaces sont traitées par des personnes formées, selon la procédure confidentielle, et jamais collées dans un outil d'IA.
  • Pour les retours courants (horaires de distribution, qualité d'un article), un classement assisté peut aider, sur un compte professionnel, après anonymisation, et avec un contrôle humain des catégories « sensibles ».
  • Un système automatique ne doit jamais faire « disparaître » une plainte : chaque message reçoit un accusé et un suivi.

Rappel : les personnes qui se plaignent prennent souvent un risque. La confiance dans le mécanisme dépend de la confidentialité.

5Rapports, tableaux de bord et éthique de l'évaluation

L'IA peut proposer la structure d'un rapport, reformuler pour un public non technique, ou résumer des constats en messages clés. Mais :

  • Chaque chiffre du rapport doit venir de votre analyse, avec sa source.
  • Les citations de participants doivent être réelles, jamais générées ni « améliorées ».
  • Une évaluation reste indépendante : ne pas laisser l'outil adoucir des constats négatifs.
  • Indiquez dans la méthodologie l'usage de l'IA et ses limites, comme vous le feriez pour un logiciel statistique.

Enfin, restituez les résultats aux communautés dans leur langue : l'IA peut aider à simplifier un message, mais un membre de l'équipe qui parle la langue valide la version finale.

Exercice : vérifier un codage assisté par IA

Situation. Une enquête post-distribution a recueilli 640 réponses ouvertes. L'IA les a codées selon un livre de codes de 8 thèmes. Vous recodez à la main un échantillon aléatoire de 64 réponses : vous êtes d'accord avec l'IA pour 50 d'entre elles. Sur les 14 désaccords, 9 concernent des réponses en langue locale.

Questions. 1) Quelle est la taille de l'échantillon en pourcentage ? 2) Quel est le taux d'accord ? 3) Que faites-vous ?

Corrigé. 1) 64 / 640 = 10 %. 2) 50 / 64 ≈ 78 %, sous le seuil d'environ 80 %. 3) Revoir les définitions des codes en cause, faire coder les réponses en langue locale par un analyste locuteur (9 des 14 désaccords, soit environ 64 %), recoder puis revérifier un nouvel échantillon ; documenter la démarche et le taux final dans le rapport.

À retenir

  • L'IA aide à coder, structurer et rédiger ; les chiffres viennent de formules ou de scripts que l'on peut relire.
  • Anonymiser avant tout envoi ; jamais de base brute avec identifiants dans un outil grand public.
  • Vérifier le codage par un double codage sur échantillon et viser au moins environ 80 % d'accord.
  • Les plaintes sensibles (PSEA, fraude, menaces) sont traitées par des personnes formées, jamais par l'IA.
  • Citations réelles, constats non adoucis, usage de l'IA indiqué dans la méthodologie.

Quiz d'auto-évaluation

6 questions d'auto-évaluation, corrigées immédiatement. Elles ne comptent pas dans les examens.

1Pour obtenir un taux de satisfaction fiable à partir d'une base de données, il vaut mieux :
2Échantillon de vérification de 64 réponses, 50 accords. Taux d'accord :
3Une allégation d'exploitation sexuelle arrive par la ligne de plainte. Que faire ?
4Après traduction d'un questionnaire par l'IA, l'étape indispensable est :
5Peut-on demander à l'IA de « rendre plus parlantes » les citations des participants ?
6Quelles réponses faut-il vérifier davantage après un codage assisté ?
Pour aller plus loin

Le Mini MBA IA et action humanitaire (Claude et Gemini) approfondit ces sujets en 12 semaines.

Voir le Mini MBA IA