Módulo de IA · complemento das 12 semanas · cerca de 4 horas

Monitoria, avaliação e MEAL com inteligência artificial

Mini MBA Programas e MEAL

Objetivos do módulo
  • Usar a IA para acelerar a análise qualitativa e quantitativa mantendo resultados verificáveis.
  • Medir a fiabilidade de uma codificação assistida por IA através de dupla codificação de uma amostra.
  • Proteger os dados das pessoas inquiridas e de quem apresenta queixa em todas as etapas.

Este módulo complementa as 12 semanas do programa. Não acrescenta nenhum exame: os certificados e o diploma são obtidos como antes. As ferramentas são descritas tal como conhecidas em novembro de 2026; mudam depressa.

1Onde a IA ajuda a equipa MEAL

No ciclo MEAL, a IA generativa é útil para as tarefas repetitivas de texto e estrutura:

  • Análise qualitativa: propor um primeiro livro de códigos a partir de 50 respostas abertas, classificar testemunhos, resumir grupos focais.
  • Ferramentas de recolha: rever um questionário (perguntas duplas, tendenciosas ou demasiado longas), propor opções de resposta, ajudar a escrever a lógica de um formulário KoboToolbox ou ODK.
  • Análise quantitativa: escrever fórmulas de Excel, scripts de R ou Python, explicar um teste estatístico.
  • Restituição: primeiro rascunho de um relatório, de uma ficha de síntese ou de mensagens-chave para as comunidades.

Não é fiável para produzir números: perguntar «qual é a taxa de satisfação?» a um assistente que leu um ficheiro pode dar um resultado errado. Faça o cálculo com uma fórmula ou um script que possa ler e voltar a executar.

2Codificação qualitativa assistida: o método

  1. Anonimizar as respostas antes de qualquer envio: retirar nomes, números, locais precisos e pormenores identificativos.
  2. Construir o livro de códigos com a IA numa amostra e revê-lo em equipa: definições claras, exemplos, código «outro».
  3. Codificar o conjunto com a IA, fornecendo-lhe o livro de códigos.
  4. Verificar: um analista codifica à mão uma amostra aleatória (por exemplo 10 %, pelo menos 50 respostas) e calcula-se a taxa de concordância. Abaixo de cerca de 80 %, revêem-se as definições e recodifica-se.
  5. Documentar no relatório: ferramenta usada, tamanho da amostra verificada, taxa de concordância, limitações.

Atenção às línguas: um modelo compreende muitas vezes pior as respostas em línguas locais ou transcritas foneticamente; verifique mais essas respostas.

3Dados quantitativos: limpar e calcular sem inventar

Boas práticas:

  • Pedir à IA o código ou a fórmula, não o resultado. Exemplo: «Escreve uma fórmula de Excel que conte os agregados com uma pontuação de consumo alimentar inferior a 21».
  • Testar o código numa pequena amostra cuja resposta conhece.
  • Guardar um registo: script comentado, versão dos dados, etapas de limpeza (duplicados, valores atípicos, incoerências).
  • Nunca enviar a base bruta com identificadores para uma ferramenta de uso geral; trabalhar com uma base anonimizada ou numa conta profissional aprovada.

Para traduzir um questionário, a IA pode produzir um primeiro rascunho, mas a retrotradução e o teste junto de alguns inquiridos continuam indispensáveis: uma palavra mal escolhida pode mudar o sentido de um indicador.

4Queixas, feedback e dados sensíveis

Os mecanismos de queixa e feedback recebem por vezes mensagens muito sensíveis: exploração, abuso e assédio sexual (PSEA), fraude, ameaças. Regras:

  • As denúncias de PSEA, de fraude grave ou as ameaças são tratadas por pessoas formadas, segundo o procedimento confidencial, e nunca coladas numa ferramenta de IA.
  • Para o feedback corrente (horários de distribuição, qualidade de um artigo), uma classificação assistida pode ajudar, numa conta profissional, após anonimização e com controlo humano das categorias «sensíveis».
  • Um sistema automático nunca deve fazer «desaparecer» uma queixa: cada mensagem recebe um aviso de receção e um seguimento.

Lembre-se: as pessoas que apresentam queixa correm muitas vezes um risco. A confiança no mecanismo depende da confidencialidade.

5Relatórios, painéis e ética da avaliação

A IA pode propor a estrutura de um relatório, reformular para um público não técnico ou resumir conclusões em mensagens-chave. Mas:

  • Cada número do relatório deve vir da sua análise, com a respetiva fonte.
  • As citações de participantes devem ser reais, nunca geradas nem «melhoradas».
  • Uma avaliação continua independente: não deixe a ferramenta suavizar conclusões negativas.
  • Indique na metodologia o uso da IA e as suas limitações, como faria com um programa estatístico.

Por fim, restitua os resultados às comunidades na sua língua: a IA pode ajudar a simplificar uma mensagem, mas um membro da equipa que fala a língua valida a versão final.

Exercício: verificar uma codificação assistida por IA

Situação. Um inquérito pós-distribuição recolheu 640 respostas abertas. A IA codificou-as segundo um livro de códigos de 8 temas. Recodifica à mão uma amostra aleatória de 64 respostas: concorda com a IA em 50. Dos 14 desacordos, 9 dizem respeito a respostas em língua local.

Perguntas. 1) Qual é o tamanho da amostra em percentagem? 2) Qual é a taxa de concordância? 3) O que faz?

Correção. 1) 64 / 640 = 10 %. 2) 50 / 64 ≈ 78 %, abaixo do limiar de cerca de 80 %. 3) Rever as definições dos códigos em causa, mandar codificar as respostas em língua local por um analista falante (9 dos 14 desacordos, cerca de 64 %), recodificar e verificar uma nova amostra; documentar o processo e a taxa final no relatório.

A reter

  • A IA ajuda a codificar, estruturar e redigir; os números vêm de fórmulas ou scripts que se podem reler.
  • Anonimizar antes de qualquer envio; nunca uma base bruta com identificadores numa ferramenta de uso geral.
  • Verificar a codificação com dupla codificação de uma amostra e visar pelo menos cerca de 80 % de concordância.
  • As queixas sensíveis (PSEA, fraude, ameaças) são tratadas por pessoas formadas, nunca pela IA.
  • Citações reais, conclusões não suavizadas, uso da IA indicado na metodologia.

Questionário de autoavaliação

6 perguntas de autoavaliação, corrigidas na hora. Não contam para os exames.

1Para obter uma taxa de satisfação fiável a partir de uma base de dados, é melhor:
2Amostra de verificação de 64 respostas, 50 concordâncias. Taxa de concordância:
3Chega uma denúncia de exploração sexual pela linha de queixas. O que fazer?
4Depois da tradução de um questionário pela IA, a etapa indispensável é:
5Pode pedir-se à IA que torne «mais impactantes» as citações dos participantes?
6Que respostas é preciso verificar mais depois de uma codificação assistida?
Para ir mais longe

O Mini MBA IA e ação humanitária (Claude e Gemini) aprofunda estes temas em 12 semanas.

Ver o Mini MBA de IA