O sistema de monitorização: plano MEAL, qualidade dos dados e monitorização remota

1O plano MEAL: a coluna vertebral da monitorização

O plano MEAL descreve como cada indicador será medido, por quem, quando e para que decisão. Apresenta-se sob a forma de tabela: indicador, definição, base, meta, fonte e método, frequência, desagregação, responsável pela recolha, responsável pela análise, utilização (revisão mensal, relatório ao doador, ajustamento da focalização).

Abrange quatro tipos de monitorização:

• Monitorização das atividades e dos produtos: o que foi realizado, face ao plano (registos de distribuição, listas de presença, fichas de obra).
• Monitorização dos efeitos: mudanças nas pessoas (inquéritos de base, intermédios e finais; monitorização pós-distribuição).
• Monitorização do contexto: preços, acesso, segurança, movimentos de população, e indicadores dos pressupostos críticos do quadro lógico.
• Monitorização da prestação de contas: reclamações e feedback recebidos, prazo de resposta, satisfação, participação (semana 8).

O custo do plano MEAL deve estar no orçamento: pessoal, ferramentas, transporte, inquéritos, avaliações. Um intervalo de 3 a 10 % do orçamento do projeto é habitual; um projeto-piloto cujo efeito se pretende demonstrar pode justificar mais.

O melhor teste de um plano MEAL: para cada indicador, consegue nomear a reunião em que será discutido e a decisão que pode desencadear? Caso contrário, pergunte-se se vale a pena recolhê-lo.

2Das ferramentas de recolha ao painel de controlo

A cadeia de dados tem cinco elos: recolha, introdução e armazenamento, limpeza, análise, difusão. A recolha móvel (KoboToolbox, ODK, CommCare) substituiu o papel na maioria dos contextos: controlos automáticos na introdução (intervalos de valores, campos obrigatórios, saltos lógicos), geolocalização e registo horário, envio direto para o servidor.

Um bom formulário concebe-se a partir do plano de análise: escrevem-se primeiro as tabelas que se pretende produzir, depois as perguntas necessárias e apenas essas. Testa-se no terreno com verdadeiros respondentes antes de ser implementado, e depois fixa-se uma versão; qualquer alteração posterior é documentada, pois torna os dados de antes e de depois incomparáveis.

A limpeza segue regras escritas: duplicados, valores aberrantes (um agregado de 45 pessoas, uma despesa alimentar de 2 000 USD por semana), incoerências (uma criança de 3 anos casada), entrevistas demasiado curtas (menos de 10 minutos para um questionário de 40 minutos). Nunca se corrige um valor sem fonte; assinala-se, verifica-se com o inquiridor ou retira-se, e mantém-se um registo de limpeza.

O painel de controlo mostra poucos indicadores, com a meta, a tendência e um código de cores segundo limiares fixados de antemão. É atualizado ao ritmo das decisões: semanal para as distribuições, mensal para os indicadores de efeito intermédio.

3A qualidade dos dados: cinco dimensões

Uma avaliação da qualidade dos dados (DQA) verifica cinco dimensões:

O método mais concreto é a verificação por recontagem: escolhe-se uma amostra de locais, reconta-se a partir das fontes primárias (registos, fichas) e compara-se com os números reportados. Um rácio de verificação de 1,00 é perfeito; fixa-se uma tolerância, por exemplo entre 0,95 e 1,05. Acima de 1,05, os números reportados estão inflacionados; abaixo de 0,95, há atividades não reportadas.

Exemplo. Um centro de saúde reporta 1 240 consultas; a recontagem dos registos encontra 1 085. Rácio: 1 240 / 1 085 = 1,14. O centro sobredeclara em 14 %: é preciso compreender a causa (dupla contagem das consultas de seguimento, pressão sobre as metas) antes de qualquer sanção.

4Os controlos de qualidade da recolha

A qualidade joga-se durante a recolha, não depois. Os controlos padrão:

• Formação e teste dos inquiridores, com um teste escrito e entrevistas simuladas; os inquiridores que reprovam não recolhem dados.
• Supervisão direta de uma parte das entrevistas (por exemplo, 5 %).
• Reentrevistas de controlo (back-checks): 10 % dos agregados são novamente interrogados sobre algumas perguntas estáveis (dimensão do agregado, tipo de abrigo). Uma taxa de concordância baixa num inquiridor assinala erros ou entrevistas inventadas.
• Controlos remotos diários: duração das entrevistas, coordenadas GPS (entrevistas todas no mesmo local), hora (entrevistas às 3 da manhã), distribuição das respostas por inquiridor (um inquiridor cujos agregados têm todos exatamente 5 membros).

Os dados inventados («curbstoning») são mais frequentes do que se pensa quando os inquiridores são pagos por entrevista, sob pressão de quotas, ou enviados para zonas perigosas. Preveni-los passa por objetivos realistas, um pagamento diário em vez de à unidade, e controlos anunciados de antemão.

Um responsável MEAL que nunca encontra erros não procura o suficiente. Publicar internamente os erros encontrados e corrigidos reforça a confiança nos números.

5A monitorização remota e a monitorização por terceiros

Nas zonas inacessíveis ao pessoal (insegurança, restrições), a monitorização remota combina várias fontes para compensar a ausência de visitas:

• Parceiros locais ou pessoal local que têm acesso, com ferramentas padronizadas e provas (fotografias georreferenciadas, listas assinadas).
• Monitorização por terceiros (TPM): uma empresa ou organização independente, muitas vezes exigida pelos doadores, que verifica uma amostra de atividades.
• Chamadas telefónicas a uma amostra aleatória de beneficiários (monitorização pós-distribuição por telefone).
• Dados remotos: imagens de satélite (campos, culturas, destruições), dados de transações dos operadores móveis, dados de preços.
• Feedback da comunidade por linha gratuita e mensagens.

A monitorização remota tem limites: amostras por telefone enviesadas para os agregados equipados e muitas vezes masculinos, riscos de pressão sobre os parceiros, transferência dos riscos de segurança para o pessoal local. É preciso dizê-lo nos relatórios, pagar corretamente aos parceiros por este trabalho, e não lhes pedir que corram riscos que a organização recusaria para o seu próprio pessoal.

A triangulação é a regra: uma distribuição considera-se verificada quando pelo menos duas fontes independentes concordam (por exemplo, lista assinada e chamadas a uma amostra de beneficiários).

6Tornar a monitorização útil: dos dados à decisão

A monitorização raramente falha por falta de dados; falha porque ninguém os utiliza. Três mecanismos tornam a monitorização útil:

• Limiares de alerta fixados de antemão: se o tempo de espera nas distribuições ultrapassar 3 horas, se a taxa de reclamações não resolvidas ultrapassar 20 %, se o preço do cabaz aumentar mais de 10 %, é desencadeada uma ação predefinida.
• Revisões regulares em que a equipa de programa, o MEAL, a logística e as finanças olham em conjunto para os mesmos números e decidem. A ata regista as decisões, o seu responsável e o seu prazo.
• Um retorno às pessoas e às equipas: apresentar às comunidades o que foi aprendido e mudado; mostrar aos inquiridores para que serviram os seus dados.

A independência do MEAL conta. Se o responsável MEAL reportar unicamente ao gestor de projeto cujos resultados mede, a tentação de suavizar os maus números é forte. Uma dupla linha hierárquica (operacional no projeto, técnica junto de um responsável MEAL do país ou da sede) protege a qualidade da informação.