Quadro de seguimento dos indicadores: recálculo, dupla contagem e ficha de referência

T3: 1,96 × √(0,381 × 0,619 / 310) = 1,96 × 0,0276 = ± 5,4 pontos, ou seja, um intervalo de 32,7% a 43,5%.

Base: 1,96 × √(0,22 × 0,78 / 300) = ± 4,7 pontos, ou seja, 17,3% a 26,7%.

Os intervalos não se sobrepõem: a melhoria é estatisticamente defensável. Contudo, não pode ser inteiramente atribuída ao projeto (não há grupo de comparação; outros atores distribuem sabão na zona).

O limite superior (43,5%) continua abaixo da meta de 50%: a três meses do fim, a meta é pouco provável se nada mudar. É preciso analisar os obstáculos (custo do sabão, acesso à água, ausência de dispositivo) e ajustar (distribuição de dispositivos, recargas de sabão).

Diferença 71% / 38%: 33 pontos de diferença entre o que as pessoas dizem e o que é observado. É um enviesamento clássico de desejabilidade social: os agregados respondem o que pensam que se espera deles. Isto justifica manter a observação como método.

• Definição: proporção de agregados familiares visados nos quais o inquiridor observa um dispositivo de lavagem das mãos (fixo ou móvel) com água e sabão (ou cinza, se o projeto o aceitar, a precisar) no momento da visita, e cujo respondente realiza uma demonstração correta (molhar, ensaboar, esfregar durante pelo menos 20 segundos, enxaguar, secar ao ar ou com um pano limpo).
• Numerador: agregados que cumprem as duas condições. Denominador: agregados inquiridos que aceitaram a observação.
• Método: inquérito aos agregados familiares por amostra aleatória simples a partir da lista de beneficiários; observação direta, sem pergunta fechada; formulário digital com fotografia do dispositivo apenas se o agregado consentir, sem rostos.
• Recolhedores: inquiridores formados, independentes dos agentes comunitários que animam as sessões (para evitar o enviesamento de complacência).
• Frequência e calendário: base, meio-termo (T2) e fim do projeto, na mesma estação para limitar o efeito da disponibilidade de água.
• Desagregação: sexo do chefe do agregado, aldeia ou local, agregado com pessoa com deficiência, estatuto (deslocado, retornado, comunidade de acolhimento).
• Base e meta: 22% (n = 300, mês 1); meta de 50%.
• Responsável: técnico(a) de monitoria e avaliação para a recolha e a análise; chefe de projeto para a utilização dos resultados.
• Controlo de qualidade: reverificação de pelo menos 5% dos agregados; margem de erro reportada com o resultado.
• Limitações conhecidas: a observação pontual não prova a prática nos momentos críticos; presença de sabão variável consoante o dia da visita.

Exemplo de resposta: «Compreendo a preocupação, mas não podemos manter os 6 940: este número conta várias vezes as mesmas pessoas e o indicador refere-se a pessoas únicas. Uma auditoria ou uma avaliação final descobri-lo-ia facilmente, e a correção seria então muito mais custosa para a nossa credibilidade. O número do T2 (4 630) tinha o mesmo erro. Proponho anunciar 4 870 pessoas únicas no T3, com uma nota de rodapé a explicar a correção de método e a revisão do número do T2. Podemos também indicar as 6 940 participações como dado complementar: mostram que 1 450 pessoas voltaram, o que é um ponto positivo. Preparo a nota para validação amanhã.»

Medidas: (1) identificador individual obrigatório no formulário de presenças e deduplicação automática antes de cada consolidação; acabar com as fichas em papel sem número, ou introdução com cruzamento com a lista nominal; (2) fichas de referência validadas para todos os indicadores e formação das equipas sobre a diferença entre contar pessoas e contar atos, e sobre o cálculo de uma percentagem acumulada; (3) revisão trimestral da qualidade dos dados pelo MEAL antes de qualquer envio ao doador, com controlo de coerência (nenhum indicador em percentagem pode ultrapassar 100% de realização sem verificação, comparação com as fontes primárias).