Gestão de uma avaliação final: termos de referência, análise de impacto e resposta da direção

Fragilidades: (1) o objetivo «demonstrar o impacto positivo» prejulga o resultado: uma avaliação serve para aprender e prestar contas, não para provar; (2) as perguntas são demasiado numerosas, fechadas e sem ligação com os critérios; (3) o inquérito limitado aos beneficiários não permite qualquer atribuição, embora existam dados de comparação; (4) julho é em plena época de escassez e na estação das chuvas: os resultados não seriam comparáveis aos inquéritos de novembro e o acesso seria difícil; (5) conflito de interesses grave: o antigo chefe de projeto avaliaria o seu próprio trabalho; (6) relatório em inglês, quando as autoridades, os parceiros e as comunidades leem francês ou árabe; (7) nenhuma disposição ética (consentimento, confidencialidade, proteção de dados, conduta a seguir em caso de denúncia de abusos); (8) não está prevista qualquer restituição às comunidades nem resposta da direção.

Orçamento realista: honorários 25 × 450 = 11 250 USD; recolha 800 / 8 = 100 dias-inquiridor × 20 = 2 000 USD; formação de 12 inquiridores × 3 dias × 20 = 720 USD; veículos 2 × 12 dias × 120 = 2 880 USD. Total de cerca de 16 850 USD antes da introdução de dados, supervisão e restituição, ou seja, quase o dobro dos 9 000 USD previstos. É necessário aumentar o orçamento (uma avaliação final representa habitualmente uma pequena percentagem do orçamento de um projeto) ou reduzir a amostra, justificando-o com um cálculo de potência e mantendo o grupo de comparação.

Objetivo reformulado: «Apreciar, de forma independente, a pertinência, a eficácia, a eficiência, o impacto e a sustentabilidade do projeto, em particular para os agregados familiares chefiados por uma mulher, a fim de retirar lições para a fase 2 e prestar contas às comunidades, às autoridades e ao doador.»

Perguntas: (pertinência) em que medida as cadeias de valor escolhidas respondiam às prioridades e restrições dos agregados familiares refugiados e de acolhimento, incluindo as mulheres? (coerência) o projeto estava articulado com as outras intervenções de meios de subsistência da zona? (eficácia) em que medida foram alcançados os resultados esperados em rendimento e diversidade alimentar, para que grupos, e porquê? (eficiência) qual o custo por agregado familiar cujo rendimento aumentou, em comparação com outras modalidades? (impacto) que parte das mudanças observadas pode ser atribuída ao projeto, e que efeitos não previstos houve? (sustentabilidade) que atividades continuam sem apoio, e em que condições?

Diferenças nas diferenças = (final − base) intervenção − (final − base) comparação.

Leitura: uma comparação antes-depois atribuiria ao projeto o dobro do efeito real na diversidade alimentar (+1,8 em vez de +0,9) e mais do dobro no rendimento (+13 000 em vez de +5 500). O efeito nas mulheres chefes de agregado familiar é quase nulo: o projeto não alcançou este grupo, o que apoia a recomendação R1.

Validade: (1) o pressuposto das tendências paralelas não pode ser verificado com dois pontos de medição; os níveis de base são próximos (3,8 e 4,1; 28 000 e 30 000), o que é tranquilizador, mas não conclusivo; (2) a distribuição de sementes em 5 das 9 aldeias de comparação melhora provavelmente os seus resultados: o efeito do projeto está portanto provavelmente subestimado; uma análise que isole as 4 aldeias não contaminadas seria útil, com prudência quanto à dimensão da amostra; (3) os dois inquéritos em novembro, após a colheita, tornam as medições comparáveis entre si, mas nada dizem sobre a época de escassez; (4) seria necessário verificar a significância (intervalos de confiança, regressão com efeito de conglomerado) antes de qualquer afirmação forte, e verificar que o atrito da amostra é reduzido.

Formulação: «O projeto está associado a uma melhoria da pontuação de diversidade alimentar de cerca de 0,9 pontos e do rendimento de cerca de 5 500 XAF por mês para além da evolução das aldeias de comparação; esta estimativa é provavelmente prudente, dado que parte destas aldeias recebeu assistência. Não se observa qualquer efeito nos agregados familiares chefiados por uma mulher.»

Comentários da equipa: são defensivos e em parte errados. Uma participação de 60% de mulheres não prova a inclusão: a diferença nas diferenças mostra um efeito quase nulo para os agregados familiares chefiados por uma mulher. A queda dos preços não é controlável, mas o risco era previsível e gerível. A suposta preferência do doador não justifica uma dispersão que reduz a eficácia.

A resposta da direção é publicada com o relatório e o seu acompanhamento é revisto trimestralmente.

Lembro que o avaliador é independente: nem o chefe de projeto nem eu podemos pedir-lhe que retire um resultado. O chefe de projeto pode, em contrapartida, formular comentários factuais sobre o relatório provisório; o avaliador decide se os integra e documenta as suas escolhas. Se a dimensão da amostra for uma limitação real, a resposta correta é indicá-lo (intervalo de confiança, menção de prudência), e não suprimir o resultado. Recuso reter o relatório: o doador está à espera dele, e ocultá-lo antes de um pedido de financiamento seria enganador. Proponho, pelo contrário, transmitir o relatório com a resposta da direção, que mostra como a fase 2 corrige a fragilidade: é um argumento a favor da proposta. Informo o diretor de país do pedido e, se este for mantido, escalo-o de acordo com a política de avaliação da organização.

«(1) O projeto teve um efeito positivo mensurável, para além da evolução das aldeias de comparação: +0,9 pontos de diversidade alimentar, +5 500 XAF de rendimento mensal (cerca de +20%) e menos 9 pontos de agregados familiares a recorrer a estratégias de crise. (2) Esta estimativa é provavelmente prudente, pois parte das aldeias de comparação recebeu outra assistência. (3) Os agregados familiares chefiados por uma mulher quase não beneficiaram: a fase 2 adaptará o pacote às suas restrições. (4) A dispersão por 8 cadeias de valor e a ausência de acompanhamento dos preços reduziram o efeito (queda de 30% do preço do amendoim). (5) A fase 2 concentrará o apoio em 4 ou 5 cadeias de valor, com análise de mercado e seleção participativa.»