Avaliar: critérios, termos de referência, matriz e utilização

1Porquê e quando avaliar

Uma avaliação é uma apreciação sistemática e objetiva de uma intervenção, da sua conceção, da sua execução e dos seus resultados. Difere da monitorização: a monitorização é contínua e interna, pergunta «estamos a fazer o que tínhamos previsto?»; a avaliação é pontual, muitas vezes externa, e pergunta «estamos a fazer a coisa certa, da maneira certa, e o que é que isso muda?».

Tem duas funções, por vezes em tensão: a prestação de contas (prestar contas às pessoas, aos doadores, ao conselho de administração) e a aprendizagem (melhorar este programa e os seguintes). Uma avaliação concebida unicamente para a prestação de contas produz notas; uma avaliação concebida para a aprendizagem produz decisões.

Antes de encomendar uma avaliação, escreva quem a utilizará e para que decisão. Se ninguém souber responder, a avaliação será mais um relatório numa prateleira.

2Os critérios do CAD da OCDE

Os critérios de avaliação do Comité de Ajuda ao Desenvolvimento da OCDE, revistos em 2019, são seis:

• Pertinência: a intervenção responde às necessidades e prioridades das pessoas, e continua pertinente se o contexto mudar?
• Coerência (acrescentada em 2019): é compatível com as outras intervenções no mesmo contexto, internas e externas à organização?
• Eficácia: atinge os seus objetivos, incluindo para os diferentes grupos?
• Eficiência: produz os seus resultados de forma económica e a tempo?
• Impacto: que efeitos de mais longo prazo, positivos ou negativos, intencionais ou não?
• Sustentabilidade: os benefícios continuarão após o fim do financiamento?

No humanitário, utilizam-se também os critérios adaptados pela ALNAP: cobertura (alcançaram-se todas as pessoas necessitadas, sem exclusão?), conectividade (ligação entre a emergência e o mais longo prazo) e coordenação.

Os critérios não se aplicam todos com o mesmo peso. Uma avaliação em tempo real de uma resposta de três meses concentra-se na pertinência, na cobertura e na eficácia; falar de sustentabilidade nesta fase tem pouco sentido. Escolher três ou quatro critérios e aprofundá-los vale mais do que sobrevoar seis.

3Termos de referência que obtêm uma boa avaliação

Os termos de referência (TdR) são o contrato intelectual da avaliação. TdR vagos produzem avaliações vagas. Contêm:

• Contexto e descrição da intervenção (com a teoria da mudança e o quadro lógico em anexo).
• Objeto e utilizadores: porquê agora, para quem, para que decisões.
• Âmbito: período, zonas, componentes, o que fica excluído.
• Perguntas de avaliação: cinco a oito perguntas principais, não trinta. Cada pergunta é avaliável com os meios e o tempo disponíveis.
• Abordagem e métodos esperados, deixando a equipa propor, e os dados existentes disponíveis.
• Ética: consentimento, proteção de dados, protocolos para os temas sensíveis, participação das pessoas.
• Produtos e calendário: relatório inicial (inception), apresentação dos resultados, relatório provisório, relatório final, resumo.
• Perfil da equipa, orçamento, governação (grupo de referência) e regras de independência.

Ordem de grandeza. Uma avaliação final externa de qualidade de um projeto multissetorial custa muitas vezes entre 25 000 e 80 000 USD consoante o terreno e os métodos. Um orçamento demasiado baixo leva a poucos dias de terreno e a um relatório sem evidências; mais vale menos avaliações, mais bem feitas.

4A matriz de avaliação e o relatório inicial

A matriz de avaliação é a ferramenta central do relatório inicial: para cada pergunta, precisa as subperguntas, os indicadores ou critérios de juízo, as fontes de dados, os métodos de recolha e de análise, e os limites.

Exemplo. Pergunta: «Em que medida as transferências monetárias melhoraram a segurança alimentar dos agregados mais vulneráveis?» Critérios de juízo: evolução da pontuação de consumo e do rCSI entre a base e o fim, comparada com uma zona de comparação; diferenças segundo o sexo do chefe do agregado e a presença de uma pessoa com deficiência. Fontes: inquéritos de base e final, monitorização pós-distribuição, discussões de grupo. Métodos: diferença nas diferenças, análise qualitativa por grupo. Limites: zona de comparação parcialmente ajudada por outros atores a partir do mês 6.

O relatório inicial é o momento de corrigir o rumo: a equipa confirma o que é exequível, assinala as perguntas impossíveis de tratar, propõe a amostragem. O gestor valida-o com o grupo de referência antes do terreno. É o melhor investimento de tempo de toda a avaliação.

A qualidade de uma avaliação julga-se pela clareza da ligação entre constatações (apoiadas por dados), conclusões (juízos baseados nas constatações) e recomendações (ações que decorrem das conclusões). Uma recomendação sem constatação correspondente é uma opinião do avaliador.

5Independência, ética e gestão da avaliação

A independência protege a credibilidade: a equipa de avaliação não participou na conceção nem na execução; o gestor da avaliação não é o gestor do projeto avaliado; a equipa tem acesso livre aos dados e às pessoas; o programa pode comentar os factos do relatório provisório, mas não impor que se mudem as conclusões.

As normas e padrões de avaliação do Grupo de Avaliação das Nações Unidas (UNEG) e os princípios da ALNAP insistem na ética: não causar dano às pessoas inquiridas, consentimento informado, confidencialidade, atenção às pessoas em sofrimento e aos riscos de represálias, apresentação dos resultados às comunidades.

O gestor da avaliação tem um papel ativo: prepara os dados, organiza o acesso ao terreno, reúne o grupo de referência, controla a qualidade nas etapas-chave, protege a independência da equipa, e organiza a apresentação dos resultados. Os principais riscos são conhecidos: atrasos no arranque que reduzem o trabalho de terreno, dados de base inexistentes, acesso limitado, pressão para suavizar as constatações.

Uma avaliação que só encontra pontos positivos não é credível. Um programa que aceita constatações negativas bem fundamentadas mostra que é sério.

6A resposta da direção e a utilização

A resposta da direção (management response) é o documento que transforma uma avaliação em decisões. Para cada recomendação: aceite, parcialmente aceite ou rejeitada, com a justificação; ações previstas; responsável; prazo. É redigida no mês seguinte ao relatório final e publicada com ele.

O acompanhamento das ações faz-se nas revisões trimestrais da direção: em que ponto está cada ação? As organizações maduras publicam todos os anos uma taxa de execução das recomendações aceites.

Uma recomendação pode ser legitimamente rejeitada: demasiado dispendiosa, fora do mandato, já em curso. Mas a justificação deve ser escrita. O que não é aceitável é a ausência de resposta.

Por fim, a difusão adapta o formato ao público: resumo de duas páginas para a direção e os doadores, apresentação para as equipas, versão simples e oral para as comunidades, e publicação do relatório completo (por exemplo na biblioteca da ALNAP) para o setor. A publicação das avaliações, incluindo as críticas, é um compromisso do Grand Bargain em matéria de transparência.