Conceber um programa: cadeia de resultados, indicadores e metas

1A cadeia de resultados: o que depende de si e o que não depende

Uma cadeia de resultados liga cinco níveis: insumos (dinheiro, pessoal, material), atividades (formar, distribuir, construir), produtos (resultados diretos: 400 latrinas construídas, 1 200 agregados familiares formados), efeitos (mudanças de comportamento ou de situação: 80 % dos agregados utilizam as latrinas), impacto (mudança duradoura a longo prazo: redução das diarreias nas crianças com menos de cinco anos).

A fronteira decisiva situa-se entre produto e efeito. A organização controla os seus produtos: se as latrinas não forem construídas, a responsabilidade é sua. Influencia os efeitos, que dependem também das pessoas e do contexto. Contribui para o impacto, juntamente com muitos outros atores. Um relatório que só apresenta produtos diz o que foi feito, não o que mudou; um projeto que promete um impacto sem efeito mensurável promete o que não conseguirá demonstrar.

Teste do «e então?»: para cada produto, pergunte «e então?» até chegar a uma mudança que conte para as pessoas. Se a resposta parar em «as pessoas receberam um kit», o programa não tem um efeito definido.

Cada passagem de um nível para o seguinte assenta em pressupostos. Construir latrinas leva à sua utilização apenas se forem culturalmente aceitáveis, seguras à noite para as mulheres, mantidas e acompanhadas de sensibilização. Estes pressupostos são exatamente o que a monitorização terá de verificar.

2Da teoria da mudança ao quadro lógico

A teoria da mudança explica porquê e como a mudança esperada se produzirá, com as suas hipóteses causais, as evidências que as sustentam e o papel dos outros atores. O quadro lógico (logframe) é a sua tradução operacional: uma matriz de quatro colunas (lógica de intervenção, indicadores, fontes de verificação, pressupostos) e quatro linhas (objetivo geral, objetivo específico, resultados, atividades).

A lógica vertical lê-se de baixo para cima: se as atividades forem realizadas e os pressupostos desse nível se confirmarem, então os resultados são alcançados; se os resultados forem alcançados e os pressupostos se confirmarem, então o objetivo específico é alcançado. A lógica horizontal lê-se por linha: cada nível tem indicadores mensuráveis e uma fonte que permite efetivamente medi-los.

Erros frequentes na revisão de propostas:

• Um objetivo específico que reformula os resultados («os agregados receberam transferências») em vez de uma mudança («os agregados visados melhoram o seu consumo alimentar»).
• Vários objetivos específicos num pequeno projeto, que dispersam a medição.
• Pressupostos que são na realidade riscos que a organização deveria gerir («o pessoal é recrutado a tempo»). Um pressuposto está fora do controlo do projeto; se for crítico e muito improvável, é um pressuposto fatal e o projeto deve ser reconcebido.
• Fontes de verificação que ninguém produzirá («estatísticas nacionais» que não existem ao nível do distrito).

3Indicadores que medem realmente

Um bom indicador é válido (mede o que pretende medir), fiável (dois inquiridores obtêm o mesmo resultado), sensível (varia se a situação mudar durante o projeto), simples de recolher e útil para uma decisão. O critério SMART (específico, mensurável, alcançável, pertinente, temporal) aplica-se sobretudo à meta associada.

Cada indicador-chave deve ter uma ficha de referência (PIRS): definição precisa, numerador e denominador, unidade, desagregação, método e ferramenta de recolha, frequência, responsável, linha de base e meta. Sem ficha, dois escritórios calculam o mesmo indicador de duas maneiras e os números não se somam.

Exemplo de definição rigorosa. «Percentagem de agregados familiares visados com uma pontuação de consumo alimentar aceitável (superior a 35)». Numerador: agregados da amostra com uma pontuação superior a 35. Denominador: agregados visados da amostra. Desagregação: sexo do chefe do agregado, presença de uma pessoa com deficiência, estatuto (deslocado, de acolhimento).

O setor dispõe de indicadores padrão que é preferível utilizar a reinventar, pois permitem comparar e agregar: pontuação de consumo alimentar (FCS: limiares 21 e 35 na maioria dos contextos, 28 e 42 onde o consumo de óleo e de açúcar é elevado), índice reduzido de estratégias de sobrevivência (rCSI), escala da fome dos agregados (HHS), perímetro braquial (MUAC: menos de 115 mm para a desnutrição aguda grave na criança dos 6 aos 59 meses), indicadores do programa conjunto de monitorização WASH (JMP), e os registos de indicadores dos clusters.

4Linha de base e metas realistas

Uma meta sem linha de base não tem sentido: «70 % dos agregados com um consumo aceitável» é um enorme progresso se se partir de 30 %, e um retrocesso se se partir de 80 %. A linha de base mede-se antes do início das atividades, com o mesmo método que a medição final. Quando é impossível (emergência súbita), utilizam-se dados secundários recentes e mede-se logo nas primeiras semanas, documentando-o.

Uma meta realista calcula-se, não se adivinha. Combina: a linha de base, a cobertura real do projeto (parte da população em causa alcançada), a eficácia esperada da intervenção segundo as evidências disponíveis, e os fatores externos (estação, preços).

Exemplo. Base: 40 % de agregados com um consumo aceitável. O projeto alcança 80 % dos agregados visados. Projetos comparáveis fizeram passar 50 % dos agregados alcançados de um consumo insuficiente para aceitável. Entre os 60 % de agregados abaixo do limiar, 0,8 × 0,5 = 40 % passam para cima: 0,6 × 0,4 = 24 pontos. Meta: 40 + 24 = 64 %, que se arredondará prudentemente para 60 % se o período de escassez for mais duro do que o previsto.

Uma meta demasiado ambiciosa não motiva: obriga a explicar um fracasso que não o é, e leva a embelezar os dados.

5Género, idade, deficiência e inclusão desde a conceção

A inclusão não se acrescenta no fim: concebe-se. O marcador de género e idade do IASC (GAM) avalia os projetos com base em elementos concretos: análise das necessidades diferenciadas, atividades adaptadas, participação dos diferentes grupos na conceção e na decisão, e mecanismos de feedback acessíveis. Um projeto que não recolhe dados desagregados não consegue mostrar que as mulheres, os idosos ou as pessoas com deficiência beneficiam dele.

Concretamente: desagregar os indicadores por sexo, idade (pelo menos por faixas 0-5, 6-17, 18-59, 60 e mais) e deficiência; adaptar os locais (rampas, horários, distância, filas prioritárias); prever o custo da acessibilidade no orçamento (muitas vezes 3 a 5 % dos custos das atividades em causa); consultar separadamente mulheres e homens, jovens e idosos.

As normas humanitárias de inclusão das pessoas idosas e das pessoas com deficiência e as diretrizes do IASC sobre a inclusão das pessoas com deficiência (2019) definem ações mínimas: identificar (dados desagregados), eliminar as barreiras (físicas, de comunicação, de atitude), capacitar (participação nas decisões) e reforçar as capacidades das organizações de pessoas com deficiência.

6Verificar a conceção antes de a submeter

Antes de submeter uma proposta, uma breve revisão interna evita a maioria das recusas e das más surpresas durante o projeto. Cinco perguntas bastam:

• Coerência: cada atividade contribui para um resultado, e cada resultado para o objetivo específico? Uma atividade sem resultado deve ser suprimida; um resultado sem atividade é irrealista.
• Mensurabilidade: cada indicador tem uma definição, uma base, uma meta, uma fonte, um orçamento e um responsável?
• Proporcionalidade: o dispositivo de monitorização custa entre 3 e 10 % do orçamento (intervalo habitual), em proporção com o que o doador e a gestão pedem?
• Pressupostos: os pressupostos críticos são acompanhados por um indicador de contexto?
• Pessoas: as comunidades foram consultadas sobre a modalidade, a focalização e os mecanismos de reclamação?

O quadro lógico não é fixo. Revê-se quando o contexto muda, desde que se documente a razão, se consulte o doador para qualquer alteração de objetivo ou de meta, e se guarde o registo das versões. Um quadro lógico que nunca mudou num contexto volátil é muitas vezes um quadro lógico que ninguém utiliza.