Evaluar: criterios, términos de referencia, matriz y utilización

1Por qué y cuándo evaluar

Una evaluación es una apreciación sistemática y objetiva de una intervención, de su diseño, de su ejecución y de sus resultados. Se diferencia del seguimiento: el seguimiento es continuo e interno, y pregunta «¿hacemos lo que habíamos previsto?»; la evaluación es puntual, a menudo externa, y pregunta «¿hacemos lo correcto, de la manera correcta, y qué cambia con ello?».

Tiene dos funciones, a veces en tensión: la rendición de cuentas (rendir cuentas a las personas, a los donantes, a la junta directiva) y el aprendizaje (mejorar este programa y los siguientes). Una evaluación concebida únicamente para la rendición de cuentas produce calificaciones; una evaluación concebida para el aprendizaje produce decisiones.

Antes de encargar una evaluación, escriba quién la utilizará y para qué decisión. Si nadie puede responder, la evaluación será un informe más en una estantería.

2Los criterios del CAD de la OCDE

Los criterios de evaluación del Comité de Ayuda al Desarrollo de la OCDE, revisados en 2019, son seis:

• Pertinencia: ¿responde la intervención a las necesidades y prioridades de las personas, y sigue siendo pertinente si cambia el contexto?
• Coherencia (añadida en 2019): ¿es compatible con las demás intervenciones en el mismo contexto, internas y externas a la organización?
• Eficacia: ¿alcanza sus objetivos, también para los distintos grupos?
• Eficiencia: ¿produce sus resultados de forma económica y a tiempo?
• Impacto: ¿qué efectos a más largo plazo, positivos o negativos, buscados o no?
• Sostenibilidad: ¿continuarán los beneficios tras el final de la financiación?

En el ámbito humanitario también se utilizan los criterios adaptados por ALNAP: cobertura (¿se ha llegado a todas las personas con necesidades, sin exclusión?), conectividad (vínculo entre la emergencia y el largo plazo) y coordinación.

No todos los criterios se aplican con el mismo peso. Una evaluación en tiempo real de una respuesta de tres meses se centra en la pertinencia, la cobertura y la eficacia; hablar de sostenibilidad en esa fase tiene poco sentido. Elegir tres o cuatro criterios y profundizar en ellos es mejor que sobrevolar seis.

3Términos de referencia que consiguen una buena evaluación

Los términos de referencia (TdR) son el contrato intelectual de la evaluación. Unos TdR vagos producen evaluaciones vagas. Contienen:

• Contexto y descripción de la intervención (con la teoría del cambio y el marco lógico en anexo).
• Objeto y usuarios: por qué ahora, para quién, para qué decisiones.
• Alcance: periodo, zonas, componentes, lo que queda excluido.
• Preguntas de evaluación: de cinco a ocho preguntas principales, no treinta. Cada pregunta es evaluable con los medios y el tiempo disponibles.
• Enfoque y métodos esperados, dejando que el equipo proponga, y los datos existentes disponibles.
• Ética: consentimiento, protección de datos, protocolos para los temas sensibles, participación de las personas.
• Productos y calendario: informe inicial (inception), devolución, borrador de informe, informe final, resumen.
• Perfil del equipo, presupuesto, gobernanza (grupo de referencia) y reglas de independencia.

Orden de magnitud. Una evaluación final externa de calidad de un proyecto multisectorial cuesta a menudo entre 25 000 y 80 000 USD según el terreno y los métodos. Un presupuesto demasiado bajo conduce a unos pocos días de terreno y a un informe sin evidencias; es mejor hacer menos evaluaciones, mejor hechas.

4La matriz de evaluación y el informe inicial

La matriz de evaluación es la herramienta central del informe inicial: para cada pregunta, precisa las subpreguntas, los indicadores o criterios de juicio, las fuentes de datos, los métodos de recopilación y de análisis, y los límites.

Ejemplo. Pregunta: «¿En qué medida las transferencias monetarias han mejorado la seguridad alimentaria de los hogares más vulnerables?». Criterios de juicio: evolución de la puntuación de consumo y del rCSI entre la línea de base y el final, comparada con una zona de comparación; diferencias según el sexo del jefe de hogar y la presencia de una persona con discapacidad. Fuentes: encuestas de línea de base y final, monitoreo posdistribución, grupos focales. Métodos: diferencia en diferencias, análisis cualitativo por grupo. Límites: zona de comparación parcialmente asistida por otros actores a partir del mes 6.

El informe inicial es el momento de corregir el rumbo: el equipo confirma lo que es factible, señala las preguntas imposibles de tratar y propone el muestreo. El gestor lo valida con el grupo de referencia antes del trabajo de campo. Es la mejor inversión de tiempo de toda la evaluación.

La calidad de una evaluación se juzga por la claridad del vínculo entre hallazgos (respaldados por datos), conclusiones (juicios basados en los hallazgos) y recomendaciones (acciones que se derivan de las conclusiones). Una recomendación sin hallazgo correspondiente es una opinión del evaluador.

5Independencia, ética y gestión de la evaluación

La independencia protege la credibilidad: el equipo de evaluación no participó en el diseño ni en la ejecución; el gestor de la evaluación no es el jefe del proyecto evaluado; el equipo tiene libre acceso a los datos y a las personas; el programa puede comentar los hechos del borrador de informe, pero no imponer que se cambien las conclusiones.

Las normas y estándares de evaluación del Grupo de Evaluación de las Naciones Unidas (UNEG) y los principios de ALNAP insisten en la ética: no causar daño a las personas entrevistadas, consentimiento informado, confidencialidad, atención a las personas en situación de angustia y a los riesgos de represalias, devolución a las comunidades.

El gestor de la evaluación tiene un papel activo: prepara los datos, organiza el acceso al terreno, reúne al grupo de referencia, controla la calidad en las etapas clave, protege la independencia del equipo y organiza la devolución. Los principales riesgos son conocidos: retrasos de arranque que reducen el trabajo de campo, datos de línea de base inexistentes, acceso limitado, presión para suavizar los hallazgos.

Una evaluación que solo encuentra aspectos positivos no es creíble. Un programa que acepta hallazgos negativos bien fundamentados demuestra que es serio.

6La respuesta de la dirección y la utilización

La respuesta de la dirección (management response) es el documento que transforma una evaluación en decisiones. Para cada recomendación: aceptada, parcialmente aceptada o rechazada, con la justificación; acciones previstas; responsable; plazo. Se redacta en el mes siguiente al informe final y se publica con él.

El seguimiento de las acciones se hace en las revisiones trimestrales de dirección: ¿en qué punto está cada acción? Las organizaciones maduras publican cada año una tasa de aplicación de las recomendaciones aceptadas.

Una recomendación puede rechazarse legítimamente: demasiado costosa, fuera del mandato, ya en curso. Pero la justificación debe constar por escrito. Lo que no es aceptable es la ausencia de respuesta.

Por último, la difusión adapta el formato al público: resumen de dos páginas para la dirección y los donantes, presentación para los equipos, versión sencilla y oral para las comunidades, y publicación del informe completo (por ejemplo, en la biblioteca de ALNAP) para el sector. La publicación de las evaluaciones, incluidas las críticas, es un compromiso del Grand Bargain en materia de transparencia.