Dirección de una evaluación final: términos de referencia, análisis de impacto y respuesta de la dirección

Debilidades: (1) el objetivo « demostrar el impacto positivo » prejuzga el resultado: una evaluación sirve para aprender y rendir cuentas, no para probar; (2) las preguntas son demasiado numerosas, cerradas y sin relación con los criterios; (3) la encuesta limitada a los beneficiarios no permite ninguna atribución, cuando existen datos de comparación; (4) julio está en plena época de escasez y en temporada de lluvias: los resultados no serían comparables con las encuestas de noviembre y el acceso sería difícil; (5) conflicto de intereses grave: el antiguo jefe de proyecto evaluaría su propio trabajo; (6) informe en inglés, cuando las autoridades, los socios y las comunidades leen francés o árabe; (7) ninguna disposición ética (consentimiento, confidencialidad, protección de datos, conducta a seguir en caso de denuncia de abusos); (8) no se prevé ninguna devolución a las comunidades ni respuesta de la dirección.

Presupuesto realista: honorarios 25 × 450 = 11 250 USD; recopilación 800 / 8 = 100 días-encuestador × 20 = 2 000 USD; capacitación 12 encuestadores × 3 días × 20 = 720 USD; vehículos 2 × 12 días × 120 = 2 880 USD. Total de aproximadamente 16 850 USD antes de la entrada de datos, la supervisión y la devolución, es decir, casi el doble de los 9 000 USD previstos. Hay que aumentar el presupuesto (una evaluación final representa habitualmente un pequeño porcentaje del presupuesto de un proyecto) o reducir la muestra justificándolo con un cálculo de potencia, manteniendo el grupo de comparación.

Objetivo reformulado: « Valorar, de forma independiente, la pertinencia, la eficacia, la eficiencia, el impacto y la sostenibilidad del proyecto, en particular para los hogares encabezados por una mujer, con el fin de extraer lecciones para la fase 2 y rendir cuentas a las comunidades, a las autoridades y al donante. »

Preguntas: (pertinencia) ¿en qué medida las cadenas de valor elegidas respondían a las prioridades y limitaciones de los hogares refugiados y de acogida, incluidas las mujeres? (coherencia) ¿estaba el proyecto articulado con las demás intervenciones de medios de vida de la zona? (eficacia) ¿en qué medida se alcanzaron los resultados esperados en ingresos y diversidad alimentaria, para qué grupos y por qué? (eficiencia) ¿cuál es el costo por hogar cuyo ingreso aumentó, en comparación con otras modalidades? (impacto) ¿qué parte de los cambios observados puede atribuirse al proyecto, y qué efectos no previstos hubo? (sostenibilidad) ¿qué actividades continúan sin apoyo, y en qué condiciones?

Dobles diferencias = (final − línea de base) intervención − (final − línea de base) comparación.

Interpretación: una comparación antes-después atribuiría al proyecto el doble del efecto real sobre la diversidad alimentaria (+1,8 en lugar de +0,9) y más del doble sobre el ingreso (+13 000 en lugar de +5 500). El efecto sobre las mujeres jefas de hogar es casi nulo: el proyecto no llegó a este grupo, lo que respalda la recomendación R1.

Validez: (1) la hipótesis de tendencias paralelas no puede verificarse con dos puntos de medición; los niveles de base son cercanos (3,8 y 4,1; 28 000 y 30 000), lo que es tranquilizador pero no concluyente; (2) la distribución de semillas en 5 de las 9 aldeas de comparación probablemente mejora sus resultados: el efecto del proyecto está por tanto probablemente subestimado; sería útil un análisis que separe las 4 aldeas no contaminadas, con prudencia en cuanto al tamaño de la muestra; (3) las dos encuestas en noviembre, después de la cosecha, hacen que las mediciones sean comparables entre sí, pero no dicen nada de la época de escasez; (4) habría que verificar la significación estadística (intervalos de confianza, regresión con efecto de conglomerado) antes de cualquier afirmación categórica, y verificar que el desgaste de la muestra es bajo.

Redacción: « El proyecto está asociado a una mejora de la puntuación de diversidad alimentaria de aproximadamente 0,9 puntos y del ingreso de aproximadamente 5 500 XAF al mes por encima de la evolución de las aldeas de comparación; esta estimación es probablemente prudente debido a la asistencia recibida por una parte de esas aldeas. No se observa ningún efecto para los hogares encabezados por una mujer. »

Comentarios del equipo: son defensivos y en parte erróneos. Una participación del 60 % de mujeres no prueba la inclusión: la doble diferencia muestra un efecto casi nulo para los hogares encabezados por una mujer. La caída de los precios no es controlable, pero el riesgo era previsible y gestionable. La supuesta preferencia del donante no justifica una dispersión que reduce la eficacia.

La respuesta de la dirección se publica con el informe y su seguimiento se revisa cada trimestre.

Recuerdo que el evaluador es independiente: ni el jefe de proyecto ni yo podemos pedirle que retire un resultado. El jefe de proyecto sí puede formular comentarios factuales sobre el informe provisional; el evaluador decide si los integra o no y documenta sus decisiones. Si el tamaño de la muestra es una limitación real, la respuesta correcta es indicarlo (intervalo de confianza, advertencia de prudencia), no suprimir el resultado. Me niego a retener el informe: el donante lo espera, y ocultarlo antes de una solicitud de financiación sería engañoso. Propongo, por el contrario, transmitir el informe con la respuesta de la dirección, que muestra cómo la fase 2 corrige la debilidad: es un argumento a favor de la propuesta. Informo al director de país de la petición y, si se mantiene, la escalo según la política de evaluación de la organización.

« (1) El proyecto tuvo un efecto positivo medible, por encima de la evolución de las aldeas de comparación: +0,9 puntos de diversidad alimentaria, +5 500 XAF de ingreso mensual (aproximadamente +20 %) y 9 puntos menos de hogares que recurren a estrategias de crisis. (2) Esta estimación es probablemente prudente, ya que una parte de las aldeas de comparación recibió otra asistencia. (3) Los hogares encabezados por una mujer casi no se beneficiaron: la fase 2 adaptará el paquete a sus limitaciones. (4) La dispersión en 8 cadenas de valor y la ausencia de seguimiento de precios redujeron el efecto (caída del 30 % del precio del maní). (5) La fase 2 concentrará el apoyo en 4 o 5 cadenas de valor, con análisis de mercado y focalización participativa. »