Medir el impacto: contrafactual, métodos y contribución

1El problema fundamental: ¿qué habría ocurrido sin el programa?

El impacto de un programa es la diferencia entre lo que ocurrió con el programa y lo que habría ocurrido sin él: el contrafactual. Nunca se puede observar directamente el mismo hogar con y sin programa; todos los métodos de evaluación de impacto son maneras de construir una estimación creíble de ese contrafactual.

Dos comparaciones ingenuas son engañosas:

• Antes-después en los beneficiarios: el cambio observado mezcla el efecto del programa y todo lo que cambió al mismo tiempo (cosecha, precios, seguridad, otras ayudas). Si la cosecha fue buena, la seguridad alimentaria mejora incluso sin programa; si fue mala, un programa eficaz puede parecer sin efecto.
• Beneficiarios frente a no beneficiarios después del programa: los dos grupos eran diferentes al principio, precisamente porque la focalización eligió a los más vulnerables. La comparación subestima entonces el efecto, o lo sobrestima si fueron los más motivados los que se inscribieron (sesgo de selección).

Pregunta que hay que plantear ante cualquier afirmación de impacto: «¿en comparación con qué?». Si la respuesta es «en comparación con antes», no es una medición de impacto.

2El ensayo controlado aleatorizado y su uso en el ámbito humanitario

En un ensayo controlado aleatorizado (ECA), se sortea, entre las personas elegibles, quiénes reciben el programa (grupo de tratamiento) y quiénes no lo reciben o lo reciben más tarde (grupo de control). El sorteo hace que los dos grupos sean comparables en promedio en todas las características, observadas o no. El efecto es simplemente la diferencia de los resultados medios al final.

En el ámbito humanitario, negar una ayuda vital a personas elegibles para constituir un grupo de control es contrario a la ética. Pero los ECA siguen siendo posibles y han producido conocimientos importantes (sobre el efectivo, la nutrición, la salud mental) en situaciones concretas:

• Recursos insuficientes de todos modos para todo el mundo: el sorteo es entonces una forma equitativa de repartir, y el grupo no atendido sirve de control.
• Implantación progresiva: todo el mundo recibirá el programa, pero el orden se sortea (diseño escalonado, «stepped wedge»).
• Comparación de dos variantes de un programa, ambas consideradas aceptables: efectivo mensual o en un solo pago, con o sin acompañamiento.

Los ECA son caros, llevan tiempo y responden a preguntas concretas; se justifican cuando la respuesta servirá a numerosos programas. Para la mayoría de los proyectos, bastan los métodos cuasiexperimentales.

3La diferencia en diferencias

La diferencia en diferencias compara la evolución de un grupo asistido con la evolución de un grupo de comparación no asistido: efecto = (después − antes) en el grupo asistido − (después − antes) en el grupo de comparación. Elimina las diferencias iniciales estables entre los grupos y las tendencias comunes (cosecha, precios).

Ejemplo. Proporción de hogares con un consumo aceptable. Grupo asistido: 28 % antes, 52 % después (+24 puntos). Grupo de comparación: 35 % antes, 44 % después (+9 puntos). Efecto estimado: 24 − 9 = 15 puntos. Una comparación antes-después habría atribuido 24 puntos al programa; una comparación de los resultados finales por sí solos le habría atribuido 8.

Condición de validez: el supuesto de tendencias paralelas. Sin el programa, los dos grupos habrían evolucionado de la misma manera. Se verifica, si es posible, con varias mediciones antes del programa, y se comprueba que el grupo de comparación no recibe otra ayuda importante durante el periodo (contaminación) ni sufre un choque específico.

En el ámbito humanitario, el grupo de comparación suele ser una zona vecina no cubierta por falta de financiación, o hogares elegibles inscritos en lista de espera. Nunca se crea un grupo de comparación negando la ayuda para las necesidades del estudio.

4Emparejamiento y regresión discontinua

El emparejamiento construye un grupo de comparación asociando a cada hogar asistido uno o varios hogares no asistidos que se le parecen en las características medidas antes del programa (tamaño, bienes, ingresos, estatus, zona). El método del puntaje de propensión resume estas características en una probabilidad de ser asistido, y se comparan hogares con puntajes cercanos. Su límite: solo corrige las diferencias observadas. Si la motivación o las redes sociales influyeron en la inscripción y no se miden, el sesgo persiste.

La regresión discontinua se aplica cuando la elegibilidad depende de un umbral en una puntuación: por ejemplo, se asiste a los hogares con una puntuación de vulnerabilidad de 60 o más, y no a los que están por debajo. Los hogares justo por encima y justo por debajo del umbral (57-59 y 60-62) son casi idénticos; la diferencia de resultados entre ellos estima el efecto del programa en torno al umbral. Condiciones: el umbral se aplica estrictamente y los hogares no pueden manipular su puntuación para superarlo.

Ejemplo. Hogares con puntuación 57-59: 38 % con un consumo aceptable. Hogares con puntuación 60-62 (asistidos): 51 %. Efecto estimado en torno al umbral: unos 13 puntos. Este resultado vale para los hogares cercanos al umbral, no necesariamente para los más vulnerables.

La serie temporal interrumpida compara la tendencia de un indicador antes y después del inicio de un programa, sobre numerosos puntos de medición (por ejemplo, las admisiones semanales en nutrición). Es útil cuando no existe ningún grupo de comparación, siempre que se disponga de suficientes puntos antes de la intervención.

5Enfoques de contribución: cuando la atribución es imposible

Muchos efectos importantes no se prestan a los métodos estadísticos: una labor de incidencia que cambia una ley, un fortalecimiento de capacidades de organizaciones locales, una coordinación mejorada. No se pueden comparar con un contrafactual cuantificado. Se busca entonces establecer de forma creíble que el programa contribuyó al cambio.

• Análisis de contribución (Mayne): se expone la teoría del cambio, se reúnen las evidencias para cada vínculo, se examinan las explicaciones alternativas y se construye un «relato de contribución» que se somete a la crítica de las partes interesadas.
• Rastreo de procesos (process tracing): se ponen a prueba hipótesis causales buscando evidencias cuya presencia o ausencia permite confirmar o descartar una explicación (por ejemplo, la reproducción palabra por palabra de una nota de incidencia en un decreto).
• Cosecha de alcances (outcome harvesting): primero se identifican los cambios observados en los actores y luego se rastrea hacia atrás para determinar si el programa contribuyó a ellos y cómo.
• Cambio más significativo: se recopilan relatos de cambio entre las personas, y unos paneles seleccionan los más significativos explicando por qué. Útil para descubrir efectos no previstos.

Rigor no quiere decir cuantitativo. Un análisis de contribución bien realizado, que examina seriamente las explicaciones alternativas, es más creíble que una comparación antes-después cuantificada.

6Elegir el método y decidir qué hay que demostrar

La elección de un método depende de cuatro preguntas:

• ¿Qué decisión? Extender un modelo piloto a escala nacional justifica una evidencia sólida; ajustar un programa en curso se conforma con una evidencia suficiente.
• ¿Existen ya las evidencias? El efecto del efectivo sobre el consumo de alimentos está muy documentado: es inútil volver a demostrarlo con un ECA en cada proyecto. A menudo basta con verificar que el programa es fiel al modelo y que los efectos intermedios están presentes.
• ¿Qué es factible y ético? ¿Existe un grupo de comparación sin negar la ayuda? ¿Un umbral de elegibilidad nítido? ¿Una implantación progresiva?
• ¿Qué presupuesto y qué plazo? Una evaluación de impacto seria exige una línea de base antes del inicio: se diseña con el programa, no al final.

En cuanto al tamaño de la muestra, una evaluación de impacto debe tener una potencia suficiente para detectar el efecto esperado. Detectar un efecto de 15 puntos requiere muchos menos hogares que un efecto de 5 puntos. Si el efecto esperado es pequeño y la muestra reducida, el estudio concluirá casi con seguridad «ningún efecto significativo», lo que se interpretará erróneamente como «ningún efecto».

Último punto: presentar con honestidad el nivel de evidencia. «Los hogares asistidos mejoraron su consumo en 24 puntos; en comparación con una zona de comparación, el efecto atribuible se estima en 15 puntos, bajo el supuesto de tendencias paralelas que respaldan los datos de dos campañas anteriores» es una frase que inspira confianza.