Analizar los datos: estadísticas útiles, trampas y visualización

1Estadísticas descriptivas: media, mediana, dispersión

La media es sensible a los valores extremos; la mediana (valor que divide la muestra en dos mitades) no lo es. Para los ingresos, los gastos, las deudas o los tiempos de espera, distribuciones muy asimétricas, la mediana describe mejor el hogar típico.

Ejemplo. Deudas de diez hogares (USD): 0, 0, 20, 30, 40, 50, 60, 80, 100, 1 620. Media: 2 000 / 10 = 200 USD. Mediana: (40 + 50) / 2 = 45 USD. Decir «los hogares tienen de media 200 USD de deudas» describe un solo hogar, no la situación.

La dispersión cuenta tanto como el centro: desviación estándar, o rango intercuartílico (entre el percentil 25 y el 75) para las distribuciones asimétricas. Dos programas con un tiempo de espera medio de 2 horas son muy diferentes si uno tiene esperas entre 1 h 30 y 2 h 30, y el otro entre 10 minutos y 7 horas.

Para los indicadores expresados en proporción, se presentan el numerador y el denominador: «62 % (248 de 400)». Los porcentajes calculados sobre efectivos muy pequeños («el 50 % de las personas mayores», es decir, 2 de 4) deben evitarse o señalarse.

Variación en puntos y en porcentaje: pasar del 20 % al 30 % es un aumento de 10 puntos porcentuales, es decir, un aumento relativo del 50 %. Confundir ambos es el error más frecuente de los informes.

2Desagregar para ver las desigualdades

Una media global satisfactoria puede ocultar un grupo que se queda atrás. La desagregación (por sexo y edad, discapacidad, estatus, zona, tipo de hogar) es el medio para verificar que el programa llega a todo el mundo.

Ejemplo. Tasa de satisfacción global: 82 %. Por grupo: hogares sin ninguna persona con discapacidad 86 %; hogares con una persona con discapacidad 54 %. El programa no funciona para un grupo entero, y la cifra global lo ocultaba.

La tabla cruzada es la herramienta básica: un indicador en fila, un grupo en columna. Para saber si la diferencia observada entre dos grupos supera lo que el azar del muestreo puede producir, se utiliza una prueba (prueba de chi cuadrado para proporciones, prueba t o prueba no paramétrica para medias) o se comparan los intervalos de confianza. Un programa informático lo calcula; el papel del responsable es plantear la pregunta correcta e interpretar.

Atención a las comparaciones múltiples: si se prueban 20 diferencias con un umbral del 5 %, cabe esperar encontrar una «significativa» por puro azar. Por eso se definen de antemano las comparaciones principales del plan de análisis, y las demás se presentan como exploratorias.

3Correlación, causalidad y paradoja de Simpson

Dos variables que evolucionan juntas no prueban que una cause la otra. Siempre existen tres explicaciones alternativas: el azar, un factor común (variable de confusión) y la causalidad inversa.

Ejemplo. Los hogares que participaron en las formaciones agrícolas tienen mejores rendimientos. Pero también son los que tienen más tierras y herramientas, y los que estaban más motivados para inscribirse: la formación quizá tenga un efecto, pero la comparación simple no permite separarlo de esas diferencias iniciales. Medir un efecto exige un contrafactual (semana 10).

La paradoja de Simpson se produce cuando una tendencia presente en cada grupo se invierte al agrupar los datos, debido a una distribución desigual entre grupos.

Aquí, A es mejor en cada grupo y en el total: no hay paradoja. Pero si B recibiera sobre todo casos moderados y A sobre todo casos severos, B podría parecer mejor en el total siendo peor en cada grupo. Regla: comparar desempeños solo con una composición comparable, o desagregando por el factor que cambia la dificultad.

4Analizar los datos cualitativos

Las entrevistas y los grupos focales explican el «porqué» detrás de las cifras. Su análisis sigue un método, sin el cual solo se retienen las citas que confirman lo que ya se pensaba.

• Transcripción o notas detalladas el mismo día, con las palabras de las personas.
• Codificación: se asignan códigos (temas) a los fragmentos. Se parte de códigos vinculados a las preguntas de evaluación y se añaden los que emergen.
• Matriz: temas en fila, grupos (mujeres, hombres, jóvenes, desplazados, comunidad de acogida) en columna. Así se ve qué temas aparecen en qué grupos.
• Búsqueda activa de contraejemplos: los casos que contradicen la tendencia general suelen ser los más instructivos.
• Saturación: se detiene la recopilación cuando las nuevas entrevistas ya no aportan temas nuevos.

Los resultados cualitativos no se presentan en porcentajes, pero se puede indicar la frecuencia: «este tema apareció en 9 de los 12 grupos focales, incluidos todos los grupos de mujeres». Una cita ilustra un resultado, no lo prueba.

Métodos mixtos: la cifra dice «el 30 % de los hogares no retira su transferencia»; lo cualitativo dice «el punto de retiro está a 3 horas a pie y los agentes a menudo no tienen liquidez». Ambos juntos llevan a una decisión.

5Visualizar para hacer comprender

Un gráfico debe responder a una pregunta en pocos segundos. Reglas prácticas:

• Barras horizontales para comparar categorías, ordenadas por valor; líneas para las evoluciones en el tiempo; mapas para las diferencias entre zonas; evitar los gráficos circulares de más de tres categorías y los efectos 3D.
• El eje de las barras empieza en cero; si no, una diferencia de 2 puntos parece enorme.
• Un título que diga el mensaje («La cobertura ha bajado en las zonas norte desde marzo») en lugar de un título neutro («Cobertura por zona»).
• Pocos colores, un color de acento para lo que importa y una referencia para la meta.
• La fuente, la fecha y el tamaño de la muestra al pie del gráfico.

Para un tablero de control de dirección, se limita a 6 a 10 indicadores clave, con para cada uno el valor actual, la meta, la tendencia y un código de colores cuyos umbrales están definidos. Un tablero de 40 indicadores no lo lee nadie.

En un mapa, se representan tasas y no cifras absolutas cuando las zonas tienen poblaciones diferentes: una gran ciudad siempre tendrá más casos que una aldea.

6Del resultado a la recomendación

Un análisis útil sigue una progresión en tres tiempos: constatación (lo que dicen los datos), interpretación (por qué, con los datos cualitativos y el contexto) y recomendación (lo que hay que hacer, quién y cuándo). Las recomendaciones son pocas, precisas y realistas, y cada una se deriva de una constatación.

También hay que indicar el nivel de confianza: alto (varias fuentes concordantes, muestra suficiente), medio, bajo (una sola fuente, muestra pequeña). Una dirección puede decidir sobre una evidencia media en una emergencia, pero debe saber que lo hace.

Por último, la devolución de los resultados se hace antes del informe definitivo: una sesión con el equipo y los socios permite corregir los errores de interpretación y construir la adhesión a las recomendaciones. Los resultados también se comparten con las comunidades, en una forma adaptada (reunión, cartel, mensaje de voz).