Verificación de los datos declarados y control de la calidad de una encuesta

El factor global (- 4,5 %) está por debajo del umbral del 5 %, pero oculta dos sitios con anomalías: por eso se verifica sitio por sitio.

Cifra transmitida: 1 619 hogares verificados, con una nota que indique que los 305 hogares de Nova Sofala se notificarán en cuanto se encuentren y verifiquen las listas (máximo posible: 1 924). Nunca se transmite 2 000.

Seguimiento: Guara-Guara: localizar a los 22 hogares (visita o llamada); si confirman haber recibido el kit, completar la lista con un testigo y una nota firmada; de lo contrario, averiguar dónde están los kits. Grudja: 290 kits salidos, 236 hogares atendidos y ninguna devolución, por lo tanto 54 kits sin justificar: verificación física inmediata de las existencias en el sitio, entrevista con el equipo de distribución y los comités; si es posible que haya habido desvío, notificación conforme a la política antifraude, sin investigación por cuenta propia. Nova Sofala: buscar las listas en Beira; en su defecto, verificación por muestreo con los hogares (llamadas, visitas). Para todos: conciliación sistemática entre almacén, listas e informe antes de cada informe mensual.

Tasa de control: 39 / 380 = 10,3 % de las entrevistas, lo cual es un buen nivel.

Tasa de discrepancia: E1 0 %; E2 2 / 6 = 33 %; E3 1 / 7 = 14 %; E4 5 / 9 = 56 %; E5 0 %; E6 1 / 5 = 20 %.

E4: conjunto de indicios concordantes de datos inventados o de módulos omitidos: duración mediana de 12 min para un cuestionario de 30 min; 61 / 88 = 69 % de las entrevistas en menos de 15 min; ninguna respuesta «no sabe» (inverosímil); 88 entrevistas frente a 58 de media en los demás; discrepancia en más de la mitad de los controles. No es una prueba de fraude, pero los datos no son fiables.

Decisión: suspender a E4 de la recolección a la espera de la verificación; descartar sus 88 entrevistas del análisis; hacer que otros encuestadores vuelvan a entrevistar a sus hogares. Sin E4 quedan 380 - 88 = 292 entrevistas, es decir, menos de las 324 necesarias: faltan al menos 32. Pero completar con 32 hogares tomados de otro lugar no basta: las 9 aldeas de E4 (30 % de las aldeas) quedarían subrepresentadas. Hay que rehacer los hogares seleccionados en esas aldeas.

E2: discrepancias en el tamaño del hogar, pregunta clave para los indicadores por persona: revisar con él la definición de hogar y controlar el 20 % de sus entrevistas siguientes. E6 y E3: seguimiento normal, mantener la vigilancia.

En adelante: tabla de control diaria y no semanal, umbrales de alerta (duración inferior a la mitad de la mediana de la prueba piloto, ningún «no sabe», discrepancia de más del 20 % en los controles).

«Gracias por tu mensaje. Entiendo la limitación de plazo, pero no puedo conservar los datos de E4 tal como están: el 69 % de sus entrevistas dura menos de 15 minutos para un cuestionario de 30, no tiene ninguna respuesta «no sabe» y 5 de 9 controles muestran discrepancias. Si esos datos entran en el análisis, todo el informe pierde su valor, y el donante o una evaluación podrían detectarlo. Propongo volver a entrevistar a sus hogares con dos encuestadores durante tres días y avisar hoy al jefe de proyecto de que el informe saldrá con tres días de retraso, o de que el viernes se enviará una nota preliminar sin las 9 aldeas, con sus limitaciones claramente indicadas.»

Equidad hacia E4: ninguna acusación; se le presentan las constataciones de forma objetiva y puede explicarse (incomprensión de las instrucciones, presión por el número de entrevistas, problema con la tableta). Lo que siga corresponde al procedimiento de RR. HH. y, si se confirma la fabricación de datos, a la política antifraude. Las constataciones se mantienen confidenciales. También se verifica si el sistema incentivó la rapidez (pago por entrevista, objetivos diarios demasiado altos).