Preguntas clave para el periodismo de datos
Cuando un periodista lee un estudio, un informe o una nota de prensa con cifras, o cuando escribe un artículo basado en datos, debería plantearse una serie de preguntas antes de dar por buena una conclusión. Desde el punto de vista estadístico, la mayoría de los errores que se cometen al informar con datos no se deben a fallos de cálculo, sino a no haberse hecho alguna de estas preguntas.
Este documento recoge las preguntas más importantes, agrupadas en cuatro bloques:
- Los datos: de dónde vienen, a quién representan y cómo se han medido.
- Los números: qué se compara, cómo se resume y cuánta incertidumbre hay.
- Las conclusiones: qué se puede afirmar y qué no.
- La presentación: cómo se comunican los resultados.
Para cada pregunta se explica el riesgo de no responderla y se da un ejemplo sencillo.
Los datos
¿De dónde proceden los datos y quién los ha producido?
Lo primero es identificar la fuente: un organismo oficial de estadística, un centro de investigación, una empresa, un partido político, un lobby… También conviene saber si los datos se recogieron con ese propósito o se están reutilizando para otro distinto, y si es posible acceder a ellos (datos abiertos) y a la metodología del estudio (transparencia y reproducibilidad).
Dar credibilidad a cifras producidas por quien tiene interés en un resultado concreto, o que no se pueden verificar porque no se publican los datos ni la metodología.
Una empresa de bebidas energéticas publica un estudio según el cual “el 85 % de los estudiantes rinde mejor tras consumir cafeína”. Antes de publicarlo habría que saber quién financió el estudio, cómo se midió el rendimiento, con cuántos estudiantes y si hubo grupo de comparación.
¿Cuál es la población de interés y a quién representa la muestra?
Casi nunca se dispone de datos de toda la población, sino de una muestra. La pregunta clave es si la muestra se eligió de manera que represente a la población objeto de estudio. Una muestra es representativa cuando se ha obtenido mediante un procedimiento aleatorio (o un muestreo diseñado para ello), no cuando simplemente es grande.
Los principales sesgos de selección son:
- Autoselección: participan solo quienes quieren (encuestas en redes sociales, votaciones en webs).
- Cobertura: parte de la población no puede ser seleccionada (encuestas a pie de calle, encuestas solo por teléfono fijo o solo por internet).
- No respuesta: quienes no responden son sistemáticamente distintos de quienes sí lo hacen.
- Supervivencia: solo se observan los casos que han “sobrevivido” a algún filtro.
Las conclusiones no son representativas de la población. Y este error no se corrige aumentando el tamaño de la muestra: una muestra sesgada muy grande sigue estando sesgada.
- En las elecciones de EEUU de 1936, la revista Literary Digest encuestó a unos 2,4 millones de personas, seleccionadas a partir de listines telefónicos y registros de automóviles, y predijo una amplia victoria de Landon. Ganó Roosevelt por goleada. En aquella época tener teléfono o coche era propio de las clases acomodadas. George Gallup, con una muestra mucho más pequeña pero mejor seleccionada, acertó.
- Un periódico publica en su web una encuesta: “¿Está a favor de la nueva ley?” y el 78 % responde que no. Solo han respondido los lectores de ese periódico que, además, han querido participar, normalmente los más movilizados en contra.
- “Los edificios antiguos se construían mejor: siguen en pie después de 300 años”. Solo vemos los que han sobrevivido; los mal construidos se derrumbaron hace tiempo (sesgo de supervivencia).
¿Cuál es el tamaño de la muestra?
Aunque el tamaño no garantiza la representatividad, sí determina la precisión de las estimaciones. Con muestras pequeñas los resultados varían mucho por puro azar.
Presentar como hallazgos lo que no son más que fluctuaciones aleatorias, especialmente cuando se comparan grupos o territorios pequeños.
Se publica un ranking de municipios con mayor tasa de un determinado tipo de cáncer. En los primeros puestos aparecen pueblos pequeños: un municipio de 500 habitantes con 3 casos tiene una tasa de 600 casos por 100 000 habitantes, mientras que la media nacional es de 50. Pero un solo caso más o menos cambia la tasa en 200 puntos. Curiosamente, si se ordenan los municipios por la tasa más baja, también aparecerán en los primeros puestos pueblos pequeños (con 0 casos). Los valores extremos se concentran en las poblaciones pequeñas simplemente porque tienen más variabilidad.
¿Cómo se han medido las variables?
Hay que saber cómo se define exactamente lo que se mide, cómo se ha formulado la pregunta en una encuesta, y si la definición o el método de medición han cambiado a lo largo del tiempo o entre los lugares que se comparan.
Comparar magnitudes que no son comparables, o atribuir a un cambio real lo que no es más que un cambio en la forma de medir.
- En España hay dos cifras de paro: el paro registrado (personas inscritas como demandantes de empleo en los servicios públicos de empleo) y el paro de la Encuesta de Población Activa (EPA) del INE, que sigue la definición de la OIT. No miden lo mismo y sus cifras difieren en cientos de miles de personas. Comparar un dato de una fuente con otro de la otra no tiene sentido.
- Si un país amplía la definición de lo que se considera “delito de odio”, el número de delitos registrados aumentará aunque no haya cambiado la realidad.
- No es lo mismo preguntar “¿Está de acuerdo con que se aumente el gasto en sanidad?” que “¿Está de acuerdo con que se suban los impuestos para aumentar el gasto en sanidad?”.
¿Faltan datos? ¿Por qué?
Conviene saber cuántos datos faltan y, sobre todo, si faltan al azar o por algún motivo relacionado con lo que se estudia.
Si los datos que faltan son sistemáticamente distintos de los observados, las conclusiones estarán sesgadas.
Un estudio sobre satisfacción con un tratamiento solo dispone de los datos de los pacientes que completaron el tratamiento. Los que lo abandonaron, probablemente por no notar mejoría o por efectos secundarios, no aparecen, y la satisfacción resultante estará inflada.
Los números
¿Comparado con qué?
Un número aislado rara vez dice algo. Hay que preguntarse cuál es la referencia adecuada: la misma cifra en otro momento, en otro lugar, en otro grupo, o en relación con el tamaño de la población.
Sacar conclusiones de cifras absolutas que, puestas en relación con la población o con una referencia adecuada, dicen lo contrario.
- “Madrid es la provincia con más robos de España”. Es también una de las más pobladas. Para comparar provincias hay que usar tasas (robos por cada 1000 habitantes), no números absolutos.
- “El 64 % de los contagiados estaban vacunados”. Supongamos una población de 1000 personas en la que el 90 % está vacunada, y que la vacuna reduce el riesgo de contagio un 80 % (del 20 % al 4 %). Habrá \(100 \cdot 0.2 = 20\) contagios entre los 100 no vacunados y \(900\cdot 0.04 = 36\) entre los 900 vacunados. Es decir, el \(36/56 = 64\) % de los contagiados están vacunados, ¡a pesar de que la vacuna es muy eficaz! Lo relevante es comparar el riesgo de contagio en cada grupo, no la composición de los contagiados.
¿Se habla de riesgo relativo o absoluto?
Los cambios en porcentaje (relativos) pueden parecer espectaculares cuando las cifras de partida son muy pequeñas.
Exagerar (o minimizar) la importancia de un efecto, generando alarmas o expectativas injustificadas.
“Comer embutido a diario aumenta un 20 % el riesgo de cáncer colorrectal”. Si el riesgo de partida a lo largo de la vida es de 5 de cada 100 personas, un aumento del 20 % lo eleva a 6 de cada 100. El aumento absoluto es de 1 punto porcentual. Ambos datos son correctos, pero el titular transmite una impresión muy distinta según cuál se elija. Lo recomendable es dar siempre el riesgo absoluto.
¿Qué medida resumen se utiliza? ¿Es la adecuada?
La media, la mediana y la moda resumen los datos de manera diferente. Cuando la distribución es asimétrica o hay valores atípicos, la media puede no representar al “ciudadano típico”. Además, cualquier medida de centralización debería acompañarse de una medida de dispersión.
Describir una situación que no corresponde a la de la mayoría de la población.
En una empresa 9 empleados cobran 1500 € al mes y el director 30 000 €. El salario medio es \((9\cdot 1500 + 30 000)/10 = 4350\) €, pero 9 de cada 10 empleados cobran casi tres veces menos. La mediana (1500 €) describe mucho mejor la situación típica. Algo parecido ocurre con los salarios, la renta o el patrimonio de un país: la media siempre es mayor que la mediana.
¿Cuánta incertidumbre tienen las cifras?
Cualquier cifra obtenida a partir de una muestra es una estimación y tiene un margen de error. Hay que buscar el intervalo de confianza o el margen de error, y tenerlo en cuenta antes de afirmar que algo ha subido, ha bajado o que un grupo supera a otro.
Presentar como cambios o diferencias reales lo que está dentro del margen de error.
Una encuesta electoral con 1000 entrevistas da un 24 % al partido A y un 22 % al partido B. El margen de error para una proporción en torno al 50 % con un 95 % de confianza es aproximadamente \(1.96\sqrt{0.5\cdot 0.5/1000}\approx 0.031\), es decir, \(\pm 3.1\) puntos. La diferencia de 2 puntos está dentro del margen de error (que, además, para la diferencia entre dos partidos es todavía mayor). Titular “A supera a B” sería incorrecto; lo correcto es hablar de empate técnico.
De igual modo, si el mes pasado el partido A tenía un 23 % y ahora un 24 %, no se puede decir que “A sube”.
Las conclusiones
¿La diferencia es estadísticamente significativa? ¿Y es relevante?
Un resultado estadísticamente significativo (p-valor pequeño) indica que es poco probable que la diferencia observada se deba solo al azar, pero no dice nada de lo grande o importante que es. Con muestras muy grandes, diferencias minúsculas resultan significativas; con muestras pequeñas, diferencias importantes pueden no serlo. Por eso hay que mirar siempre el tamaño del efecto.
Confundir “significativo” con “importante”, o interpretar un resultado no significativo como prueba de que no hay efecto (ausencia de evidencia no es evidencia de ausencia).
- Un estudio con 200 000 niños encuentra que los que desayunan cereales tienen un cociente intelectual medio 0,5 puntos mayor, con un p-valor de 0,001. La diferencia es estadísticamente significativa, pero medio punto de CI es irrelevante en la práctica.
- Un ensayo con 20 pacientes no encuentra diferencias significativas entre un fármaco y un placebo. Con tan pocos pacientes el estudio tenía muy poca potencia para detectar un efecto, así que no se puede concluir que el fármaco no funcione.
¿Se puede afirmar causalidad o solo asociación?
Esta es probablemente la pregunta más importante. Que dos variables estén relacionadas (correlación) no implica que una sea causa de la otra. La relación puede deberse a:
- Una variable de confusión que influye en ambas.
- Causalidad inversa: es el efecto el que provoca la supuesta causa.
- El azar, sobre todo si se han explorado muchas variables.
Para afirmar causalidad, lo ideal es un experimento aleatorizado (por ejemplo, un ensayo clínico), en el que el investigador asigna al azar quién recibe el tratamiento. En los estudios observacionales (encuestas, registros, datos administrativos) solo se observa lo que ocurre, y las conclusiones causales requieren mucha más cautela. Hay que fijarse en el lenguaje: “se asocia con” o “está relacionado con” no es lo mismo que “provoca”, “reduce” o “aumenta”.
Afirmar una relación causal que no existe, lo que puede llevar a recomendaciones o políticas equivocadas: si la causa real es otra, actuar sobre la supuesta causa no tendrá ningún efecto, o lo que es peor, podría tener un efecto adverso.
- Confusión: los días en que se venden más helados hay más ahogamientos. Los helados no provocan ahogamientos: ambos aumentan con el calor.
- Confusión: “Los bebedores de café tienen más infartos”. Hace décadas, los bebedores de café fumaban más que el resto; el tabaco era el verdadero factor de riesgo.
- Causalidad inversa: “Las personas que van más al médico tienen peor salud”. No es que ir al médico empeore la salud, sino que las personas enfermas van más al médico.
- Causalidad inversa: “Los municipios con más policías tienen más delitos”. Probablemente se destinan más policías a donde hay más delitos.
¿Los datos agregados cuentan la misma historia que los desagregados?
Al agrupar datos de grupos distintos puede aparecer una relación que no se da en ninguno de los grupos, o incluso la contraria (paradoja de Simpson). Por otro lado, una relación observada entre grupos (países, regiones, municipios) no tiene por qué darse entre los individuos (falacia ecológica).
Llegar a la conclusión opuesta a la real, o atribuir a las personas características que solo se observan en los grupos.
Paradoja de Simpson: el hospital A tiene una mortalidad del 18,1 % y el hospital B del 4,3 %. Parece que B es mucho mejor. Pero si se separan los pacientes según la gravedad:
Hospital A Hospital B Casos leves 1 de 100 (1 %) 18 de 900 (2 %) Casos graves 180 de 900 (20 %) 25 de 100 (25 %) Total 181 de 1000 (18,1 %) 43 de 1000 (4,3 %) El hospital A tiene menor mortalidad tanto en casos leves como en graves. Su mortalidad global es mayor solo porque atiende muchos más casos graves.
Falacia ecológica: en las regiones con mayor renta media se vota más a un determinado partido. Eso no implica que las personas con mayor renta voten más a ese partido; podrían ser otros votantes de esas regiones.
¿Cuántas comparaciones se han hecho?
Si se analizan muchas variables o muchos subgrupos, es casi seguro que alguno dará un resultado “significativo” por puro azar (falso positivo). También hay que desconfiar cuando se destacan solo los resultados llamativos y se ocultan los demás.
Publicar como descubrimiento lo que no es más que un falso positivo, que no se reproducirá en otros estudios.
Un estudio analiza la relación entre 20 alimentos y la incidencia de una enfermedad con un nivel de significación del 5 %. Aunque ningún alimento tenga efecto real, la probabilidad de que al menos uno salga significativo es \(1-0.95^{20}\approx 0.64\). Si el titular es “El brócoli reduce el riesgo de la enfermedad X” y no se menciona que se probaron otros 19 alimentos, el lector no puede valorar el resultado.
¿Puede deberse a la regresión a la media?
Cuando se seleccionan casos por tener valores extremos, lo normal es que en la siguiente medición se acerquen a la media, sin que haya intervenido nada. Muchas intervenciones parecen funcionar por este motivo.
Atribuir a una medida o intervención una mejora que se habría producido de todos modos.
Tráfico instala radares en los 50 tramos de carretera que tuvieron más accidentes el año pasado. Al año siguiente los accidentes en esos tramos bajan un 30 %. Parte de esa bajada se habría producido sin radares: esos tramos se eligieron precisamente por haber tenido un año excepcionalmente malo, en parte por azar. Para saber el efecto real de los radares habría que compararlos con tramos similares sin radar.
¿Se pueden generalizar las conclusiones?
Los resultados de un estudio son válidos para la población y el rango de valores estudiados. Extenderlos a otras poblaciones (de ratones a personas, de un país a otro, de jóvenes a mayores) o fuera del rango observado (extrapolar una tendencia hacia el futuro) es arriesgado.
Aplicar conclusiones a situaciones en las que no son válidas.
- Un estudio muestra que una sustancia reduce tumores en ratones. Eso no permite titular “Descubren una sustancia que cura el cáncer”.
- El récord mundial de los 100 metros ha bajado de forma casi lineal durante el último siglo. Si se extrapola la tendencia, algún día se correrían en 0 segundos.
La presentación
¿El gráfico representa fielmente los datos?
Un gráfico puede ser técnicamente correcto y aun así inducir a error. Hay que revisar los ejes, las escalas, el periodo elegido y el tipo de gráfico.
Que el lector perciba diferencias o tendencias muy distintas de las reales.
- Eje vertical truncado: un gráfico de barras en el que el eje empieza en 40 % hace que una diferencia entre un 42 % y un 45 % parezca que una barra es el triple que la otra.
- Elección del periodo: mostrar la evolución del paro desde el mes en que fue más alto hace que cualquier evolución parezca una mejora.
- Áreas y volúmenes: si se representa una cantidad que se duplica con un icono al que se le duplica la altura y la anchura, su área se multiplica por cuatro.
¿El titular dice lo mismo que los datos?
Finalmente, hay que comprobar que el titular y el texto no van más allá de lo que permiten afirmar los datos: que no conviertan una asociación en una causa, una estimación en una certeza, o un resultado en una muestra particular en una verdad general.
Aunque el análisis sea correcto, el lector se quedará con el mensaje del titular.
Estudio: “En una muestra de 300 adultos, quienes dormían menos de 6 horas presentaban con más frecuencia sobrepeso”. Titular: “Dormir poco engorda”. El titular convierte una asociación observada en una pequeña muestra en una relación causal general.
Resumen
| Pregunta | Riesgo si no se responde |
|---|---|
| ¿De dónde proceden los datos? | Dar credibilidad a fuentes interesadas o no verificables |
| ¿A quién representa la muestra? | Conclusiones no representativas (sesgo de selección) |
| ¿Cuál es el tamaño de la muestra? | Confundir fluctuaciones aleatorias con hallazgos |
| ¿Cómo se han medido las variables? | Comparar cifras no comparables |
| ¿Faltan datos? ¿Por qué? | Resultados sesgados |
| ¿Comparado con qué? | Conclusiones erróneas por usar cifras absolutas o la referencia equivocada |
| ¿Riesgo relativo o absoluto? | Exagerar o minimizar efectos |
| ¿Qué medida resumen se utiliza? | Describir una situación que no es la típica |
| ¿Cuánta incertidumbre hay? | Presentar como reales diferencias dentro del margen de error |
| ¿Es significativo? ¿Es relevante? | Confundir significación estadística con importancia práctica |
| ¿Asociación o causalidad? | Afirmar causalidad sin fundamento |
| ¿Agregado o desagregado? | Paradoja de Simpson y falacia ecológica |
| ¿Cuántas comparaciones se han hecho? | Publicar falsos positivos |
| ¿Puede ser regresión a la media? | Atribuir mejoras a intervenciones que no las causan |
| ¿Se pueden generalizar las conclusiones? | Extrapolar a poblaciones o rangos no estudiados |
| ¿El gráfico es fiel a los datos? | Percepción distorsionada de los datos |
| ¿El titular dice lo mismo que los datos? | Transmitir un mensaje que los datos no respaldan |