Una de las habilidades clave del periodista/comunicador sanitario o informador de la salud actual es saber distinguir los estudios científicos de calidad como paso previo antes de comunicar los resultados de la investigación. Porque antes de comunicar hay que saber qué comunicar y sobre los mensajes de salud dirigidos a la población tenemos una gran responsabilidad a la hora de seleccionar las fuentes en las que nos basamos. El Big Data va a condicionar la toma de decisiones en el sector de la salud y en este contexto la agilidad a la hora de analizar los datos y sintetizar la información es una competencia importante.
Seguro que como profesional sanitario te habrá pasado alguna vez que con tantos estudios científicos publicados en tu especialidad no sabes en qué parámetros te debes fijar para tener una visión lo más contrastada posible sobre tu tema de interés.
Te recomiendo recurrir siempre que puedas a las fuentes originales (papers científicos) y no quedarte solo con las notas de prensa de los estudios.
El pasado 21 de marzo de 2017 el Centro Shorenstein de la Escuela Kennedy de Harvard publicó un post sobre las 13 preguntas que el periodista/comunicador debe hacerse para saber si un estudio es bueno. Me ha parecido interesante traducirlo hoy en mi blog y añadir algunos matices a tener en cuenta para decidir si una investigación merece tener eco mediático.
Índice de contenidos
¿Cuáles son los estándares mínimos para otorgar cierto nivel de evidencia a un estudio?
1. ¿Es un estudio de revisión por pares (peer reviewed)?
La revisión por pares es una herramienta para evaluar los artículos por expertos ajenos al grupo editorial de la revista que solicita la revisión, lo que garantiza su calidad y rigor científico. No obstante, la opinión de los revisores no es vinculante para el editor principal de la revista, quien toma la decisión final de aceptar o rechazar el artículo.
Proceso de revisión por pares. Fuente: Naukas.
2. ¿Está publicado en una revista de primer nivel?
Las revistas con un alto factor de impacto tienen más probabilidades de publicar investigaciones de alta calidad y que han sido sometidas a un proceso de selección riguroso. Puedes acceder al ranking de los factores de impacto en la base de datos Journal Citation Reports y oscila de 0 a 100.
3. ¿Confían otros científicos en este trabajo?
El número de veces que un estudio aparece citado por otros investigadores puede ser un reflejo de su calidad. Lo puedes consultar en Google Scholar o en Web of Science.
4. ¿Quién ha financiado la investigación?
Es importante saber quién ha financiado el estudio en cuestión y qué rol ha tenido el patrocinador en el diseño del estudio, en la redacción del texto y en la implementación de las decisiones que se deriven de él. En el artículo original en el que baso este post, la redactora Denise-Marie Ordway nos recuerda que los estudios financiados por la National Science Foundation tienden a ser de más calidad debido al exigente proceso de revisión por pares al que están sometidos.
Ligado a esta pregunta, también es relevante saber si los autores tienen algún conflicto de interés.
Leer a menudo los artículos publicados en tu especialidad te dará muchas pistas sobre las empresas que hay detrás de algunos estudios. «Los autores/as, revisores/as y editores/as tienen la obligación de declarar sus conflictos de interés (financieros o de otro tipo)», según exponen Eduard Baladia y Rodrigo Martínez-Rodríguez de la Red de Nutrición Basada en la Evidencia en esta recomendable revisión.
Además, conocer dónde trabajan los autores y con qué frecuencia publican puede ayudar a evaluar su experiencia en un campo de estudio determinado (credenciales de los autores).
5. ¿Qué antigüedad tiene el estudio?
En algunos campos, como por ejemplo la nutrición y el microbioma, un estudio publicado hace 15 años puede estar obsoleto.
6. ¿Cuál es el tamaño de la muestra?
El número de animales o de personas que se incluyen en el estudio puede afectar a la precisión de los resultados obtenidos. Los resultados serán más relevantes cuanto mayor sea la muestra y cuanto más amplio sea el periodo que dura el estudio.
7. ¿El estudio se basa en los resultados de una encuesta?
La investigación cuantitativa mediante encuestas está expuesta al sesgo una incorrecta selección de los encuestados y a la propia subjetividad adyacente de cada persona a la hora de responder la encuesta.
8. ¿Puedes seguir todos los pasos de la metodología del estudio?
Un estudio científico se tiene que poder replicar por otro grupo investigador y para ello es fundamental que en el artículo científico se explique con detalle todo el proceso experimental llevado a cabo, el reclutamiento de las personas, los métodos estadísticos utilizados en el análisis, etc.
¿Se presentan los datos estadísticos?
Los resultados numéricos del estudio deben estar accesibles para que el lector pueda interpretar los resultados y contrastar los análisis. Además del valor de P, es importante el intervalo de confianza que debe ser relevante a la hora de valorar el resultado.
9. ¿Los hallazgos del estudio están apoyados por los datos?
Conviene mirar si los resultados y las conclusiones a las que llega el estudio al final se corresponden a los datos obtenidos o bien los investigadores están exagerando sus hallazgos.
10. ¿El estudio es un metaanálisis?
Los meta-análisis son análisis de múltiples estudios realizados sobre un tema en particular. Si los metaanálisis se han hecho a partir de ensayos clínicos tienen más relevancia científica que si solo se han hecho a partir de estudios epidemiológicos.
A nivel general y sin considerar las excepciones, hay tres tipos principales de estudios:
- Revisiones: evalúan y sintetizan los datos de los estudios de niveles inferiores y serían los más útiles para sacar conclusiones prácticas. Sin entrar en detalle que existen multitud de jerarquías diferentes y mucha controversia al respecto, las revisiones sistemáticas y los metaanálisis se clasifican como el máximo nivel de evidencia.
- Estudios de intervención o ensayos clínicos: se modifica de forma intencionada una determinada variable y se estudian sus efectos. El mejor ensayo clínico es aquel que sea aleatorio, con grupo de control y doble ciego.
- Estudios epidemiológicos u observacionales: analizan la posible relación o asociación entre diferentes variables sin llegar a realizar una intervención, por lo que no se puede asegurar la causalidad.
En el ámbito de la nutrición, la Academia de Nutrición y Dietética publicó un documento de posicionamiento que reúne las 10 características o “banderas rojas” para identificar a la junk science (ciencia basura) y que puedes consultar en este enlace (ver página 17).
En definitiva, el punto de partida antes de empezar a divulgar la ciencia debería contemplar un análisis previo y filtro de los estudios científicos. Tener en cuenta estas 13 preguntas que nos plantea Denise-Marie Ordway nos puede ayudar a escoger mejor los estudios y a hacer una comunicación científica más relevante.
Para profundizar más sobre estadística y epidemiología para periodistas y comunicadores te recomiendo estas fuentes:
- Cuaderno Epidemiología para periodistas y comunicadores de la Fundación Dr. Antonio Esteve.
- Cuaderno Bioestadística para periodistas y comunicadores de la Fundación Dr. Antonio Esteve.
- Know Your Chances. Understanding Health Statistics Steven Woloshin, MD, MS, Lisa M. Schwartz, MD, MS, and H. Gilbert Welch, MD, MPH. Berkeley (CA): University of California Press; 2008.Disponible en: ncbi.nlm.nih.gov/pubmedhealth/n/ucalpkyc/pdf/
- Interpretando la literatura médica: ¿qué necesito saber? Parte II. Relevancia clínica: ¿qué nos dicen los números?Disponible en: http://ow.ly/sxUm30azRKx
Ahora es tu turno
Cuéntame, ¿en qué te fijas para poder valorar la calidad de un estudio científico en tu especialidad profesional?
Te espero en los comentarios.
Cover image by shutterstock.com
