ENTREVISTA

Dr. Ioannidis: La mayoría de las investigaciones son defectuosas, arreglémoslo

Dr. Eric J. Topol; Dr. John P. A. Ioannidis

Conflictos de interés

4 de julio de 2018

Dr. Eric Topol: Hola. Soy Eric Topol, editor en jefe de Medscape. Hoy estoy con el profesor John Ioannidis de Stanford, con quien deseaba charlar desde hace mucho tiempo. Me agrada que podamos reunirnos, Dr. Ioannidis, bienvenido.

Dr. John Ioannidis: Gracias. Es un gran placer estar con usted.

Dr. Eric Topol: He seguido su trabajo y carrera durante varios años. Usted es el "contrario de la medicina". Lo digo de manera positiva.

Hasta antes de la oportunidad de hacer esta entrevista, desconocía algunos de sus antecedentes. Era un prodigio matemático en la escuela secundaria, recibió el Premio Nacional en Grecia, y es hijo de dos investigadores médicos. Parece hecho para el papel que tiene, en términos de la conciencia de la biomedicina. ¿Cómo obtuvo sus raíces en este modelo que realmente abraza?

Dr. John Ioannidis: Estuve expuesto a mucha ciencia desde el principio. Me gustaron muchos aspectos diferentes del método y la disciplina científicos que encontré en matemáticas, biología, investigación de laboratorio, investigación y epidemiología clínicas. Siempre estuve muy desenfocado, y quería poner mi mano en diferentes tipos de investigación.

Me percaté de que estaba cometiendo errores una y otra vez en casi todo lo que intentaba. Observé que otras personas también cometían errores, en el laboratorio, en la clínica y en la literatura publicada. Los errores son comunes, son humanos. Algunos probablemente son más comunes de lo que deberían ser.

Dr. Eric Topol: Llegó al punto en el que calculaba que 90% de la investigación médica tenía fallas.[1,2] Eso se vuelve deprimente, ¿verdad?

Dr. John Ioannidis: Uno puede verlo como el vaso medio vacío o medio lleno o 10% lleno o tal vez un poco más. La medicina ha progresado enormemente y todavía está progresando. Uno puede enfocarse en eso.

Las preguntas son: ¿Cómo podemos mejorar la eficiencia de lo que estamos haciendo? ¿Y cómo podemos disminuir la tasa de error? ¿Cómo podemos ser engañados con menos frecuencia, y enviar a nuestras mejores personas a callejones sin salida?

Si vemos el mensaje positivo de que podemos identificar problemas y deshacernos de ellos, somos muy optimistas.

No es solo la investigación biomédica

Dr. Eric Topol: Ha estado en una cruzada y ha llegado a casi todas las disciplinas: Genética, psicología, neurociencia, ensayos clínicos, compañías farmacéuticas, todo. Recientemente noté que incluso también economía.[3] ¿Hay algo por lo que no haya trabajado?

Dr. John Ioannidis: La gran diversión y oportunidad cuando se trabaja en meta-investigación o investigación, es que uno se da cuenta rápidamente de que los métodos y las prácticas de investigación, y la forma en que se aplican o transforman, son bastante similares en disciplinas muy diferentes.

El método científico es realmente único. Existe heterogeneidad en la forma en que diferentes disciplinas tienen preferencia por algunos aspectos de la misma o por cómo operarla de manera exacta, pero podemos aprender mucho comparando notas. Si nos fijamos en diferentes campos, vemos que algunos de los grandes problemas que enfrentamos en la biomedicina podrían haberse resuelto en otros campos con bastante facilidad y puede ser un hecho.

A la inversa, uno podría trasplantar algunas buenas ideas de las disciplinas biomédicas a otros campos. Los conceptos son similares y las manifestaciones son diferentes. Obviamente, las consecuencias son diferentes, porque en medicina se trata de vidas y personas que mueren debido a información subóptima.

Medicina basada en la evidencia

Dr. Eric Topol: La lente angular que ha aplicado es importante. Es mucho más que medicina y le doy mucho crédito por identificar estos hilos comunes.

Sin embargo, el problema que tenemos en medicina es esta base de evidencia, que como realmente ha demostrado a lo largo de los años, es muy débil y tenue. Estamos tratando de tomar decisiones para los pacientes y seleccionar tratamientos y pruebas, y otras cosas. ¿Qué vamos a hacer, ya que la mayoría de la evidencia no tiene fundamento?

Dr. John Ioannidis: Algunas pruebas son confiables. Hay un gradiente. Tenemos pruebas muy sólidas para algunos tratamientos, intervenciones y políticas, y debemos hacer algo por eso. Si no lo hacemos, sería realmente nefasto.

Esto no es solo para intervenciones, sino también para factores de riesgo. Incluso en epidemiología observacional, nadie negaría que fumar es horrible y matará a mil millones de personas, a menos que nos deshagamos de ese hábito. No necesitamos ensayos aleatorios para probarlo.

Pero, por supuesto, está el otro extremo del gradiente, donde hay mucha evidencia poco confiable y muy tenue. Necesitamos capacitar a las personas para que comprendan cuáles son las limitaciones y las advertencias, en qué medida pueden confiar o desconfiar, de lo que leen o lo que ven y de lo que están llamados a hacer. Luego hacer que pidan una mejor evidencia.

No hay ninguna razón por la que deberíamos seguir viviendo con evidencia subóptima. Los médicos y los investigadores clínicos deben estar a la vanguardia, porque a diario ven que no tienen pruebas en las que puedan confiar. Pueden crear preguntas para tratar de obtener el tipo de evidencia que necesitan.

Pensamientos sobre PREDIMED

Dr. Eric Topol: Esto saca a relucir algo que acaba de suceder. Un área que ha abordado es la ciencia nutricional. La dieta mediterránea se estudió en PREDIMED, el ensayo más grande de una dieta aleatorizada con resultados duros. Fue publicado en 2013 en TheNew England Journal of Medicine, que lo retractó y volvió a publicar en el mismo día.[4] Tenía todo tipo de irregularidades. ¿Cuál es su opinión sobre esto? Está a la vuelta de la esquina en cuanto a la ciencia defectuosa.

Dr. John Ioannidis: La nutrición es claramente un desastre y durante mucho tiempo he defendido que podamos solucionar parte de ese problema, ejecutando ensayos aleatorizados a gran escala y a largo plazo con criterios de valoración clínicos. PREDIMED fue un juicio que intentó esto. Fue más o menos la excepción, en comparación con todo ese desastre irreproducible de la epidemiología nutricional. Me agradó mucho no verlo publicado. Estoy muy emocionado de que por fin estamos haciendo algunos progresos.

    Mi fuerte convicción es que PREDIMED es un juicio seriamente defectuoso. No puedo confiar más en eso.

Pero desafortunadamente, PREDIMED parecía tomar el camino de la epidemiología observacional al publicar trillones de artículos con resultados mucho más tenues y creo que lo que vimos en la retractación fue una señal de que los datos tenían defectos importantes. Claramente, la retractación fue lo correcto. Sin embargo, incluso después de la retractación, no siento que hayamos visto toda la historia.

Creo que el problema detectado por el análisis estadístico consistió en que las características iniciales eran muy similares. La corrección que condujo a la republicación no explica que esto no pueda suceder por casualidad; lo que significa que no hay ninguna razón para que (si en realidad se aleatorizó a una aldea entera como una entidad, en lugar de individualmente o algunas parejas se aleatorizaron juntas y no como individuos) eso no debería haber conducido al patrón que se detectó probando las características de línea base.

Mi fuerte convicción es que PREDIMED es un juicio seriamente defectuoso. No puedo confiar más en eso. Me encanta el aceite de oliva, pero lo siento, no puedo confiar en eso. Creo que hay problemas importantes más allá de la retractación. Estamos viendo algo referente a eso, y esperamos publicar algunas pruebas que demuestren que hay problemas más profundos.

Dr. Eric Topol: Eso es realmente importante, porque he sido influenciado por estudios previos, como el estudio Lyon Heart,[]que fue bastante bien hecho, y es un ensayo más pequeño, aunque para la prevención secundaria. Por esto, es un momento muy oportuno para hablar con usted. Una revista de alto perfil, The New England Journal of Medicine, retracta y republica un artículo en el mismo día. Algo está mal con nuestro sistema de pruebas, ¿verdad?

Dr. John Ioannidis: Obviamente y, creo que solo republicar un ensayo con aparentemente los mismos resultados, no va a solucionarlo. En el caso de PREDIMED, argumentaría que uno tendría que obtener todos sus datos antiguos (no los datos limpios, sino los datos brutos) antes del arbitraje, para que los analice un comité independiente.

Si esto sucediera, mi apuesta sería que los tamaños del efecto se reducirían o incluso desaparecerían. Odiaría ver eso. Me gustaría apostar contra mi propia predicción. Pero hay algunos problemas muy serios cuando confiamos en ensayos que no tienen transparencia. No tienen apertura. Ellos no están dispuestos a compartir. No están dispuestos a someterse a un nuevo análisis. No están dispuestos a tener un escrutinio independiente sobre lo que está sucediendo. Esto sigue siendo cierto para la mayoría de los ensayos aleatorizados publicados en The New England Journal of Medicine y también en otras revistas científicas.

Dr. Eric Topol: ¿No pensó que los editores de The New England Journal of Medicine, particularmente debido a este hecho sin precedentes, habrían evaluado estos datos, e informado a los investigadores sobre la transparencia y la verdad?

Dr. John Ioannidis: Yo hubiera esperado eso y todavía espero que permitan una mayor investigación en esta prueba. Sería una oportunidad perdida si no aprendemos más, porque creo que es solo la punta del iceberg. Está sucediendo mucho más y, de alguna manera, PREDIMED puede ser el más honesto, en comparación con otros ensayos.

Conflictos de interés intelectuales

Dr. Eric Topol: Eso está diciendo mucho allí mismo.

En algunos de sus escritos ha enfatizado el conflicto intelectual de interés. Pienso que es importante. En su mayor parte, las personas realmente no entienden los prejuicios y el hecho de que tantas carreras se etiquetan a un sistema de creencias y una búsqueda en particular. Una crítica radica en que "el papel de John es ser el artista de desmontaje, y eso es un conflicto intelectual". ¿Cómo responde a ese cargo?

Dr. John Ioannidis: Sí, creo que soy parcial. Considero que esto es inevitable y las personas deberían darlo por hecho cuando lean mi trabajo y lo comparen con el trabajo de otros científicos. Todos tenemos algunos antecedentes, y a veces es posible rastrear estos antecedentes según lo que hemos publicado.

    Lo que hace que un científico tenga el reconocimiento de que puede ser parcial.

No creo que esté mal tener opiniones o hipótesis. Incluso no creo que esté mal tener creencias. Para ser sincero, cuando lanzo un nuevo proyecto trato de ser lo más abierto posible a todo tipo de resultados. En todo caso, mis prejuicios apuntan más a obtener resultados no significativos. Si obtengo resultados significativos, incluso si es sin sesgos, tengo que preguntarme: "¿Por qué lo hice? ¿Podría ser que estuve equivocado? ¿Podría ser que tengo que volver atrás y verificar el proceso, y encontrar algunos errores?". A veces he encontrado errores en el proceso, con suerte antes de publicarlos. Lo que hace que un científico tenga el reconocimiento de que puede ser parcial. Debemos vigilar esa posibilidad en cualquier cosa que hagamos.

Preimpresiones

Dr. Eric Topol: Esa es realmente una gran respuesta. Una de las cosas por las que me sorprendió, porque normalmente se encuentra en el lado negativo de casi todo, son las preimpresiones. Es bastante positivo en preimpresiones.[6]  Díganos por qué ese es el caso.

John Ioannidis: Las preimpresiones son una oportunidad para difundir ampliamente la investigación y, previamente, para abrir esa investigación a la crítica en una etapa temprana para toda la comunidad científica. Uno podría argumentar: "Bueno, no hay una revisión por pares aquí". Soy un firme defensor de la necesidad de una revisión por pares, pero la revisión por pares no es óptima. De los trabajos que se envían, probablemente mejora sustancialmente alrededor de 20%, empeora aproximadamente 5% y 75% quizá no cambie mucho más que solo lingüística o estilísticamente.

Si pudiéramos tener un sistema donde la información esté disponible desde el principio para que toda la comunidad científica investigue, comente y haga sugerencias de mejora antes de tener el documento "definitivo", creo que es algo bueno. La gente necesita darse cuenta de que esto es solo una diseminación temprana de la información y debe tomarse con un nivel extra de precaución.

Dr. Eric Topol: Soy un gran admirador, pero la única preocupación que he tenido es que algunas disciplinas, particularmente en inteligencia artificial, ahora consideran esto como la presentación final. Se están enviando muchos documentos sin la intención de intentar pasar por el proceso de revisión por pares; no es que la revisión por pares sea tan buena, pero al menos existe otra capa de evaluación independiente.

¿Podemos poner esto en marcha?

Dr. Eric Topol: Creo que es notable que haya asumido el papel de la conciencia del campo y su trabajo ha sido tan impactante, el artículo número uno citado en PLoS Medicine ,[2]y tantas otras revistas también. Ahora que ha expuesto los problemas, ¿a dónde va desde aquí? ¿Hace más de lo mismo? ¿Cómo logra que esto se desarrolle?

Dr. John Ioannidis: Mi deseo es no exponer los problemas. Obviamente, hay muchos problemas, por lo que no es gran cosa señalar otro, pero no tiene caso. Mi deseo es tratar de arreglar los problemas. Quiero asegurarme de que el trabajo que hago y el trabajo que hacen quienes colaboran conmigo, nos lleve a buscar soluciones, en lugar de simplemente identificar los problemas.

    La mejora de 1% debido a la adopción de un mejor proceso científico en toda la ciencia es un progreso enorme. Podría traducirse en decenas de millones de vidas salvadas.

Gran parte del trabajo que he estado haciendo en el Centro de Innovación de Meta-Investigación en Stanford durante los últimos 4 años se ha enfocado en la identificación de soluciones. Es posible que no sea fácil documentar soluciones y encontrar pruebas que las respalden. Al igual que las intervenciones en medicina o cualquier otra especialidad, necesitamos evidencia sobre las soluciones propuestas. Uno puede llegar a muchas ideas, pero algunas pueden ser horribles, algunas pueden ser neutrales y realmente no hacen ninguna diferencia, y otras pueden funcionar.

Lo bueno es que los científicos en general desean poner a la ciencia en mejor forma. No creo que la gente quiera esconder cosas debajo de la alfombra; muchas comunidades científicas proponen soluciones, las implementan, las prueban y ven mejoras importantes en la credibilidad y transparencia de su trabajo. Se trata de dar sentido a las opciones, priorizarlas, ponerlas a prueba, eliminar las pistas falsas y avanzar más.

La mejora de 1% debido a la adopción de un mejor proceso científico en toda la ciencia es un progreso enorme. Podría traducirse en decenas de millones de vidas salvadas.

Dr. Eric Topol: Excelente punto. Observé que los algoritmos se utilizan para examinar artículos con respecto a las estadísticas y usan inteligencia artificial. Esta puede ser una de las muchas formas en que podemos solucionar estos problemas.

Doctor, quiero agradecerle, no solo por esta entrevista, sino por el papel más importante que ha desempeñado en medicina. Nos ha enseñado mucho. Realmente ha tenido un efecto fantástico, como una llamada de atención y no solo una vez; es todo el tiempo. Cada vez que veo algo gravemente defectuoso o posiblemente defectuoso, pienso en usted. Gracias por sus esfuerzos y su continua búsqueda de evidencia que sea real y por la excelencia en la investigación. Buena suerte, y éxito continuado para usted y sus colegas en Stanford.

Dr. John Ioannidis: Gracias, fue un gran placer hablar con usted y espero que tengamos más buenas noticias la próxima vez.

Dr. Eric Topol: Excelente. Gracias por acompañarnos y gracias a todos ustedes en Medscape y a nuestra audiencia por unirse a nosotros en esta serie de las personas más interesantes de la medicina.

Comentario

3090D553-9492-4563-8681-AD288FA52ACE
Los comentarios están sujetos a moderación. Por favor, consulte los Términos de Uso del foro

procesando....