Ciclo de relevancia: ¿las preimpresiones exageran sus hallazgos?

Bienvenidos a Factor de impacto, su dosis semanal de comentario sobre un nuevo estudio en medicina. Soy el Dr. F. Perry Wilson.

Pongo las cartas sobre la mesa: tengo sentimientos encontrados acerca de los servidores de preimpresión como  medRxiv. En la superficie la capacidad de publicar los resultados de la investigación antes de la revisión por pares, especialmente cuando los resultados pueden tener un impacto importante para la salud pública, es loable. Pero siempre me pregunto si la calidad de la investigación sufre por esa falta de supervisión.

Por otro lado, la revisión por pares es dolorosamente lenta.

Un caso de la vida real: el 8 de julio de 2022 envié los resultados de un ensayo aleatorio a una revista, que permanecerá sin nombre. Se envió para revisión por pares y se me pidió responder a los comentarios de los revisores el 30 de noviembre de 2022, 145 días después. Respondí a los revisores y volví a enviarlo el 9 de enero de 2023.

El nuevo envío se hizo a los revisores y se me solicitó realizar más revisiones el 16 de marzo de 2023, 66 días después. Respondí y lo volví a enviar el 23 de marzo de 2023. Eso fue hace más de un mes. No he tenido noticias y desde la presentación inicial han pasado 283 días en la misma revista, más de nueve meses. Ya podría haber tenido un bebé.

Por tanto, sí, el atractivo de los servidores de preimpresión es enorme.

Pero la revisión por pares no se trata solo de andar a flote sin pensar esperando los comentarios de los revisores, aunque a veces se siente así. De hecho, los comentarios que los revisores proporcionaron sobre mi manuscrito lo fortalecieron sustancialmente; sugirieron nuevos análisis que complementaron los hallazgos primarios y, lo que es igualmente importante, me obligaron a describir mis hallazgos de manera más imparcial. En otras palabras, me obligaron a reducir mi propio "enfoque". Sin esa verificación, ¿los manuscritos del servidor de preimpresión están sobrevalorados?

En la era de la COVID-19 el uso del servidor de preimpresión, particularmente medRxiv, que tiende a publicar estudios de investigación clínica, se disparó. La necesidad de salud pública era clara: necesitábamos datos rápidamente, no un año después de la presentación inicial. Pero, ¿qué obtuvimos por el trato? ¿Fue la investigación de calidad razonable? ¿Podría haber sido un sobreuso del ciclo y proporcionar un exceso de relevancia?

Hablamos de una bonita carta de investigación del Dr. David Schriger y sus colaboradores de la UCLA, que aparece en JAMA.^[1] El objetivo del análisis fue evaluar el nivel del "enfoque de la publicación" en los ensayos aleatorios relacionados con COVID-19 publicados por primera vez en medRxiv, en comparación con las versiones finales publicadas de esos artículos.

Revisaron 236 preimpresiones desde enero de 2020 hasta diciembre de 2021 y no le sorprenderá saber que para noviembre de 2022 aún no se habían publicado 54 artículos en preimpesión en revistas revisadas por pares. De los que se publicaron, el tiempo promedio desde el envío de la versión preliminar hasta la publicación revisada por pares fue de 134 días... pero está bien; no estoy celoso.

Los autores identificaron básicamente tres categorías de preimpresiones: aquellos que nunca se publicaron en revistas revisadas por pares, los que finalmente se publicaron y luego los resúmenes oficiales publicados.

Los autores primero puntuaron las categorías sobre la completitud del resumen. ¿Proporcionaron los resultados para su resultado primario? Por ejemplo: puede ver en general que las preimpresiones que nunca se publicaron estaban menos completas que las que sí se publicaron. Por ejemplo, solo 30% de las preimpresiones no publicadas proporcionó sus resultados primarios en los resúmenes, aunque 53,4% de los resúmenes que finalmente se publicaron tenía estos resultados y 57,8% de los artículos finales publicados lo tenían. Entonces, los que se publicaron son bastante similares a los artículos que no se habían publicado. ¿Pero en serio? ¿De los artículos revisados por pares, 45% no informa sus resultados primarios en el resumen? Esto se siente más como una acusación de revisión por pares que de servidores de preimpresión.

Pero el punto real aquí es hablar del enfoque. Los autores del estudio de JAMA idearon su propio sistema para analizarlo(a), incluidos factores como resaltar los resultados secundarios positivos cuando el resultado principal era negativo y extender las afirmaciones más allá de la población objetivo del estudio. El enfoque fue mucho mayor en los artículos preliminares que nunca se publicaron. Sin embargo, entre los que se publicaron fue un poco mejor después de la revisión por pares, pero no de manera dramática.

Cuando se compararon resúmenes preliminares individuales con sus homólogos revisados por pares, en general se consideró que los resúmenes revisados por pares tenían una comunicación científica más completa y menos enfoque en general. Pero, ¿ven esas grandes áreas beige aquí? Estos son pares de preimpresiones y resúmenes publicados que no fueron diferentes con respecto al enfoque, la mayoría, en realidad. Nuevamente, para mí esto se lee como más condenatorio de la revisión por pares que de los servidores de preimpresión.

Algunas advertencias aquí. En mi opinión, probablemente los ensayos aleatorios están menos sujetos a enfoques de la relevancia que la investigación observacional, dado que con esta última los autores tienen mucha más flexibilidad para seleccionar resultados y análisis importantes. Y la COVID-19 no es necesariamente representante de toda la investigación clínica. Además sabemos que para empezar, las preimpresiones que nunca se publicaron fueron más tergiversadas. Eso puede parecer tranquilizador, pero recuerde que cuando un manuscrito aparece en un servidor de preimpresión no tenemos forma de saber si se publicará en el futuro. Estamos volando a ciegas.

Es por esa razón que los autores advierten que "la adopción de protocolos de tratamiento de COVID-19 basados en artículos de preimpresión erróneos sugiere problemas potenciales asociados con resúmenes menos completos y más tergiversados".

En efecto. Pero me parece que la diferencia entre los buenos y los malos artículos de preimpresión no radica en la revisión por pares. En todo caso, tal vez recaiga en esos pobres editores asociados de las revistas médicas, ya sabes, los que rechazan el artículo sin siquiera enviarlo a los revisores, a menudo en uno o dos días. ¿Podría tal modelo aplicarse a los servidores de preimpresión? ¿Un simple, rápido, tal vez unilateral "no" para separar el trigo de la paja? ¿O eso anularía todo el propósito?

Quizá escriba un manuscrito al respecto. Puede encontrarlo en una revista revisada por pares muy respetada en algún momento de los próximos 12 a 18 meses.

Para Medscape, soy Perry Wilson.

El Dr. F. Perry Wilson, M. S. C. E., es profesor asociado de medicina y director del Acelerador de Investigación Clínica y Traslacional de Yale. Su trabajo de comunicación científica puede encontrarse en el Huffington Post, en NPR y aquí en Medscape. Tuitea en @fperrywilson y su nuevo libro, How Medicine Works and When It Doesn't, ya está disponible.

Para más contenido  suscríbase a nuestros boletines y siga a Medscape en Facebook, Twitter, Instagram y YouTube.

CRÉDITO
Imagen principal: Medscape
Figura 1: Dr. F. Perry Wilson
Figura 2: JAMA

Medscape © 2023 WebMD, LLC

Cualesquiera puntos de vista expresados antes son del propio autor y no necesariamente reflejan los puntos de vista de WebMD o Medscape.

Citar este artículo: Ciclo de relevancia: ¿las preimpresiones exageran sus hallazgos? - Medscape - 28 de abr de 2023.