¿Podemos confiar en los preprints de ensayos COVID-19?
A pesar de que durante la pandemia por COVID-19 los preprints fueron cruciales para dar a conocer oportunamente los hallazgos científicos sobre el coronavirus SARS-CoV-2, persiste la preocupación por que esta información provisional pueda contener errores y ser muy diferente a la publicación en revistas académicas.
Así mismo, quienes realizan síntesis de evidencia en salud pueden dudar de incluir preprints en metanálisis y en la evaluación de la calidad de la evidencia. Mientras que quienes toman decisiones en salud en base a la evidencia evitan considerar a los preprints, aún en contextos como el de una pandemia.
Esta revisión concluyó que no hay evidencia de que los preprints de ensayos de COVID-19 proveen resultados inconsistentes con los artículos publicados y que, además, estos preprints deben ser considerados en metanálisis, evaluación de la calidad de la evidencia y en la toma de decisiones.
El boom de los preprints
El proceso de publicación de un artículo de investigación se caracteriza por una etapa de “revisión por pares” (en inglés peer review), que consiste en que un grupo académico revisa, sugiere correcciones y valida el texto previo a su publicación en la revista. Esta etapa provee de credibilidad a un artículo de investigación, puesto que personas independientes a las y los autores de la investigación certifican que esta fue realizada correctamente y que sus conclusiones son pertinentes. No obstante, la revisión por pares es lo que la mayoría de las veces más retrasa la publicación de un artículo, demorando la diseminación de los resultados de una investigación.
Un preprint es la versión de un artículo académico previa a la revisión por pares y a su consecuente publicación en una revista o journal. Estos son depositados en “servidores de preprints“, una modalidad que viene ganando terreno desde incluso antes de la pandemia de COVID-19, justamente por la lentitud del proceso de revisión por pares. Debido a la necesidad de conocer los hallazgos de los estudios sobre COVID-19 lo más pronto posible, durante la pandemia se masificó el uso y la consulta en servidores de preprints por parte de la comunidad científica [1]. Ensayos clínicos de grandes colaboraciones internacionales como RECOVERY y SOLIDARITY fueron diseminados como preprints antes de su publicación en revistas [2,3].
A pesar de lo masivo del uso de preprints, en la comunidad médica persiste la preocupación por que la información provisional que proveen puede contener errores importantes, a diferencia de la correspondiente versión revisada por pares y publicada.
¿Cómo evaluamos si los preprints de ensayos de COVID-19 son confiables?
En esta revisión publicada en BMJ Medicine [4] fueron analizados ensayos clínicos acerca de los efectos de tratamientos farmacológicos sobre la mortalidad y la ventilación mecánica de pacientes con COVID-19. De un total de 356 ensayos clínicos, 101 estaban disponibles solo como preprints, 181 como publicaciones académicas, y 74 fueron primero diseminados como preprints y luego publicados en revistas. El equipo, el cual integraron el director de Epistemonikos, Gabriel Rada, y la Directora de Innovación en Investigación de Epistemonikos, Francisca Verdugo-Paiva, evaluó las discrepancias entre la información contenida en los preprints y la publicada en los correspondientes artículos, además el reporte de los métodos y la evaluación de la calidad de la evidencia.
Adicionalmente, para 8 tratamientos (corticosteroides, remdesivir, lopinavir-ritonavir, hidroxicloroquina, ivermectina, antagonistas de los receptores de interleucina 6, plasma convaleciente e hidroxicloroquina para profilaxis), el equipo realizó 120 metanálisis: 60 que incluyeron preprints y 60 que no incluyeron preprints, para los cuales se evaluó la calidad de la evidencia utilizando el marco GRADE. En la evaluación se consideró el riesgo de sesgo, inconsistencia, imprecisión, sesgo de publicación y si las conclusiones tenían la capacidad de afectar la toma de decisiones.
La evaluación concluyó que no hay evidencia sólida que señale que los preprints de ensayos clínicos de COVID-19 proveen resultados inconsistentes con respecto al artículo una vez publicado. Tras la realización de los metanálisis, el equipo concluyó que los preprints pueden tanto aumentar como reducir la certeza de la evidencia. Por lo tanto, en general, los resultados respaldan la inclusión de preprints en la síntesis de evidencia y su consideración en la toma de decisiones.
La mediana del tiempo de publicación fue de casi 6 meses
La mayoría de los ensayos de COVID-19 analizados enrolaron menos de 250 participantes y fueron financiados por fondos estatales, instituciones o industrias. En el año y medio de desarrollo de la revisión, 74 de los 175 preprints fueron publicados en revistas. Transcurridos 6 meses, la mitad del total de preprints no habían sido publicados. Mientras que luego de un año, un tercio del total no habían sido publicados. La mediana del tiempo de publicación de preprints fue de 5.9 meses.
El estudio, liderado por Dena Zeraatkar, de Harvard Medical School y McMaster University, demuestra que para una importante cantidad de ensayos clínicos, los preprints son la única fuente de información por varios meses. En el contexto de una emergencia de salud, los preprints pueden acelerar la diseminación de los hallazgos más relevantes de ensayos clínicos que son críticos para informar la toma de decisiones.
Discrepancias entre preprints y artículos publicados
Una de las mayores preocupaciones para las y los usuarios de evidencia, desarrolladores de revisiones sistemáticas y guías de práctica clínica, es la imprecisión de los resultados presentados en un preprint, puesto que no han sido revisados por pares. Una vez publicado el artículo académico, los resultados “reales” podrían ser muy diferentes. Es por eso que muchas veces se desconfía de utilizar datos derivados de preprints en la síntesis de evidencia y en la toma de decisiones en salud.
La revisión encontró que en el 56.8% de los casos había una o más discrepancias en el reporte de los métodos y resultados claves al comparar el preprint con el artículo publicado. Un 40.5% tenía una o más discrepancias solo en el reporte de los métodos, de donde la más común era el ocultamiento de la asignación, que se implementa en los ensayos clínicos aleatorizados para prevenir el sesgo de selección. En un 41.9% de los casos se hallaron una o más diferencias en el reporte de los resultados, siendo la más frecuente la diferencia en los desenlaces. También se registró como discrepancia el reportar desenlaces adicionales en el artículo publicado, que no habían sido incluidos en el preprint.
A pesar de que fueron usuales las discrepancias entre los datos reportados en la versión preprint y la publicada, los resultados eran similares en magnitud y precisión.
Finalmente, esta revisión, en la que participaron miembros del equipo Epistemonikos, concluye que la evidencia no avala la desconfianza en los preprints de ensayos de COVID-19, relativa a la calidad y discrepancias entre los resultados presentados en estos con respecto a los artículos publicados en revistas académicas.
Es más, se alienta a los diferentes usuarios de evidencia en salud a considerar a los preprints de ensayos de COVID-19 en la síntesis de evidencia, desarrollo de políticas públicas y toma de decisiones. En particular en emergencias de salud, los preprints de ensayos clínicos pueden ser por extensos períodos de tiempo la única fuente de información.
Referencias:
[1] Ewen Callaway. Will the pandemic permanently alter scientific publishing? Nature 582, 167-168 (2020). doi: https://doi.org/10.1038/d41586-020-01520-4 [2] RECOVERY Collaborative Group, Horby P, Mafham M, Linsell L, Bell JL, Staplin N, Emberson JR, Wiselka M, Ustianowski A, Elmahi E, Prudon B, Whitehouse T, Felton T, Williams J, Faccenda J, Underwood J, Baillie JK, Chappell LC, Faust SN, Jaki T, Jeffery K, Lim WS, Montgomery A, Rowan K, Tarning J, Watson JA, White NJ, Juszczak E, Haynes R, Landray MJ. Effect of Hydroxychloroquine in Hospitalized Patients with Covid-19. N Engl J Med. 2020;383(21):2030-2040. doi: 10.1056/NEJMoa2022926. [3] WHO Solidarity Trial Consortium, Pan H, Peto R, Henao-Restrepo AM, Preziosi MP, Sathiyamoorthy V, Abdool Karim Q, Alejandria MM, Hernández García C, Kieny MP, Malekzadeh R, Murthy S, Reddy KS, Roses Periago M, Abi Hanna P, Ader F, Al-Bader AM, Alhasawi A, Allum E, Alotaibi A, Alvarez-Moreno CA, Appadoo S, Asiri A, Aukrust P, Barratt-Due A, Bellani S, Branca M, Cappel-Porter HBC, Cerrato N, Chow TS, Como N, Eustace J, García PJ, Godbole S, Gotuzzo E, Griskevicius L, Hamra R, Hassan M, Hassany M, Hutton D, Irmansyah I, Jancoriene L, Kirwan J, Kumar S, Lennon P, Lopardo G, Lydon P, Magrini N, Maguire T, Manevska S, Manuel O, McGinty S, Medina MT, Mesa Rubio ML, Miranda-Montoya MC, Nel J, Nunes EP, Perola M, Portolés A, Rasmin MR, Raza A, Rees H, Reges PPS, Rogers CA, Salami K, Salvadori MI, Sinani N, Sterne JAC, Stevanovikj M, Tacconelli E, Tikkinen KAO, Trelle S, Zaid H, Røttingen JA, Swaminathan S. Repurposed Antiviral Drugs for Covid-19 - Interim WHO Solidarity Trial Results. N Engl J Med. 2021;384(6):497-511. doi: 10.1056/NEJMoa2023184. , et al. Consistency of covid-19 trial preprints with published reports and impact for decision making: retrospective review.
