Sin duda lo primero que se debe dejar en claro son las propias limitaciones que tienen los metanálisis cual es la veracidad de la evidencia de los estudios primarios de los que se nutre. En el caso de los varios metanálisis sobre ivermectina y covid esto ha quedado más que en claro. Uno de los tantos que leí fue el de Andrew Hill que no había encontrado una diferencia significativa en lo que a disminuir la mortalidad se refiere con ivermectina (RR 0.90; 95% CI, 0.57 to 1.42; P = .66), pero aun así los editores de la revista en que fue publicado lo retractaron en Agosto de 2021, por haber incluido un estudio que había sido retractado un mes antes. Este estudio de Elgazzar et al, también "contaminó" al menos a cuatro metanálisis más durante el 2021. Los estudios de Zein, Bryant (el metanálisis más citado a favor de la ivermectina), Sieminiuk y el de Kow (lo había comentado aquí).
El mismo Andrew Hill acaba de publicar un nuevo estudio ahora, en la misma revista, bajo el nombre de "Ivermectina para COVID-19: abordar el sesgo potencial y el fraude médico". El estudio de Elgazzar et al se retiró del servidor de preimpresión Research Square el 15 de julio de 2021, debido a "preocupaciones éticas", y también se informó que los datos de 79 participantes estaban duplicados, algunas muertes se registraron en fechas anteriores al inicio del ensayo y se identificaron casos de plagios en el texto.
De manera similar, un estudio realizado en Líbano por Raad et al. también se identificó que tenía datos duplicados para múltiples participantes cuando se analizó la base de datos a nivel de paciente en septiembre de 2021, es decir cuando el trabajo de Hill et al ya habia sido retractado. Antes de que se identificaran estas inconsistencias, los estudios de Elgazzar y Raad se incluyeron en múltiples metanálisis, lo que sugirió beneficios significativos para la ivermectina en el tratamiento de covid. En el metanálisis original de Andrew Hill el estudio de Raad representó el 11,8 % del efecto de la ivermectina en la hospitalización, y el estudio de Elgazzar representó el 12,6 % del efecto de la ivermectina en la supervivencia.
Por ello el mismo autor señala la necesidad de usar herramientas estandárizadas para la medición del sesgo, proponiendo una muy conocida que es la de Cochrane (RoB 2). Y de ese modo identificó en su propio estudio a ensayos clínicos que consideró como de alto riesgo: "Un estudio de Niae et al. de Irán, que informó una metodología aleatoria, se encontró que tenía diferencias significativas en las características iniciales entre los brazos de tratamiento. Esto sugiere que los participantes no se asignaron al azar de manera adecuada, lo que podría sesgar los resultados. En segundo lugar, un estudio de Okumus et al. de Turquía no proporcionó ninguna información sobre el ocultamiento de la asignación, y no estaba claro si los participantes o los investigadores estaban cegados, lo que corre el riesgo de introducir un sesgo de observación. Por último, un estudio de Hashim et al. de Irak proporcionó detalles insuficientes sobre el proceso de aleatorización, tuvo falta de claridad sobre los participantes que fueron analizados e involucró una evaluación no cegada de un resultado subjetivo".
"Estos casos sugieren que los datos disponibles para respaldar el uso de ivermectina para Covid-19 no son confiables" dice el propio Hill. El autor señala para los ensayos clínicos que evaluaron la ivermectina para el tratamiento de Covid-19 se identificaron mediante una búsqueda sistemática en 8 bases de datos. Se realizó una evaluación en profundidad de la calidad del estudio, además de la lista de verificación estándar Cochrane RoB 2 y CONSORT. Evaluaron los ensayos en función de la efectividad de su proceso de asignación al azar mediante la comparación de las características iniciales entre los brazos de tratamiento mediante la prueba de chi-cuadrado y luego verificaron las fechas de aleatorización para asegurar que los pacientes fueran aleatorizados en los brazos de tratamiento en fechas similares. En tercer lugar, se realizaron comprobaciones para evaluar si el reclutamiento para los brazos de tratamiento estaba equilibrado en cada centro de investigación. Además, analizaron las bases de datos a nivel de pacientes, cuando estaban disponibles, para verificar cualquier evidencia de participantes duplicados y homogeneidad o heterogeneidad inesperada. A partir de esto, se realizó un metanálisis con subgrupos de ensayos clínicos con diferentes niveles de riesgo de sesgo.
✔ El análisis demuestra que al incluir los 12 estudios, la ivermectina produce un aumento significativo del 51 % en la supervivencia (IC del 95 %, 0,28–0,86; P = 0,01).
✔ Al excluir el estudio potencialmente fraudulento de Elgazzar, la ivermectina da como resultado un aumento significativo del 38 % en la supervivencia (IC del 95 %, 0,39–0,99; P = 0,05).
✔ Al excluir los estudios de alto riesgo de sesgo, la ivermectina produce un aumento no significativo del 10 % en la supervivencia (IC del 95 %, 0,57–1,42; P = 0,66)
✔ Y por último, al excluir los estudios con algunas preocupaciones de sesgo, la ivermectina produce un aumento no significativo del 4 % en la supervivencia (IC del 95 %, 0,56–1,66; P = 0,90)
Estas observaciones demuestran que el efecto significativo de la ivermectina sobre la supervivencia dependía de la inclusión de estudios con alto riesgo de sesgo o posible fraude médico. Aunque es posible que el riesgo de sesgo (como ya lo había notado Iztcovich et al) haya tenido mayor incidencia en el resultado final. Hay desafíos adicionales con los ensayos clínicos que investigan los tratamientos de Covid-19. En una respuesta rápida a la epidemia, se han realizado muchos estudios a pequeña escala en todo el mundo en busca de agentes potenciales. Sin embargo, no todos los ensayos informaron resultados. Un ejemplo es un ensayo de nitazoxanida en Brasil con 600 participantes que se completó en octubre de 2020 pero aún no ha informado ningún resultado.
El sesgo de publicación es uno de los problemas más frecuentes que se señala al enseñar una lectura crítica de los ensayos clínicos: aquellos estudios con resultados positivos y significativos tienen mayor tendencia a publicarse que los que no mostraron diferencias. Y esto sin duda puede influir en el resultado de los metanálisis.
Otros estudios, para Andrew Hill, también pueden sobreinterpretarse. Por ejemplo, en un estudio de cohorte retrospectivo no aleatorizado, sobre remdesivir demostró una mejora en la recuperación clínica y redujo el riesgo de mortalidad en un 62 %. Sin embargo, cuando se evaluó en el ensayo SOLIDARITY aleatorizado y controlado con placebo de la OMS, remdesivir tuvo poco o ningún efecto sobre la mortalidad. Cualquier hallazgo prometedor inicial de un pequeño número de fuentes debe interpretarse con cautela, estudiarse más y considerarse dentro del cuerpo más amplio de evidencia.
Los resultados de este análisis destacan la necesidad de evaluaciones de calidad rigurosas al evaluar ensayos clínicos de medicamentos para COVID-19. Las herramientas de evaluación del riesgo de sesgo existentes y ampliamente utilizadas no son suficientes para Andrew Hill, ya que solo brindarían una metodología y un marco sistemático para identificar posibles fuentes clave de sesgo en la metodología interna de un ensayo, pero se basan en el supuesto fundamental de que un estudio publicado informa hallazgos precisos y completos. Permiten a los revisores emitir juicios sobre la suposición de que se sigue el procedimiento estándar básico, los datos son reales y no se oculta información intencionalmente.
Los temores no son infundado, al menos se han retractado 15 estudios, incluidos 2 estudios de este autor y el metanálisis de Bryant que es el más utilizado por los defensores del medicamento. Es dificil ver para un medicamento tantos estudios retractados en corto tiempo, pero la visibilidad que ha tenido el tema probablemente ayude a que esto sea así. El BMJ se sumó en febrero de 2022 al culebrón al publicar que 200.000 personas de Ciudad de México participaron "involuntariamente" de un ensayo clínico que fue publicado y posteriormente también retractado (5).
Muchos de los estudios primarios que sirven como sustrato fueron publicados en preprints, pero esta rápida manera de comunicar no parece haber influido en la calidad de los estudios, más de lo que hacen publicaciones en revistas peer review. Las herramientas para minimizar los sesgos y evaluar la veracidad de la evidencia no varían según donde hayan sido publicados. Tanto es así que la mayoría de los estudios retractados provienen de revistas peer-review. De hecho una revisión sistemática Cochrane fue realizada en Julio de 2021 y no incluyó a estos estudios.
Para Andrew Hill y su grupo es necesario tener acceso a la base de datos a nivel pacientes de los estudios primarios. Y que el no acceder a ellos debe considerarse con un mayor índice de sospecha. No hay duda que sería un cambio sustantivo a la forma en que la ciencia se maneja hoy.
Sin embargo pareciera que si hubiera ajustado por el riesgo de sesgo se hubiera llegado a la misma conclusión como lo demostró Izcovich y su grupo. Claro que en este caso también se encontró que los estudios retractados no solo son potencialmente fraudulentos, sino también con un alto riesgo de sesgo.
Referencias
Artículos relacionados
