Luego de haber revisado los metanálisis escritos este año sobre Ivermectina y Covid-19 , y de haber descripto como se debe leer un metanálisis sobre Ivermectina, sugerí que varios debieran rehacerse sin los estudios retractados, para saber el resultado final sin ellos.
En un metanálisis de Deng et al ya se anunciaba el resultado al excluirlos deliberadamente pero también existía la posibilidad de evaluar cada artículo en particular y diferenciarlos por la veracidad de la evidencia que ofrecian, utilizando la metodología GRADE.
Por suerte para nosotros, un investigador argentino publicó un artículo, en el Journal of Clinical Epidemiology, al que llamó "El sesgo como fuente de inconsistencia en los ensayos de ivermectina para Covid-19: una revisión sistemática". Suena a título importante, y en inglés, como el lo escribió, suena más importante aun.
Como los autores del estudio conocen mucho de "metodología" es bueno que lo lean, ya que aparte de las conclusiones interesantes, también demuestran como debe realizarse una revisión sistemática y metanálisis, aunque se los comento aquí.
Los autores realizaron una revisión sistemática acorde a una metodología conocida como PRISMA (acrónimo de Preferred Reporting Items for Systematic Reviews and Meta-Analyses). Alli se definen los requisitos mínimos que debe tener toda revisión, lo que mejora la calidad y la transparencia de las revisiones, además de hacerla reproducible. Todo esto es lo que se pide cuando, por ejemplo, se va a realizar una revisión en Colaboración Cochrane. Por si no lo sabe, los "Cochranianos" suelen ser algo así como los talibanes en lo que a metodología de la investigación se refiere. Algo así como el Opus Dei, pero de la Medicina Basada en la Evidencia.
Con esta metodología eligieron los estudios desde una base de datos llamada L.OVE (Living Overview Evidence) que utiliza una estrategia de búsqueda conocida como PICO (por Problema, Intervención, Comparación y Outcome, ver aqui). Para evaluar los sesgos utilizaron una herramienta que se llama Cochrane Risk of Bias (RoB 2) y los resultados seleccionados fueron agregados a un paquete estadístico que se llama "meta" (un paquete estadístico en un lenguaje de programación muy nerd que se llama R). Luego de eso evaluaron la veracidad, o calidad, de la evidencia con la metodología GRADE (de la cual los autores son expertos, aunque no lo dicen). Si todavía no leyó nada sobre GRADE puede comenzar aqui.
Si usted no entiende, o se pierde, no importa, el asunto es que hasta aquí hicieron todo un poco mejor que bien y lo están presumiendo, como se debe.
De 680 estudios que encontraron eligieron 29 con 5592 pacientes, y aunque uno estaba retractado (el de Elgazzar et al, que comenté en otro artículo) decidieron dejarlo porque el estudio se trataba de considerar como influian eventuales sesgos en los resultados. Asi se seleccionaron estudios con alto riesgo de sesgo y con moderado riesgo de sesgo (un cuadro de ello aqui)
De esta manera realizaron un metanálisis para cada uno de los efectos estudiados (mortalidad, ventilación, hospitalización, infección, etc.) y los analizaron en conjunto, pero también diferenciando por el riesgo de sesgo: mayor, moderado o bajo.
Excepto para infección sintomática (que tenía 4 estudios calificados como de alto riesgo de sesgo) no se encontró diferencia estadísticamente o clínicamente significativa,
según se vé en el gráfico de Forest Plot:
Entre los que tenían un alto o moderado riesgo de sesgo (incluído el de Elgazzar et al) el Riesgo Relativo fué de 0.33, 95% CI:0.15 to 0.73. Lo cual en castellano significa que redujo la mortalidad en un 77%. La veracidad de la evidencia era baja por serios riesgos de sesgos e inconsistencias (el I2 que mide la heterogenidad era de 48%).
Pero entre los estudios de bajo riesgo de sesgo (se excluyen aquí los 6 estudios incluídos antes) el resultado cambia a un Riesgo Relativo de 0.96, 95% CI:0.58 to 1.59. Traducido es algo así como que disminuye un 4% la mortalidad, pero pudiera disminuirla un 42% o aumentarla un 59%. Dado que el intervalo de confianza atraviesa un umbral de indiferencia, decimos que el resultado no es ni estadísticamente ni clínicamente significativo. Es decir que no se pudo demostrar que reduzca la mortalidad.
Para los incrédulos aquí los Forest Plot sobre mortalidad diferenciados entre ambos grupos de estudios:
Ya en la discusión del artículo, los autores señalan, al igual que todos los investigadores antes que ellos, la baja calidad de los estudios primarios. Ellos saben que no se puede hacer alquimia, y transformar el cobre en oro. En castellano significa que los metanálisis no hacen magia, y no pueden convertir estudios pobres en otros de mejor calidad, solo por el hecho de figurar en un metanálisis.
En definitiva este estudio es importante porque: demuestra como influyen estudios con alto o moderado riesgo de sesgo en un metanálisis y porque utilizando la mejor calidad metodológica de todos los estudios analizados confirma que no hay diferencia entre el uso de Ivermectina y el de cuidados habituales para todos los efectos estudiados incluso la mortalidad.
Parece que este año la cantidad de metanálisis sobre el tema ha superado a la cantidad de estudios primarios. En mi caso escribo esto porque el estudio es relevante, y porque responde a algo que me había preguntado antes. Pero también porque descubrí que puede ser útil para enseñar algo de metanálisis a mis estudiantes de epidemiología.
Con lo visto creo que está demostrado que hacer un metanálisis es algo más que juntar los datos y meterlos en una hoja de cálculo o un programa. Mucho menos posible es un metanálisis on line, como algunos defensores de este medicamento quieren hacernos creer. Para los que no lo saben, existe una página asi, que acumula los datos sin ninguna otra metodología que seleccionar artículos que están a favor del tratamiento.
Yo me interesé en el tema simplemente porque era controversial, pero con ganas de encontrar un tratamiento realmente efectivo, supongo que es lo que todos queremos. Hasta ahora nada parece demostrar esto, por lo que creo que la idea de difundir una falsa esperanza sobre este fármaco es hasta perjudicial, ya que si no le agrega un efecto adverso le quita dinero a quien lo consume.
En Argentina ha estado entre los 15 medicamentos más vendidos desde el comienzo de la crisis por Covid-19. Pero estos datos solo contemplan medicamentos vendidos en farmacias. Y sabemos que gran cantidad de gente consume medicamentos que compran en veterinarias.
Esto también sucede en otros países, en los Estados Unidos las prescripciones son 24 veces mayores que antes de la pandemia. Y hasta hace unos meses seguia creciendo.
Un centro de consultas en Oregon triplicó sus consultas para este fármaco este año (5). Y de 21 consultas en agosto, 17 habian comprado fórmulas veterinarias. Las dosis utilizadas llegaban a 125 mg. La mayoría habia desarrollado síntomas dentro de las dos horas posteriores a la toma. Y 6 personas fueron hospitalizadas (3 de los cuales habian recibido una receta médica). Cuatro recibieron atención en una unidad de cuidados intensivos y ninguno murió. Los síntomas fueron malestar gastrointestinal en 4 personas, confusión en 3, ataxia y debilidad en 2, hipotensión en 2 y convulsiones en 1. De las personas que no ingresaron en un hospital, la mayoría presentaba malestar gastrointestinal, mareos, confusión, síntomas de visión, o sarpullido. Estos casos ilustran los posibles efectos tóxicos de la ivermectina, incluidos episodios graves de confusión, ataxia, convulsiones e hipotensión, y la frecuencia cada vez mayor de uso inadecuado.
Por ende, seguir sosteniendo, después de este año, que este medicamento es efectivo, fuera de un ensayo clínico, no solo no es cierto, sino además peligroso.
Sobre metodología en revisiones sistemáticas y metanálisis se puede ampliar aqui:
6. Ciapponi, A. (2021). La declaración PRISMA 2020: una guía actualizada para reportar revisiones sistemáticas. Evidencia, Actualizacion En La práctica Ambulatoria, 24(3), e002139. https://doi.org/10.51987/evidencia.v24i4.6960
7. Trisha Grenhalgh. Como leer una revisión sistemática y metanálisis. Libro.
8. Bolaños Diaz R. Introducción al meta-análisis. Rev. gastroenterol. Perú. 2014.[enlace]
9. Ivermectin for Treatment of Mild-to-Moderate COVID-19 in the Outpatient Setting: A Decentralized, Placebo-controlled, Randomized, Platform Clinical Trial. Susanna Naggie.
Entradas relacionadas
- Sobre la estrategia de búsqueda PICO en: Como leer un artículo científico
- Valorando la veracidad de la evidencia con GRADE: GRADE para dummies
- Por si le interesa como leer los gráficos (Forest Plot) de un metanálisis en: Ivermectina y metanálisis II
- Una revisión de 9 metanálisis del 2021 sobre Ivermectina en Covid-19: Metanálisis e Ivermectina
- Porqué leer un metanálisis
- Intervalos de confianza
- Pirámides de evidencia
- Escrito en Inglés, y que también aborda el tema de los metanálisis vinculados a Ivermectina: Uso y abuso de los metanálisis
Comentarios en @rubenroa
Según un comentario de GRADE Cono Sur en twitter (https://twitter.com/GRADEConoSur): "Usando los datos presentados en tu post, hay certeza al menos moderada de que el efecto de ivermectina es prácticamente nulo en población de bajo riesgo (0 eventos menos por cada 1000)"
ResponderBorrar