Ivermectina y metanalisis II

En septiembre de 2021 Deng y colaboradores, publicaron un metanálisis sobre eficacia de la Ivermectina, su estudio concluía que el tratamiento con este fármaco no habia encontrado diferencia con los cuidados habituales. Tres meses antes, en Junio, Bryant et al habian publicado otro metanálisis en el que demostraba una disminución de la mortalidad en pacientes tratados con Ivermectina. Los defensores de una y otra postura, toman cualquiera de ellos para defender sus posiciones, pero cual es el que acertó? En caso que alguno lo hubiera hecho. Pero este artículo no es sobre Ivermectina, sino sobre metanálisis o si se quiere sobre ambos.

 

Previo a estos metanálisis, los estudios primarios, a favor y en contra del tratamiento, también eran contradictorios, en general de muy pocos pacientes y de baja a moderada calidad metodológica. Por lo que se esperaba que los metanálisis aclararan la situación.

Pero repasemos que es un metanálisis: este tipo de estudio son una sinopsis estadísticas de varios estudios primarios. Por lo que, tan importante como el resultado, es conocer de que estudios primarios se nutrió el mismo, y con que metodología se incluyeron los mismos. Es decir que un metanálisis completo debe ser acompañado de una revisión sistemática de la literatura. Para ello se utiliza una metodología específica, que tiene hoy un estándar llamado "PRISMA", que es el acrónimo de Preferred Reporting Items for Systematic Reviews and Meta-Analyses. Un estándar que difunde Colaboración Cochrane. Y luego de seleccionados los estudios, se los puede valorar con otra metodología que mide la veracidad de los mismos y que se llama GRADE.  

En el caso del metanálisis de Deng, utiliza las herramientas PRISMA y GRADE al valorar los estudios primarios. Señalando que la evidencia que aportaron los mismos era calificada entre baja a moderada. Y aclarando que no incluyó un estudio de Algazzar et al, por haber sido retractado. En otro metanálisis sobre el mismo tema, el metánalisis de Bryant, el estudio de Algazzar era responsable de al menos el 15% de los pacientes incluidos. Aclaro aquí que Bryant también habia seleccionado los estudios con el estándar PRIMA, aunque nunca pudiera haber rechazado el estudio de Algazzar porque ese estudio fue retractado en Julio, un mes después que Bryant publicara su metanálisis.

Uno supone que antes de un metanálisis se hizo una revisión sistemática, pero en ciencia no alcanza con suponerlo. Los autores deben ser explícitos al comunicar. Ya que el objetivo no es solo que sea leído, sino también que pueda ser reproducido. Al fin de cuentas el trabajo es casi igual. 

 

La cantidad de estudios incluidos en un metanálisis dice poco. Todos los autores quieren incluir más estudios, pero saben que si fueran laxos con los criterios de inclusión o exclusión de los mismos, terminarían agregando estudios de muy mala calidad. Ejemplo de laxitud es el metanálisis de Karale et al en la India (3), que reunió 38 estudios con 15.000 pacientes, publicado en octubre y que incluyó hasta estudios retractados meses antes, aun asi no pudo demostrar una disminución significativa de la mortalidad (lo dice el mismo autor, no es una interpretación). Por otro lado, al aumentar el número de estudios, si no se hizo una apropiada selección previa, suele aumentar la heterogeneidad de los resultados, y ya veremos que eso importa. 

 

Un estudio primario que aporta gran cantidad de pacientes a los resultados también puede modificar los resultados, ya sea a favor o en contra de un efecto. Veamos el siguiente gráfico: 

El gráfico es conocido como "Forest Plot", y en este caso Deng mostraba los datos obtenidos cuando se evaluó el clearence viral con Ivermectina vs cuidado estándar. 

Abajo a la izquierda se ve que 114 pacientes tomaron Ivermectina y 46 tuvieron cuidado estándar. Para valorar este efecto se tomaron solo 3 de los 14 estudios que tiene el metanálisis. Destacamos que solo se tomó información de 260 personas de las 2196 que tenia el metanálisis, lo que muestra que el tamaño global de los mismos no suele ser tan importante, ya que a veces se toma solo una fracción de los pacientes para la valoración de cada resultado. 

A la derecha del gráfico se ve el peso de cada uno de los tres estudios en el resultado. Por ejemplo, el estudio de Babalola et al, representaba a 62 personas, o lo que es lo mismo tenía un "peso" del 42%. El tamaño suele ser representado en estos gráficos con las cajas que se ven en el gráfico, donde el tamaño de la caja da una idea de la magnitud de los pacientes que aporta. 

Cuando los autores nos dicen que se hizo un análisis de sensibilidad, nos dice que cada uno de los estudios fue agregado y eliminado del análisis para ver si esto variaba el resultado final. En algunos casos esto modifica el resultado final (el rombo en este gráfico), y los autores lo reportan. 

No fue este el caso, ya que eliminar el estudio de Babalola no hubiera modificado el estudio, pero probablemente eliminar el estudio de Pott-Junior si (Nota: este estudio de Pott-Junior también fue retractado meses después de escribir esto, en mayo de 2022). No lo sabemos, ya que para ello necesitariamos rehacerlo con los datos. 

Si no recuerda como interpretar los intervalos de confianza, puede leer lo que escribi sobre ello, o bien ver si le ayuda este gráfico 👉

Si debe recordar que la longitud de la barra implica el rango entre los que las medidas de efecto se mueven, y que cuanto mayor es el mismo es porqué es menor la cantidad de pacientes. Eso se puede comprobar en el "Forest Plot" que mostré. 

Los resultados finales, para cada efecto que se estudia, suelen expresarse como el rombo del gráfico, donde los extremos del mismo marca los intervalos de confianza, el tamaño suele expresar el tamaño poblacional y la ubicación en relación al efecto nulo nos indica claramente cual fue la respuesta obtenida.

Por ello, y en el caso de Ivermectina, no podemos predecir que sucedería si se eliminara el estudio de Elgazzar et al (el estudio retractado en julio y que favorecía el tratamiento) , pero tenía un peso en el estudio de distintos efectos que variaba entre un 5 y un 20%. 

El peso de cada estudio puede ser corregido, aunque no completamente, por un modelo de variables aleatorias, de los cuales el más utilizado es uno que se llama método de DerSimonian-Laird (no necesita saber hacerlo, solo aprenderse el nombre para saber si los autores lo aplicaron). Por lo que la duda es más que razonable y no soy el único que lo piensa. 

Los editores de una revista que habia publicado un metanálisis de Zein et al sobre el tema, parece que sintieron la necesidad de recordarlo, aunque el estudio no mostraba diferencias a favor, en una edición de septiembre en la revista Diabetes Metabolic Syndrome. Después de escribir esto, leí que ya en Septiembre de 2021, en la revista Nature, un tal Lawrence habia publicado lo mismo, pero con respecto a otro metanálisis que era de Hill.  Siempre hay alguien más listo que uno.

Veamos otro gráfico de Forrest Plot, del mismo estudio. En este caso se mostraba la diferencia del promedio de días de hospitalización con Ivermectina vs los cuidados habituales.

Lo que se puede ver es que el autor, al analizar este efecto, separó a los pacientes severos y no severos. Es decir que hizo un análisis de subgrupos, para terminar con un análisis en conjunto. En el caso de los pacientes severos solo encontró un solo estudio. Aqui también vemos que para este efecto solo se eligieron 4 estudios, con 362 pacientes que tomaron Ivermectina vs 337 con cuidados habituales. En este gráfico se ve que tampoco se encontró diferencia (el rombo cae sobre la línea de efecto nulo), y los intervalos de confianza oscilaron entre -4,17 a 4,33. 

 

El I² (I cuadrado) señala la heterogenidad, en el gráfico A era del 59% y en este gráfico B es del 90%. 

 

Y finalmente este gráfico donde muestra la mortalidad entre los que recibieron Ivermectina vs los controles.

En este caso se incluyeron todos los estudios, y también se evaluó por subgrupos. Se puede observar que en al menos 5 estudios no se reportaron muertes ni en el grupo de tratamiento ni en el grupo control, pero se deben reportar igual ya que los estudios primarios se utilizaron igualmente para el cálculo de este resultado en el metanálisis. 

La heterogenidad se suele mencionar como medida de veracidad o calidad de los metanálisis. 

La heterogeneidad se mide por el I² y se dice que puede ser baja, moderada o alta, según esté por debajo del 25%, alrededor del 50%, o por encima del 75%. 

La heterogeneidad puede ser puede ser clínica (por ejemplo, se agruparon pacientes leves con graves, o incluso se han visto metanálisis con con resultados de estudios primarios medidos en animales junto con datos de humanos), metodológica (estudios de caso control mezclados con ensayos controlados aleatorizados que se debieran reportar por separado), o simplemente estadística.

Cuando un estudio tiene más de un 75% de heterogeneidad, como en el gráfico b, se dice que el estudio está comprometido, y solo se debiera  reportarse cualitativamente. Nadie hace eso, pero debieran. Pero al menos sirve para que no tomemos en cuenta el resultado. 

Y finalmente, no todos los resultados estudiados son iguales. Hay algunos que están vinculados a la enfermedad, o a su fisiopatología. En los estudios de Ivermectina serían los resultados asociados con el clearence viral o la carga viral. Estos resultados son conocidos como DOE (Disease Oriented Evidence), que pueden ser útiles, pero más útiles son aquellos que se vinculen con la progresión a la enfermedad, como la hospitalización, o directamente con la mortalidad. Estos últimos son conocidos como estudios POEMs (Problem Oriented Evidence that Matters). De más está decir que preferimos los estudios POEMs. 

Aqui una imágen que resume como leer un gráfico de Forest Plot, pero que no está vinculado con los metanálisis de ivermectina, por lo que está a modo de ejemplo:

Aunque seguramente usted quiere saber cual es la conclusión, y por eso llegó hasta aquí, aunque la conclusión para mi es obvia seguramente no lo he dejado traslucir bien en este escrito, pero como el tema es árido y a veces dificil decidí comentarlo en otro artículo.

Referencias

1. Deng J, Zhou F, Ali S, Heybati K, Hou W, Huang E, Wong CY. Efficacy and safety of ivermectin for the treatment of COVID-19: A systematic review and meta-analysis. QJM. 2021 Sep 27:hcab247. doi: 10.1093/qjmed/hcab247. Epub ahead of print. PMID: 34570241; PMCID: PMC8500108.

2. Andrew Bryant, MSc,  Theresa A. Lawrie, y otros . Clinica Ivermectin for Prevention and Treatment of COVID-19 Infection: A Systematic Review, Meta-analysis, and Trial Sequential Analysis to Inform Clinical Guidelines  American Journal of Therapeutics 28, e434–e460 (2021)  https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8248252/pdf/ajt-28-e434.pdf [Pubmed]

3. Karale et al. Clinical outomes associated with Ivermectin use in covid-19: an updated systematic review and meta-analysis. Chest. 2021 Oct;160(4):A584–5. doi: 10.1016/j.chest.2021.07.562. Epub 2021 Oct 11. PMCID: PMC8503130. [Texto completo]

4. Zein AFMZ, Sulistiyana CS, Raffaelo WM, Pranata R. Ivermectin and mortality in patients with COVID-19: A systematic review, meta-analysis, and meta-regression of randomized controlled trials. Diabetes Metab Syndr. 2021 Jul-Aug;15 (4):102186. doi: 10.1016/j.dsx.2021.102186. Epub 2021 Jun 27. PMID: 34237554; PMCID: PMC8236126.[Pubmed]

5.  Lawrence, J.M., Meyerowitz-Katz, G., Heathers, J.A.J. et al. The lesson of ivermectin: meta-analyses based on summary data alone are inherently unreliable. Nat Med 27, 1853–1854 (2021). https://doi.org/10.1038/s41591-021-01535-y

6. Andrew Hill, Anna Garratt, Jacob Levi, Jonathan Falconer, Leah Ellis, Kaitlyn McCann, Victoria Pilkington, Ambar Qavi, Junzheng Wang, Hannah Wentzel, Meta-analysis of Randomized Trials of Ivermectin to Treat SARS-CoV-2 Infection, Open Forum Infectious Diseases, Volume 8, Issue 11, November 2021, ofab358, https://doi.org/10.1093/ofid/ofab358

7. Murad MH, Montori VM, Ioannidis JPA, et al. How to Read a Systematic Review and Meta-analysis and Apply the Results to Patient Care: Users’ Guides to the Medical Literature. JAMA. 2014;312(2):171–179. doi:10.1001/jama.2014.5559

Artículos relacionados

• Metanálisis e Ivermectina I
• Ivermectina y metanálisis III
  
• Porqué leer un metanálisis
  
• GRADE para dummies
• Intervalos de confianza 
• Estudios DOE y POEM

Como interpretar un metanálisis