Pirámides de evidencia

No todos los artículos publicados tienen el mismo valor como evidencia científica. Existen jerarquías dentro de las publicaciones que nos pueden ser útiles a la hora de seleccionar la mejor evidencia disponible. 
Cuando un conocimiento es nuevo en medicina, solemos manejarnos por la opinión de expertos, en realidad esto es contradictorio, ya que si el conocimiento es nuevo nadie debiera ser experto. Pero en general se suele atribuir la "experticia" al área de especialidad a la que se adjudica el problema. Me explico: si se trata de una enfermedad infecciosa los expertos serán infectólogos, si es un problema cardiovascular los expertos serán cardiólogos, y así. Estos especialistas o expertos, seguramente abordarán el problema por analogía, es decir acorde a como se manejaron problemas semejantes ante circunstancias parecidas. Así hasta que el conocimiento se consolide. Aquí otro ejemplo: al principio de la pandemia por SARS-CoV-2 en Argentina, los infectólogos, ahora convertidos en expertos, recomendaron la utilización de la mascarilla para prevenir el contagio, en base a experiencias ocurridas con el MERS y el SARS también durante este siglo. 
Aunque no existía evidencia directa sobre el virus SARS-CoV-2 esto era lo más parecido. Y como en Medicina Basada en la Evidencia lo que pretendemos es "la mejor evidencia disponible" entonces para muchos nos resultó aceptable. Y a los gobiernos les pareció lo mismo. 

Otro ejemplo es el de los cierres de emergencia o lockdowns, nacidos de opinión de expertos. Los reportes hasta hoy siguen siendo contradictorios acerca de si han servido o no. Seguramente hay mucha ideología en los escritos, pero es necesario dilucidar el tema porque más grave que un error sería el cometerlo dos veces, y la humanidad necesitará de estos datos en unos meses o en un siglo, cuando otra amenaza igual se suceda. 

¿Hasta cuando es razonable esta evidencia basada en expertos? Hasta que aparezcan más estudios que superen el conocimiento basado en analogías o a veces en simple intuición o preconceptos que como todo ser humano también los expertos tienen.
Aquí es necesario resaltar que la opinión de un experto es justamente eso: una opinión. Y por eso todas las pirámides de evidencia que conocemos no dejan de incluirlo, pero en la base de la pirámide, ya que puede estar influida por muchos sesgos. 
Una vez que el conocimiento comienza a aparecer en forma de publicaciones, los mismos expertos deben ajustar sus expectativas iniciales a la nueva evidencia que surja. No siempre esto sucede, en particular si la evidencia contradice los supuestos iniciales. En el caso de la mascarilla los estudios posteriores mostraron que disminuía el contagio y aun la mortalidad. Pero hay casos como la transmisión por aerosoles, donde los expertos de la Organización Mundial de la Salud se tomaron casi dos años hasta aceptar que esta era la forma de transmisión principal del virus. No solo ellos, todavía hay quienes promueven el lavado de manos o superficies, medida que se ha demostrado ineficaz para este virus, a la vez que también promueven el retiro de mascarillas en interiores. El caso de los expertos puede tornarse en un tipo de medicina muy difícil de erradicar y que se conoce como la Medicina Basada en la Eminencia, donde los expertos suelen ocupar cargos académicos o en sus instituciones científicas que actúan como garantía de su idoneidad. 
Muchos de estos llamados expertos, son figuras relevantes en sus respectivas especialidades, pero carecen de una formación sólida en la lectura y análisis crítico de la evidencia científica o de un conocimiento adecuado de lo que significa la "Medicina Basada en la Evidencia". Eso es posible observar cuando consideran como "evidencia" a todo lo que se publica, o citan experiencias de otros países, sin confirmar si los resultados fueron o no efectivos. 
La mayoría de los colegas que conocemos prefieren manejarse en base a los criterios de los expertos. Lo que en gran parte resulta lógico ya que existen limitantes que no afectan en nada a la calidad médica que son capaces de proveer a sus pacientes. Pueden no tener acceso a los estudios originales (muchos son de pago), o no saber leer en inglés, lo que los limita a leer la mayoría de la bibliografía actualizada, o pueden no tener herramientas críticas para el análisis, lo que los limita para entender adecuadamente un "paper". O simplemente, y seguramente es lo más habitual, no disponen del tiempo suficiente para una actualización continua en cada área del conocimiento.
En este punto es bueno recordar que esta Medicina Basada en la Eminencia se basa en el principio de autoridad. Una forma particular de pensamiento mágico que atribuye mayores capacidades cognitivas a quienes detentan cargos de dirección ya sea académicas o en la gestión. Además este pensamiento es más efectivo si el "experto" no vive en su misma ciudad o país. Eso suele crear un cierto halo de misterio que a algunos atrae. Sin embargo este principio va contra la esencia misma de la ciencia (magister dixit) un tema sobre el que Karl Popper se ha ocupado en su momento. Una especialización, maestría o doctorado brindan herramientas que incrementan la capacidad de análisis crítico pero no generan mágicamente una aptitud para versar sobre cualquier tema en forma indiscriminada. 

Un caso interesante de Comité de Expertos lo constituyó el National Cholesterol Education Program III. Este panel publicó en el 2001 unas guías sobre el tratamiento de la hiperlipidemia. Lo constituían más de 20 "expertos en colesterol" de los Estados Unidos. Como alguien se hace "experto en colesterol" será materia de debate, pero más materia de debate generó que sin mayores explicaciones en aquel momento decidieron que el "umbral normal" del colesterol debía ser menor, y así en un par de días y con una sola publicación generaron miles de nuevos "hipercolesterolémicos" en Estados Unidos y en el mundo. El hecho de que la mayoría de los integrantes hubieran publicado en revistas médicas sobre alguna estatina (un grupo de medicamentos que disminuye el colesterol), o hayan declarado recibir honorarios de algunas empresa farmacéutica no atrajo la atención de nadie.

Sin embargo y sin dudas por el estímulo financiero recibido para que esas guías se hicieran efectivas fueron mundialmente difundidas. Sin ningún estudio epidemiológico que lo validara inicialmente en otros países. 

En este caso lo correcto hubiera sido sostener el cambio a partir de probar que el nuevo umbral, como objetivo a alcanzar, disminuía la mortalidad cardiovascular. Para ello debía agregar evidencia de mayor nivel como estudios observacionales del tipo caso-control o de cohorte, o mejor aún ensayos clínicos controlados randomizados. 

Si observáramos esta pirámide desde la fase clínica en que se ha elaborado y el diseño del estudio tendríamos una imagen distinta, donde las fases iniciales de la investigación se encontrarían en la base de la pirámide. Aunque en la práctica no utilizamos estos niveles de evidencia ya que por lo general nos ocupamos de estudios en fase 3 o que hayan superado esa etapa, esto es, que han mostrado su eficacia, seguridad y no inferioridad en una cohorte humana. En este gráfico la opinión de expertos aparece como ideas, opiniones y editoriales de las revistas, que es la forma en las que suelen expresarse los mismos. Aunque como vimos puede aparecer como guías clínicas de parte de un grupo de expertos. Afortunadamente hoy existe una metodología conocida como GRADE, que permita establecer la veracidad de la evidencia y por ende medir la fuerza de las recomendaciones. 

Haynes en el año 2001 fue el primero en sistematizar el valor de la evidencia científica, que luego se transformaría en lo que hoy conocemos como las 6s, comenzando por la base hacia el vértice encontramos Estudios individuales (Studies en inglés), Sinopsis de estudios, Síntesis, Sinopsis de síntesis, Sumarios y finalmente  Sistemas.

La base de esta pirámide está conformada por estudios de cohorte, estudios de caso-control, reportes de series de casos o reportes de farmacovigilancia. Es sobre ellos que recién puede conformarse un cuerpo de conocimientos sólidos, y aunque están en el nivel más bajo de la jerarquía nada se puede construir sin ellos. Muchos de estos estudios aparecen diariamente en la base de datos de la Universidad McMaster (Canadá), aunque es posible encontrarlos en cualquiera de las bases de datos que utilizamos como Pubmed o Scielo. 

Todos estos estudios suelen estar publicados en revistas médicas de pago, aunque muchos de los artículos están "liberados" ( o sea no pagos ), para ser leídos y revisados por pares ("peer review"). También es posible encontrar también mucha información relevante en las cartas que se envían a las publicaciones después de aparecido un artículo aunque en general suele ser evidencia de estudios observacionales. Existen publicaciones de preprint las cuales no tienen revisiones por pares, por lo que es preciso leer los comentarios. El sistema más conocido actualmente es medRxiv del BMJ (se pronuncia "medarchiv")

Sobre los estudios clínicos de fase 3, se basan las agencias regulatorias como ANMAT, EMA o FDA, para aprobar medicamentos. La mayoría de ellos exige al menos dos estudios de eficacia y uno de seguridad.

Sinopsis de estudios son evaluaciones o lecturas críticas de estudios individuales que tratan de averiguar la calidad metodológica de dichas publicaciones e identificar si las conclusiones son acordes al diseño de estudio. Estos escritos no intentan fusionar o sintetizar estadísticamente los datos de los diferentes estudios como si lo hacen los metanálisis. Algunas revistas ofrecen este tipo de evaluaciones, y pueden ser encontradas fácilmente en Tripdatabase.

Síntesis  se trata de la búsqueda y fusión de datos de diferentes estudios individuales mediante el análisis estadística, es decir, las revisiones sistemáticas y metanálisis. Evidentemente, antes de realizar la síntesis estadística de datos, es necesario realizar la pertinente lectura crítica (revisión sistemática). El objetivo final de las síntesis no es tanto establecer una recomendación, sino ofrecer un análisis del conocimiento actual, tanto de los estudios a favor como en contra. En este punto Colaboración Cochrane con su base de datos de revisiones sistemáticas es sin duda el mejor lugar para encontrar este material.

Sinopsis de síntesis  son evaluaciones o lecturas críticas de revisiones sistemáticas y metanálisis (nivel anterior) que tratan de establecer la calidad metodológica de éstas, así como establecer si las conclusiones de las mismas son adecuadas a su fortaleza interna. Ejemplos de ellos pueden ser encontrados, en la muy aburridísima, pero necesaria, base de datos del Centro de Revisión y Diseminación de la Universidad de York, y en la mayoría de las bases de datos a las que accedemos en forma frecuente, como Pubmed, Tripdatabase, aunque por defecto en PROSPERO y en Colaboración Cochrane. 

Sumarios conocidas también como guías basadas en la evidencia. Son trabajos que buscan, evalúan, analizan y sintetizan (jerarquizándolos) todos los niveles de información anteriores. El objetivo final es ofrecer una recomendación basada en las mejores pruebas actuales, evaluando la ecuación riesgo-beneficio, o en algunos casos la ecuación económica de costo-efectividad, o la que corresponda, teniendo en cuenta si está disponible las preferencias o las necesidades y su aplicabilidad real. Las agencias de evaluación de tecnologías sanitarias suelen producir este tipo de informes y en la base de datos de INAHTA (International Agencies of Health Technologies Assessment) se puede acceder a muchas de esas conclusiones. Son relevantes en especial para gestores y tomadores de decisiones de políticas públicas y pueden servir como sustrato para la elaboración de guías de práctica clínica.   

Sistemas en algunos países como Inglaterra, Noruega, Israel u otros países nórdicos se utilizan bases de datos poblacionales para la toma de decisiones. También sabemos que en Bélgica existen redes de atención primaria que las utilizan, y sin duda el mayor desarrollo se da en Estados Unidos con la utilización de sistemas de información administrativos. No existen en nuestro medio actualmente. Su utilización puede ser controversial, aunque no están nominadas, es decir no figuran nombres y apellidos o información que pueda relevar la identidad de una persona. Aun así todos quieren tenerla, pero implica también  una centralización de información que puede hacer sentir a parte de la población con un mayor grado de exposición de la que quisiera tener. En un nivel teórico se refería a la evaluación de la dispersión de acciones a partir de una guía centralizada. Algo que no ocurre en ningún país que conozcamos. 

Murad plantea que la pirámide de evidencia se debe reformular, ya que con GRADE una evidencia de estudios observacionales puede llegar a ser más fuerte que una proveniente de estudios de caso-control. Con lo que los límites pueden ser más difusos. 

Así podemos concluir que los metanálisis, como la mayoría piensa, no siempre constituyen de por sí la mayor evidencia que podemos obtener. De hecho un metanálisis es tan débil como el más débil de sus estudios primarios es. Si viene de estudios observacionales y con gran cantidad de sesgo, el resultado probablemente esté sesgado, como ha sucedido en varios metanálisis publicados sobre el tratamiento con Ivermectina para el Covid-19, durante el año 2021. Incluso si no encontráramos estudios que lo superen, para algunos un gran ensayo clínico aleatorizado (Randomized Control Trial) puede responder mejor que un metanálisis a las preguntas que nos realizamos. Pero eso ya es motivo de otro artículo. Lo que aquí pretendía mostrar es que existe una jerarquía en la evidencia, y que sin duda, integrando esto estudios con búsquedas POEMs (Problem Oriented Evidence that Matters o DOE o EOP "disease oriented evidence o evidencia orientada a pacientes") aumentará nuestra capacidad de reconocer estudios clínicos que sean relevantes a la práctica asistencial.

Referencias:

1. Haynes RB. Of studies, syntheses, synopses, summaries, and systems: the "5S" evolution of information services for evidence-based healthcare decisions. Evid Based Med. 2006 Dec;11(6):162-4. doi: 10.1136/ebm.11.6.162-a. PMID: 17213159.

2.  Murad MH, Asi N, Alsawas M, Alahdab F. New evidence pyramid. Evid Based Med. 2016 Aug;21(4):125-7. doi: 10.1136/ebmed-2016-110401. Epub 2016 Jun 23. PMID: 27339128; PMCID: PMC4975798.

Publicaciones relacionadas

• Mascarillas que disminuyen la mortalidad
• La OMS se demora dos años para aceptar la transmisión por aerosoles. Nature.
• GRADE para dummies
• Los estudios que son relevantes para nuestros pacientes: DOE vs POEM
  
• Ivermectina y Covid-19, metanálisis
• Oftalmologia basada en la evidencia
• Evidencia en nutrición