Objetivos
- Simplificar la metodología de una revisión sistemática.
- Proporcionar herramientas para realizar revisiones sistemáticas y metaanálisis metodológicamente sólidos.
- Mejorar la calidad de los esfuerzos existentes de síntesis de evidencia.
Introducción
- La práctica de la medicina basada en la evidencia requiere síntesis actualizadas de la evidencia existente.
- Las revisiones sistemáticas y los metaanálisis deben ser rigurosos y transparentes, y proporcionar respuestas a preguntas de investigación específicas.
- La publicación de revisiones sistemáticas y metaanálisis han llegado a ocupar la cima de la pirámide de lo que se considera la mejor evidencia.
- Las revisiones sistemáticas y los metaanálisis pueden ser proyectos grandes y desafiantes que son sensibles a sesgos y errores.
- Para proporcionar respuestas precisas y limitar posibles fallos, requieren una preparación y organización cuidadosa.
- Varias iniciativas organizadas, como la Colaboración Cochrane (fundada en 1993), han intentado regular y mejorar la calidad y uniformidad de las revisiones sistemáticas (Moher, 1999).
- Se han publicado algunas guías y libros de texto que ofrecen descripciones completas de la metodología (Moher, 1999; Moher, 2009; Dekkers, 2019).
- Sin embargo, varios estudios que evalúan la calidad de las revisiones sistemáticas publicadas han demostrado que no todas las revisiones sistemáticas son verdaderamente sistemáticas y que su calidad es muy variable (Conway, 2013; Gurevitch, 2018).
Paso a paso
Paso 1: Definir la pregunta de investigación
- Primero se debe establecer en detalle los objetivos primarios y secundarios del estudio (incluidos los posibles modificadores del efecto).
- Cuanto más claro se enfoque y defina una pregunta de investigación en la ciencia y resuma el objetivo del proyecto de investigación, más facilitará la construcción de la estrategia de búsqueda, ya sea centrada o amplia, y la realización de la revisión sistemática.
- Desarrollar una buena pregunta de investigación y definir el objetivo del estudio requiere escanear la literatura para identificar brechas en el campo.
- La existencia de revisiones sistemáticas sobre preguntas de investigación similares no es un obstáculo para realizar otra revisión sistemática si el nuevo análisis cerrará brechas y añadirá valor.
- Algunos campos de investigación también se desarrollan rápidamente; si aparecen nuevas publicaciones con frecuencia, puede ser necesario realizar una revisión sistemática más actualizada de la evidencia o mantener metaanálisis en red activos utilizando enfoques automatizados (Nikolakopoulou, 2018).
- Una pregunta de investigación valiosa necesariamente surge del conocimiento existente, y existen herramientas que pueden facilitar la definición y el análisis de la pregunta de investigación.
- Estas herramientas incluyen:
- PICO(S), utilizado en la práctica clínica basada en evidencia (Schardt, 2007).
- PEO (Bettany-Saltikov, 2012) y SPICE (Booth Adrew, 2006) para preguntas de investigación cualitativas.
- SPIDER (Cooke, 2012) en investigaciones de métodos mixtos.
- Estas herramientas incluyen:
Paso 2: Establecer un equipo
- Es necesario contar con un equipo bien organizado y coordinado.
- Muchos pasos, como la búsqueda de literatura, el proceso de revisión y la evaluación de calidad, requieren ser verificados por revisores independientes, y a menudo se necesita un tercer revisor independiente para resolver desacuerdos que puedan surgir durante el proceso de inclusión de estudios.
- Escoge cuidadosamente a los colegas y expertos con los que planeas colaborar; debes evaluar su competencia en el campo y su integridad (Heynes, 2012).
- El equipo debe contar con miembros cuya experiencia abarque:
- Búsqueda de estudios.
- Comprensión de los métodos de estudios primarios y de las revisiones sistemáticas.
- Síntesis de hallazgos y realización de meta-análisis.
- Conocimiento del área bajo investigación.
- La complejidad de la pregunta que se aborda y el número esperado de referencias también influirán en el tamaño del equipo.
- La composición del equipo se establecerá después de la búsqueda final, ya que el número de resultados obtenidos determinará la participación de revisores independientes.
- La experiencia debe estar equilibrada entre los miembros del equipo para que un grupo de expertos no tenga demasiada influencia.
- Finalmente, un equipo no puede funcionar sin un líder.
- El líder no es necesariamente un profesor ni el miembro más experimentado del equipo.
- El líder coordina el proyecto, se asegura de que se siga el protocolo del estudio, mantiene a todos los miembros del equipo informados y facilita su participación en todas las fases del proyecto.
Paso 3: Definir la estrategia de búsqueda
- Una búsqueda exhaustiva forma la base de cualquier revisión sistemática y consiste en escribir estrategias de búsqueda específicas en diferentes bases de datos en línea para recuperar estudios elegibles.
- Búsquedas inadecuadas o errores en las estrategias de búsqueda pueden pasar por alto evidencia, mientras que las búsquedas amplias y no dirigidas generan artículos superfluos y desperdician tiempo.
- Omitir artículos relevantes puede sesgar las estimaciones.
- Se pueden buscar numerosas bases de datos en línea.
- No es necesario buscar en todas las bases de datos, pero ninguna base de datos única puede abarcar toda la literatura médica.
- Las búsquedas óptimas deben realizarse utilizando, como mínimo, Embase, MEDLINE, Web of Science y Google Scholar para garantizar una cobertura adecuada y eficiente (Bramer, 2017).
- En la búsqueda no es necesario recuperar las 1000 referencias completas (el número máximo que se puede descargar de Google Scholar), sino que generalmente solo deben añadirse las primeras 200 referencias de Google Scholar (Bramer, 2017).
- Si el trabajo incluye la síntesis de evidencia de ensayos clínicos, se recomienda buscar en la biblioteca Cochrane para referencias relevantes.
- Las bases de datos PsycINFO y CINAHL deben buscarse si la pregunta de investigación está relacionada con los campos de la psiquiatría, psicología y/o la enfermería y la salud aliada.
- La investigación también ha demostrado que en CINAHL, la indexación de la investigación cualitativa es mejor que en PubMed, por lo que también se recomienda para la búsqueda de estos tipos de estudios.
Paso 4: Definir los criterios de inclusión / exclusión
- Los criterios de selección identifican la evidencia relevante durante el proceso de evaluación.
- Los criterios de selección guían a los revisores, ahorran tiempo, minimizan errores y garantizan transparencia y reproducibilidad.
- Estos criterios dependen de la pregunta de investigación e incorporan características del estudio, que pueden incluir:
- Diseño del estudio.
- Fecha de publicación.
- Ubicación geográfica.
- Características de la población del estudio, como edad, sexo y presencia de enfermedad.
- Características de la exposición y el resultado medido.
- Características de los métodos utilizados, como el tipo de análisis, ajuste para factores de confusión, medida de la asociación reportada, etc.
- Un paso importante en el establecimiento de los criterios de selección es la evaluación del tipo o tipos de diseño de estudio que puedan responder mejor a la pregunta de investigación.
- Además de buscar diseños de estudio que puedan proporcionar el nivel más alto de evidencia, es importante considerar qué diseños se ajustan a la pregunta de investigación.
- Después de establecer los criterios de inclusión/exclusión, se debe redactar una lista de verificación.
- Una lista de verificación guía a los revisores durante el proceso de evaluación y, si está bien redactada, ahorrará tiempo y minimizará errores durante la evaluación.
Paso 5: Diseñar el formulario de recolección de datos
- Un paso clave en una revisión sistemática es la extracción de datos pertinentes de los estudios primarios (no de sujetos individuales) utilizando un formulario estandarizado de extracción de datos.
- Los datos se recogen sobre:
- Características generales del estudio, como el nombre del/de los investigador(es), el año del estudio y la fuente de financiamiento.
- Características de la población del estudio, que pueden incluir edad, sexo y etnia.
- Exposición o intervención, que puede incluir el método de evaluación, la distribución en la población del estudio y la dosis en el caso de fármacos.
- Métodos, como el tipo de análisis estadístico utilizado y los factores ajustados.
- Resultados, como medidas de asociación, análisis estratificados y distribución del acuerdo de resultados.
- Diseñar el formulario de extracción de datos requiere una consideración cuidadosa de la pregunta de investigación y, a menudo, se beneficia de una prueba piloto del formulario en al menos cinco estudios del campo antes de su finalización.
- Hay una variedad de aplicaciones de software que permiten organizar el formulario de extracción de datos, incluidas:
- Microsoft Access/Excel
- Qualtrics
- REDCap
- Google Forms/Sheets
- SRDR (Systematic Review Data Repository) (Elamin, 2009)
- Además, se pueden utilizar como herramientas de extracción de datos software para la revisión de referencias como:
- Covidence (https://www.covidence.org)
- DistillerSR (distillercer.com)
Paso 6: Redactar el protocolo del estudio y registrar la revisión
- El protocolo del estudio incluye:
- La pregunta de investigación.
- Objetivos primarios y secundarios.
- Diseño del estudio.
- Criterios de inclusión y exclusión.
- Estrategia de búsqueda electrónica.
- Plan de análisis descrito en detalle.
- El protocolo del estudio guía a los revisores durante el proceso de evaluación.
- Al redactar el protocolo, se debe solicitar la opinión de expertos relevantes para asegurarse de que el protocolo cubra todos los elementos.
- Se recomienda registrar la revisión para evitar solapamientos y esfuerzos innecesarios, y para proporcionar transparencia.
- Existen algunas plataformas para el registro, las más utilizadas son:
- Prospero (http://www.crd.york.ac.uk/PROSPERO/) para revisiones en salud o atención social.
- Cochrane (http://www.cochrane.org/cochrane-reviews) para revisiones sobre intervenciones.
Paso 7: Ejecutar la estrategia de búsqueda en múltiples bases de datos
- Como se mencionó en el paso 3, una búsqueda bibliográfica debe incluir al menos cuatro bases de datos en línea:
- Cada base de datos tiene su propio método para escribir una estrategia de búsqueda.
Paso 8: Recopilar todas las referencias y resúmenes en un único archivo
- Recopila todos los resultados de investigación del paso 7 en EndNote u otra herramienta como:
- Covidence (www.covidence.org)
- DistillerSR (www.distillercer.com)
- Rayyan (rayyan.qcri.org)
- Si está disponible, recomendamos utilizar EndNote, que proporciona soporte para el paso 9.
- Para importar las referencias seleccionadas de una base de datos a un archivo de EndNote:
- Exporta las referencias desde esa base de datos en un formato reconocido por EndNote.
Paso 9: Eliminar duplicados
- Recuperar estudios relevantes de varias bases de datos generalmente lleva a que los artículos se identifiquen varias veces.
- La eliminación de registros duplicados reducirá la carga de trabajo de los revisores al evaluar títulos y resúmenes.
- Debido a la naturaleza heterogénea de los artículos en las bases de datos, la eliminación de duplicados puede ser complicada y llevar mucho tiempo.
- Existen otros programas disponibles para la eliminación de duplicados, pero no han sido evaluados exhaustivamente en cuanto a su precisión.
Paso 10: Contar con al menos 2 revisores para evaluar títulos y resúmenes
- Los títulos y/o resúmenes de cada referencia deben ser evaluados para determinar su relevancia por al menos dos revisores.
- No es necesario que una sola persona evalúe todas las referencias, siempre que cada referencia haya sido revisada por dos revisores independientes.
- Por ejemplo, una persona podría evaluar todas las referencias, mientras que para la segunda revisión, las referencias se pueden dividir entre otros revisores.
- Los títulos y resúmenes se pueden evaluar simultáneamente, juzgando la relevancia del resumen si el título se considera relevante.
- No es necesario evaluar primero el título y luego el resumen, como se hacía en el pasado cuando la evaluación se realizaba en papel.
- En esta fase, las referencias se seleccionan en función de los criterios de selección aplicados al título y al resumen, y no al texto completo del artículo.
- Si una referencia carece de resumen y solo tiene título, debe incluirse para el siguiente paso.
- En esta fase, no es necesario registrar la razón para la exclusión (Bramer, 2017).
- Existen varias aplicaciones de software disponibles para la fase de evaluación de títulos y resúmenes, como:
- Rayyan (Mourad Ouzzani, 2016)
- Covidence (Covidence. Cochrane Community, 2018)
- DistillerSR (DistillerSR, Oct 09 2024)
- No se recomienda el uso de Excel para este propósito, ya que es complicado y requiere mucho tiempo.
- Bramer y colaboradores (2017) desarrollaron un método para la evaluación de títulos y resúmenes utilizando EndNote. El método es muy rápido, con una media de 300 referencias evaluadas por hora.
- La evaluación de títulos y resúmenes también puede realizarse en otros programas como Rayyan, Covidence y DistillerSR.
- Rayyan utiliza inteligencia artificial para determinar las referencias con mayor potencial entre las que aún no se han evaluado.
- Si esto se puede confiar, reducirá el tiempo necesario para evaluar las referencias. Sin embargo, hasta ahora, no se confía completamente en este sistema, lo que significa que, a pesar de la clasificación de relevancia, normalmente todas las referencias deben ser evaluadas.
Paso 11: Recopilar, comparar y seleccionar para recuperación
- Las referencias evaluadas por dos revisores independientes se recopilan y comparan.
- Las herramientas de software mencionadas en el paso 10 tienen una función de comparación.
- El conjunto de referencias superpuestas que ambos revisores han seleccionado para incluir en la revisión se considera para el siguiente paso: la recuperación del texto completo.
- Para las referencias no superpuestas en las que los revisores no estuvieron de acuerdo, se debe organizar una reunión entre los dos revisores para llegar a una decisión común final.
- En caso de desacuerdo persistente, se debe asignar un tercer revisor independiente o los dos revisores podrían decidir considerar cada referencia incluida por al menos uno de los revisores en el siguiente paso.
- Por lo general, el tercer revisor debe ser un investigador senior con experiencia en el tema.
Paso 12: Recuperar el texto completo y aplicar los criterios de selección
- Se recuperan los textos completos de las referencias seleccionadas en función de los títulos y resúmenes.
- Los textos completos generalmente se pueden encontrar utilizando la opción «buscar texto completo» en EndNote, a través de la búsqueda en bibliotecas locales o motores de búsqueda en línea como Google Scholar y ResearchGate, o contactando directamente a los autores.
- Si el texto completo de una referencia no está disponible directamente para los revisores, la referencia no debe ser ignorada; en su lugar, la biblioteca de la universidad puede ayudar a obtener una copia del artículo a través de un préstamo interbibliotecario.
- Una vez recuperados todos los textos completos, dos revisores independientes examinan los artículos utilizando los criterios de selección para elegir aquellos que se incluirán en la revisión sistemática.
- Un tercer revisor independiente está disponible para resolver desacuerdos.
- Como en la evaluación de resúmenes, los grupos personalizados en EndNote pueden distinguir las diversas razones de exclusión, y los artículos pueden asignarse a grupos específicos para ciertas subpreguntas.
Paso 13: Contactar con expertos
- Contacta a autores que son expertos en el campo para:
- Identificar cualquier estudio en curso o faltante.
- Encontrar datos no publicados pero relevantes (por ejemplo, pueden proporcionarse estimaciones en un artículo para un resultado específico, pero no para otro).
- Asistir en el recálculo de estimaciones resumidas de un estudio publicado con un conjunto estandarizado de covariables para una combinación más significativa de las estimaciones en todos los estudios del metaanálisis.
- Verifica si las referencias sugeridas por estos autores duplican las referencias ya revisadas y, si no lo hacen, repite los pasos 9-13 para tomar una decisión final sobre si incluir los estudios sugeridos en la revisión.
Paso 14: Buscar referencias adicionales
- En este paso, las referencias recopiladas al final del paso 12 y a través del paso 13 deben revisarse para identificar estudios relevantes citados en ellas (búsqueda hacia adelante) o mediante la evaluación de estudios que han citado los artículos (búsqueda hacia atrás).
- La base de datos de resúmenes y citas Elsevier Scopus puede facilitar este proceso.
- Instrucciones detalladas pueden encontrarse en: https://www.elsevier.com/__data/assets/pdf_file/0005/79196/scopus-quick-reference-guide.pdf.
- También se deben buscar las listas de referencias de revisiones sistemáticas previas que estén relacionadas con esta revisión sistemática.
- Para las referencias seleccionadas de estas fuentes, EndNote puede utilizarse en combinación con las bases de datos Scopus o Web of Science para descargar las referencias de manera semi-automática en una biblioteca existente de EndNote.
- Esto requiere, nuevamente, una ronda de verificación de referencias y eliminación de duplicados, así como la recuperación y evaluación de textos completos de acuerdo con los pasos 8 a 12.
Paso 15: Hacer la lista de selección final y dibujar el diagrama de flujo
- Los artículos seleccionados en los pasos 12, 13 y 14 se convertirán en los artículos finales incluidos en la revisión.
- Un diagrama de flujo bien diseñado debe contener información sobre:
- El número de citas relevantes identificadas a través de búsquedas en bases de datos, expertos y listas de referencias.
- El número de estudios excluidos basándose en la búsqueda de títulos y resúmenes.
- El número de textos completos evaluados.
- El número de estudios excluidos tras la evaluación del texto completo, con las razones de exclusión indicando el número de estudios excluidos por cada razón.
- El número de estudios incluidos en la revisión sistemática.
Paso 16: Aplicar el formulario de recolección de datos (en parejas)
- El siguiente paso es extraer los datos contenidos en los estudios incluidos utilizando el formulario de recolección predeterminado del paso 5.
- Usando los elementos del formulario, dos revisores independientes extraen datos detallados de cada artículo.
- Prestar atención cuidadosa al proceso de extracción de datos proporcionará una comprensión inicial y una descripción de las características compartidas del conjunto de evidencia y allanará el camino para el proceso analítico e interpretativo de la síntesis que seguirá.
- Al extraer los datos, se deben:
- Utilizar abreviaturas claras.
- Convertir todos los datos con cuidado utilizando la(s) misma(s) unidad(es).
- Mantener definiciones consistentes.
- Mantener el contenido breve.
Paso 17: Evaluar la calidad del estudio y el riesgo de sesgo
- La evidencia y los resultados deben interpretarse a la luz de la calidad de los estudios incluidos.
- La calidad de la investigación abarca cómo se ha realizado un estudio (su calidad metodológica) y cómo se ha descrito (calidad de los informes y reproducibilidad).
- La baja calidad metodológica y de los informes de los estudios primarios incluidos en la revisión puede introducir sesgos y conclusiones erróneas.
- Una evaluación válida de la calidad del estudio por dos revisores independientes es esencial para garantizar la precisión y la generalización.
- Un aspecto importante de la calidad metodológica es el riesgo de sesgo en los estudios incluidos.
- Aunque los investigadores hayan realizado el mejor estudio posible, este puede seguir presentando un alto riesgo de confusión, sesgo de selección y sesgo de información.
- Existen varias listas de verificación disponibles para ayudar a evaluar el riesgo de sesgo en los estudios incluidos:
- La herramienta RoB 2 de la Colaboración Cochrane (Higgins, 2016) y la Escala de Newcastle–Ottawa (Higgins, 2011) son las más utilizadas para evaluar el riesgo de sesgo en ensayos clínicos aleatorizados (RCTs) y en estudios observacionales prospectivos, respectivamente.
- La herramienta RoB 2 evalúa cinco posibles fuentes de sesgo:
- Sesgo derivado del proceso de aleatorización.
- Sesgo debido a desviaciones de las intervenciones previstas.
- Sesgo debido a datos de resultados faltantes.
- Sesgo en la medición del resultado.
- Sesgo en la selección del resultado reportado.
- La Escala de Newcastle–Ottawa utiliza un sistema de estrellas (con un máximo de nueve) para evaluar tres dominios:
- Selección de los participantes.
- Comparabilidad de los grupos de estudio.
- Verificación de los resultados y exposiciones de interés.
- 9 estrellas: bajo riesgo de sesgo.
- 7-8 estrellas: riesgo medio.
- >6 estrellas: alto riesgo de sesgo.
- La herramienta RoB 2 evalúa cinco posibles fuentes de sesgo:
- La herramienta RoB 2 de la Colaboración Cochrane (Higgins, 2016) y la Escala de Newcastle–Ottawa (Higgins, 2011) son las más utilizadas para evaluar el riesgo de sesgo en ensayos clínicos aleatorizados (RCTs) y en estudios observacionales prospectivos, respectivamente.
- Se han desarrollado herramientas separadas para evaluar el riesgo de sesgo en estudios no aleatorizados de intervenciones (ROBINS-I) (Sterne, 2016) y en estudios de precisión diagnóstica, como QUADAS-2 (Evaluación de la Calidad de Estudios de Precisión Diagnóstica 2) (Whiting, 2011).
- Además, la herramienta QUIPS (Quality In Prognosis Studies) se ha desarrollado para evaluar el riesgo de sesgo en estudios de predicción (factores pronósticos) (Hayden, 2013).
- Recientemente, se ha desarrollado la herramienta PROBAST (Prediction model study Risk Of Bias Assessment Tool) para evaluar la calidad de estudios de modelos de predicción para desarrollo, validación o actualización de modelos tanto diagnósticos como pronósticos, independientemente del dominio médico, tipo de resultado, predictores o técnica estadística utilizada (Wolff, 2019).
- La calidad de la evidencia de los estudios incluidos en la revisión sistemática/metaanálisis debe ser claramente reportada, discutida e interpretada para proporcionar a los lectores una idea de cuánta confianza pueden depositar en las conclusiones proporcionadas.
Paso 18: Preparar la base de datos para el análisis
- En este paso, los datos de la base de datos recién formada se recopilan, se importan a un programa de evaluación estadística (SPSS o Excel) y se preparan para el análisis.
- Los análisis pueden ser:
- Descriptivos (paso 19), como un resumen estructurado y una discusión de las características, hallazgos y calidad de los estudios.
- Cuantitativos (paso 20), que implican análisis estadísticos (paso 21).
- La calidad de los datos depende de los estudios incluidos en la revisión.
- Por ejemplo:
- En estudios observacionales, se pueden reportar prevalencias, valores de diferencia media, coeficientes de regresión beta, odds ratios, riesgos relativos o hazard ratios.
- En ensayos clínicos, cuando el resultado es dicotómico, se pueden reportar los valores de referencia y de final del ensayo, y la media armonizada entre los estudios incluidos.
- Algunos estudios pueden reportar estimaciones de riesgo comparando varios cuantiles extremos (quinto superior vs. quinto inferior, tercios, etc.), por unidad o por cambio en la desviación estándar en la exposición inicial, etc.
- Los resultados también pueden medirse en diferentes escalas:
- Por ejemplo, para la glucosa en sangre, mmol/L es la medida más común en el Reino Unido, mientras que mg/dL se usa predominantemente en los EE. UU. y Europa continental.
- Las revisiones sistemáticas de resultados de economía de la salud pueden presentarse en diferentes monedas y años, lo que requiere conversiones de moneda y ajustes por inflación (Luhnen, 2017).
Paso 19: Realizar una síntesis descriptiva
- La síntesis descriptiva se basa principalmente en palabras y texto para resumir y explicar los hallazgos.
- Ya sea que se incluya un metaanálisis o no, los autores deben describir el flujo del proceso de la revisión sistemática resumiendo:
- El número de referencias encontradas a partir de la estrategia de búsqueda.
- El número de resúmenes y textos completos evaluados.
- El número final de estudios primarios incluidos en la revisión.
- Los autores también deben describir las características de los estudios incluidos, como:
- Las poblaciones estudiadas.
- Los tipos de exposiciones.
- Los detalles de las intervenciones.
- Los resultados.
- Esto debe presentarse en una tabla y en el texto principal del manuscrito.
- Si el metaanálisis no es factible (ver paso 20), los autores deben describir los resultados de los estudios incluidos, incluyendo:
- La dirección y magnitud del efecto.
- La consistencia del efecto entre los estudios.
- La solidez de la evidencia del efecto.
Paso 20: Decidir si realizar un metaanálisis o no
- Hasta este paso, las revisiones sistemáticas y los metaanálisis comparten los mismos pasos.
- En este paso, el equipo de estudio debe decidir si los datos recopilados para cada resultado son adecuados para combinarlos utilizando métodos cuantitativos.
- Al combinar datos de diferentes estudios, aumenta el tamaño de la muestra, generando más potencia estadística y mejorando las estimaciones del tamaño del efecto, con el potencial de resolver incertidumbres cuando los estudios primarios no coinciden.
- Cuando es posible, un metaanálisis facilita describir el efecto combinado de los hallazgos en lugar de describir los hallazgos de cada estudio por separado.
- La decisión de combinar datos depende del grado de heterogeneidad:
- La heterogeneidad no debe ignorarse, sino informarse, y puede ocurrir en varios niveles:
- Características del estudio, como diferencias en el diseño (intervencional u observacional).
- Características de la población, incluidas diferencias en edad, género y ubicación geográfica.
- Métodos y resultados, que abarcan diferencias en análisis, ajustes y medidas de asociación.
- La heterogeneidad estadística puede evaluarse con métodos estadísticos comunes en todos los metaanálisis (Ioannidis, 2007):
- Métodos comunes para evaluar la heterogeneidad estadística incluyen:
- El test de Chi cuadrado de Cochrane (Q de Cochran) para examinar la hipótesis nula de que todos los estudios evalúan el mismo efecto, aunque no siempre detecta la heterogeneidad con precisión.
- La estadística I² de Higgins, que representa el porcentaje de variación entre las estimaciones de la muestra debido a la heterogeneidad en lugar del error de muestreo (Ioannidis, 2007).
- I² puede tomar valores del 0 al 100%, donde 100% es el nivel máximo de heterogeneidad.
- Valores de I² por debajo del 25% se consideran bajos, del 25 al 50% moderados, y por encima del 75% altos (Higgins, 2003).
- Las revisiones Cochrane y muchos metaanálisis publicados en revistas médicas implementan I² de manera rutinaria (Ioannidis, 2007).
- La varianza entre estudios (τ²) puede ser una medida adecuada para evaluar si los datos son lo suficientemente similares como para combinarlos (Rucker, 2008).
- La estratificación es una herramienta para explorar fuentes de heterogeneidad.
- Los estudios en el meta-análisis deben ser comparables en términos de definiciones, codificación, métodos, comparaciones y categorías de exposición.
- La combinación de diferentes tipos de estudios que abordan la misma pregunta de investigación (observacionales y RCTs) puede mejorar la calidad de la revisión sistemática.
- Incluir estudios no aleatorizados es importante, especialmente en casos donde la aleatorización puede presentar problemas éticos (Ioannidis, 2001).
- Métodos estadísticos para realizar metaanálisis:
- Modelos de efectos fijos (EF) y modelos de efectos aleatorios (EA) (Nikolakopoulou, 2014):
- El modelo EF asume que el efecto es fijo en todos los estudios incluidos.
- El modelo EA permite que el efecto varíe entre estudios, abordando la heterogeneidad no explicada.
- Herramientas y software para realizar metaanálisis:
- STATA (comando metan) (Harris, 2008).
- R (paquete Metafor) para análisis en un entorno de acceso abierto (Ioannidis, 2007).
- JASP o Jamovi, programas gratuitos que utilizan paquetes de R.
- Review Manager (RevMan) desarrollado por la Colaboración Cochrane (Abraham, 2010).
- Extensiones de Excel como MetaEasy o MetaXL (Rucker, 2008).
- Modelos de efectos fijos (EF) y modelos de efectos aleatorios (EA) (Nikolakopoulou, 2014):
- Métodos comunes para evaluar la heterogeneidad estadística incluyen:
- La heterogeneidad no debe ignorarse, sino informarse, y puede ocurrir en varios niveles:
Paso 21: Exploración de la heterogeneidad
- Los análisis de subgrupos o la estratificación deben considerarse desde el paso 1 dentro de la definición de objetivos primarios y secundarios.
- Factores por los cuales los resultados podrían diferir—es decir, modificadores del efecto—incluyen frecuentemente:
- Características del estudio, como diseño del estudio, ubicación geográfica, fecha de publicación y tipo de intervención.
- Características de la población, como edad, género, etnia y presencia de enfermedad (Higgins, 2011).
- Los resultados deben presentarse y agruparse por diferentes categorías de estos factores para comparar si las estimaciones agrupadas difieren entre grupos y si tau² cambia.
- La heterogeneidad también debe evaluarse dentro de estratos específicos.
- El análisis de metarregresión se puede usar para explorar si la heterogeneidad observada es consecuencia de características específicas del estudio o de la población.
- La metarregresión es similar a la regresión estadística convencional utilizada para determinar el efecto de un factor sobre una variable de resultado.
- La metarregresión suele realizarse cuando se incluyen más de 10 estudios en un metaanálisis (Thompson, 2002).
Paso 22: Verificar el sesgo de publicación
- El sesgo de publicación ocurre cuando la literatura publicada no es representativa de todos los estudios completados (Hanna, 2005).
- Este sesgo se origina cuando la decisión de publicar se ve influenciada por el resultado de un estudio experimental o de investigación.
- Comúnmente, los resultados negativos o considerados no significativos son menos propensos a ser enviados y aceptados para su publicación.
- El sesgo de publicación se evalúa generalmente mediante un gráfico de embudo (funnel plot), en el que la asimetría se puede evaluar visualmente y utilizando el test de Egger (Mavridis,2014).
- Un gráfico de embudo es un gráfico de dispersión que muestra las estimaciones del efecto de exposición de estudios individuales contra una medida de precisión del estudio (normalmente el error estándar).
- Si el gráfico de embudo es asimétrico, podría indicar que hay estudios faltantes en la literatura.
- Sin embargo, el sesgo de publicación no es la única causa de asimetría en el gráfico de embudo; otras causas incluyen heterogeneidad, reporte selectivo de resultados y simplemente el azar (Mavridis,2014).
- En particular, cuando se representa pocos estudios, un gráfico de embudo podría no detectar el sesgo de publicación (Lau, 2006; Sutton, 2008).
- Harbord desarrolló una versión modificada del test de Egger para efectos en estudios pequeños en metaanálisis de ensayos controlados con resultados binarios (Harbord, 2006).
- Sin embargo, este test no se recomienda en metaanálisis de estudios de cohortes con gran desequilibrio en los tamaños de los grupos; en estas situaciones, el test original de Egger suele funcionar bien.
- Begg propuso un indicador de sesgo utilizando el método de Kendall (probando la interdependencia de la varianza y el tamaño del efecto).
- Este indicador de sesgo hace menos suposiciones que el de Egger y, en el caso de un número pequeño de estudios, el sesgo no se puede descartar si el test no es significativo (Begg, 1994).
- Sin embargo, este test puede usarse como una herramienta exploratoria para metaanálisis, como un procedimiento formal que complementa el gráfico de embudo.
- Cuando el grado de heterogeneidad entre ensayos es grande, ninguno de los tres tests mencionados tiene propiedades consistentemente buenas (Harbord, 2006).
- Finalmente, la presencia de sesgo de publicación requiere ser reportada y discutida a fondo, pero no necesariamente impide la publicación del estudio.
Paso 23: Verificar la calidad de la evidencia: La confianza en los resultados presentados
- La solidez de los resultados reportados en una revisión sistemática y metaanálisis depende, en primer lugar, de la calidad de la evidencia de la revisión.
- Los autores pueden aplicar el enfoque GRADE (Grading of Recommendations Assessment, Development and Evaluation) para calificar la calidad de la evidencia incluida en la revisión sistemática.
- El enfoque GRADE evalúa la calidad de la evidencia en función de:
- La magnitud del efecto.
- La consideración del riesgo de sesgo.
- El diseño del estudio.
- La consistencia y la relevancia directa de los hallazgos.
- Clasifica la evidencia como alta, moderada, baja o muy baja:
- Los RCTs comienzan como evidencia de alta calidad.
- Los estudios observacionales comienzan como evidencia de baja calidad.
- El enfoque GRADE evalúa la calidad de la evidencia en función de:
- Limitaciones en la calidad del estudio, inconsistencias importantes en los resultados o incertidumbre sobre la relevancia directa de la evidencia pueden reducir la calificación de la evidencia.
- La evaluación debe ser realizada de manera independiente por dos revisores, mientras que cualquier desacuerdo debe discutirse con un tercer revisor independiente.
- Instrucciones detalladas sobre cómo usar el enfoque GRADE se encuentran en el tutorial en línea disponible en: https://gdt.gradepro.org/app/handbook/handbook.html.
Paso 24: Actualizar, reportar y enviar publicación
- Al estar listo para enviar el estudio para su publicación, si el intervalo desde el inicio de la búsqueda en bases de datos bibliográficas es mayor de 6 a 12 meses, se debe actualizar la búsqueda para identificar artículos publicados recientemente.
- Existen guías sobre cómo reportar una revisión sistemática y metaanálisis, facilitando la transparencia, la reproducibilidad y la comparabilidad entre estudios:
- PRISMA, QUOROM (que evolucionó a PRISMA) y MOOSE son diagramas de flujo que describen gráficamente la secuencia de reporte de una revisión sistemática y metaanálisis.
- Al enviar el estudio, es esencial adjuntar un informe detallado de PRISMA o MOOSE como archivo complementario.
- Los diagramas de flujo de PRISMA y MOOSE se encuentran en los Suplementos en línea III y IV.
- Finalmente, se puede invitar a expertos adicionales con conocimiento específico del contenido para que revisen y comenten el manuscrito (y el trabajo publicado debe reconocer su asistencia).
- Es posible mejorar aún más la calidad de la publicación evaluando la interpretación de los resultados una última vez.
Conclusiones
- Las síntesis de evidencia son herramientas esenciales para la medicina basada en la evidencia y la formulación de políticas en un tiempo de proliferación de publicaciones y revistas científicas.
- Los profesionales de la salud y los investigadores deben comprender los principios para preparar dichas revisiones y seguir protocolos estrictos para utilizarlas de manera efectiva.
- Esta guía de 24 pasos puede:
- Simplificar el proceso de realización de una revisión sistemática.
- Proporcionar a los profesionales de la salud y a los investigadores las herramientas para realizar revisiones sistemáticas y metaanálisis metodológicamente sólidos.
- Mejorar la calidad de los esfuerzos de síntesis que ya están en marcha.
- La guía aumentará la comprensión de los lectores sobre la complejidad del proceso y la calidad de las revisiones sistemáticas publicadas, y mejorará la incorporación de la síntesis del conocimiento en decisiones clínicas y formulación de políticas.
Fuente:
Muka, T., Glisic, M., Milic, J. et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol 35, 49–60 (2020). https://doi.org/10.1007/s10654-019-00576-5
Especialista en medicina de emergencias – U. Icesi
Fellow de medicina critica y cuidado intensivo – U. Icesi
MsC en educación – U. del Rosario / U. Javeriana
Master en toxicología – U. Cardenal Herrera