Los autores de revisiones sistemáticas deben hacer una evaluación del riesgo de sesgo (RoB) para cada estudio primario que incluyan como evidencia. No existe una única herramienta de evaluación de los RoB que sea adecuada para todos los diseños de investigación. Además de herramientas para estudios aleatorizados y no aleatorizados, existen herramientas específicas para la evaluación de la RoB en informes de casos y series de casos y diseños experimentales de caso único.

Al igual que ocurre en otros pasos de las revisiones, la incomprensión de las herramientas para evaluar el RoB así como su aplicación incorrecta son problemas generalizados. Además, el tiempo y el esfuerzo necesarios para aplicar los estándares metodológicos recomendados por las principales organizaciones (Cochrane RoB-2 para ECA (1) y ROBINS-I (2) para intervenciones no aleatorizadas), puede hacer que los autores no sigan sus orientaciones y empleen métodos desaconsejados o anticuados. Por ejemplo, la escala Newcastle-Ottawa (NOS) es una herramienta comúnmente utilizada para valorar estudios no aleatorizados.

Wells y cols. (2) propusieron una escala para evaluar la calidad de los estudios no aleatorizados publicados en metaanálisis denominada Newcastle-Ottawa-Scale (NOS). Esta herramienta puede utilizarse como lista de comprobación o como escala.

Muchos autores justifican su selección de esta herramienta haciendo referencia justamente a una publicación que describe la falta de fiabilidad de la NOS y desaconseja su uso (3).

En esta publicación Stang señala:

«Creo que Wells et al. proporcionan una puntuación de calidad que tiene una validez desconocida en el mejor de los casos, o que incluye elementos de calidad que incluso no son válidos. La versión actual parece inaceptable para la clasificación de la calidad tanto de estudios de casos y controles como de estudios de cohortes en metaanálisis. El uso de esta puntuación en revisiones basadas en la evidencia y metaanálisis basados en la evidencia puede producir resultados muy arbitrarios«.

BIBLIOGRAFÍA

1. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4894.
2. Sterne JA, Hernán MA, Reeves BC, Savović J, Berkman ND, Viswanathan M, et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355:i4919.
3. Wells GA, Shea B, O’Connell D, Peterson J, Welch V, Losos M, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality if nonrandomized studies in meta-analyses. Disponible en: URL: http://www.ohri.ca/programs/clinical_epidemiology/oxford.htm
4. Stang A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies in meta-analyses. Eur J Epidemiol 2010;25(9):603–605.