Int. J. Morphol., 32(1):294-298, 2014.

 

Instrucciones para la Utilización de la Escala MINCIR para Valorar Calidad Metodológica de Estudios de Terapia

 

Instructions for the Use of MINCIR Scale to Assess Methodological Quality in Therapy Studies

 

Moraga, J.*,**, Manterola, C.*,***,****; Cartes-Velasquez, R.****,*****; Burgos, M. E. *,****; Aravena, P.****; Urrutia, S.* & Grupo MINCIR

* Programas de Magíster y Doctorado en Ciencias Médicas, Mención Cirugía. Departamento de Cirugía, Universidad de Frontera, Temuco, Chile.

** Universidad Autónoma de Chile, Santiago, Chile.

*** Centro de Investigación en Ciencias Biomédicas, Universidad Autónoma de Chile, Temuco, Chile.

**** Programa de Doctorado en Ciencias Médicas, Facultad de Medicina, Universidad de Frontera, Temuco, Chile.

***** Facultad de Odontología, Universidad de Concepción, Concepción, Chile.

Dirección para Correspondencia:

---

RESUMEN: La calidad metodológica (CM) es un constructo multidimensional complejo que evalúa diferentes variables. Una aproximación al tema fue la generación de escalas para valorar CM de estudios de terapia, diagnóstico y pronóstico por parte de nuestro grupo de trabajo; todas ellas validadas. El objetivo de este artículo es entregar una pauta para estandarizar la aplicación para la escala MINCir, para valorar CM de estudios de terapia. Se realiza una descripción detallada de cada ítem y dominio que conforman la escala MINCir Terapia, junto con una guía de cómo dar respuesta a cada uno de ellos. Se generó una guía de usuario para aplicar la escala MINCir Terapia.

PALABRAS CLAVE: Técnicas de Investigación; Metodología; Calidad metodológica; Estudios de terapia; Estudios de evaluación; Estudios epidemiológicos; Medicina basada en evidencia.

---

SUMMARY: Methodological quality (MQ) is a complex multidimensional construct that tests different types of variables. An approach to this issue was the potential to generate a group of valid scales to assess MQ in therapy, diagnosis and prognosis studies. The aim of this article is to provide a guideline to standardize the implementation of a MinCir scale to assess MQ in therapy studies. A detailed description of each item and discipline of the therapy MinCir scale is provided, along with guidelines on how to respond each query. A user guide for applying the therapy MinCir scale was generated.

KEY WORDS: Investigative techniques; Methods/epidemiology; Methodological studies; Intervention studies; Evaluation studies as topic; Epidemiologic studies; Evidence-based medicine.

---

 

INTRODUCCIÓN

La calidad metodológica (CM) es un constructo multidimensional complejo que evalúa diferentes variables como el tipo de diseño del estudio, el tamaño de la muestra utilizado, la metodología aplicada, los análisis realizados, la calidad del reporte del manuscrito, etc. (Manterola et al., 2003; Manterola, 2005a; Burgos et al., 2011; Moraga et al., 2013).

Una aproximación al tema fue la generación por nuestro grupo de trabajo de una escala diseñada para valorar CM de estudios sobre procedimientos terapéuticos o de terapia (Manterola et al., 2003) (Figura 1); la que ha permitido realizar diversos estudios bibliométricos (Pineda et al., 2005; Manterola et al., 2006a; Manterola et al., 2006b; Manterola & Grande 2010) y ponderar la evidencia publicada en el ámbito de la terapéutica quirúrgica, a través de la realización de revisiones sistemáticas de la literatura con una metodología alternativa (Vial et al., 2005; Manterola et al., 2005b; Manterola et al., 2005c).

Fig. 1. Escala MINCIR de calidad metodológica para estudios de terapia.
*Incluye ensayos clínicos con asignación aleatoria restringida (conglomerados) y cuasi-experimentales.
**Incluye estudios experimentales (antes y después).

Esta escala se encuentra recientemente validada, contando con validez de contenido, criterio y constructo (Manterola et al., 2009; Moraga, 2013; Moraga et al., 2013), lo que la convierte en una herramienta útil para investigadores, revisores, editores y consumidores de literatura biomédica.

El objetivo de este artículo es entregar una pauta para estandarizar la aplicación para la escala MINCir, para valorar CM de estudios de terapia.

Instrucciones de su aplicación para el usuario. La escala MINCir para valoración de CM de estudios de terapia o procedimientos terapéuticos, está conformada por 3 dominios: El dominio 1, está compuesto por un solo ítem que evalúa el tipo de diseño de investigación empleado; el dominio 2 al igual que el anterior se encuentra compuesto por un solo ítem que evalúa el tamaño de la población estudiada, con o sin cálculo o estimación de la muestra; y dominio 3, está compuesto por 4 ítems donde se evalúa la metodología empleada en el estudio (Manterola et al., 2009; Moraga).

Al realizar la valoración de CM de un artículo de terapia o procedimientos terapéuticos, el usuario de este instrumento debe asignar un puntaje en cada uno de los ítems, cuya sumatoria puede dar una puntuación total de 6 a 36 puntos. El valor de corte que define el constructo de CM para este tipo de estudios es 18 puntos; dicotomizando de este modo la valoración en CM adecuada o buena cuando el artículo evaluado obtiene un puntaje mayor o igual a 18 puntos; y CM inadecuada o mala si el puntaje es menor o igual a 17 puntos (Manterola et al., 2009; Moraga).

Una descripción más detallada de cada ítem junto con una guía de cómo dar respuesta a cada uno de ellos se entrega a continuación.

Dominio 1: Diseño del estudio. En este dominio se evalúa el tipo de diseño del estudio en el apartado "material y método" del artículo; que debe ser el mismo que se anuncie en el resumen. Por ejemplo, a un ensayo clínico controlado con asignación aleatoria y doble enmascaramiento se le asignarán 9 puntos; y a una serie de casos sólo 1 punto.

Sin embargo, después de haber realizado diversos estudios bibliométricos, hemos observado los siguientes escenarios en relación al diseño de los estudios que se reportan en los manuscritos:

a) En ocasiones, los autores simplemente no lo describen (ni en el resumen ni en el cuerpo del texto).

b) En otras oportunidades el diseño del estudio no se encuentra claramente señalado por los autores; lo que requiere de un análisis exhaustivo del manuscrito. Es común que los autores realicen una descripción del diseño en vez de señalarlo (por ejemplo: estudio descriptivo retrospectivo en vez de decir serie de casos retrospectiva).

c) En otras, se ha constatado que el diseño mencionado por los autores no existe (por ejemplo: "estudio prospectivo con componente transverso"); o que no corresponde con la realidad del estudio (por ejemplo: los autores declaran que se trata de un estudio de cohortes, cuando en realidad se trata de una serie de casos).

Dominio 2: Población estudiada. En este dominio se debe evaluar el número de sujetos que participan del estudio. Por ejemplo, si en un estudio se utilizó una muestra de 38 sujetos, se asignarán dos puntos; ahora bien, si estos 38 sujetos son producto de una estimación o cálculo de la muestra mínima necesaria para conducir el estudio (declarada por los autores en el cuerpo del texto), se asignarán 4 puntos. Es decir, se aplica un "factor de justificación" de "2"; de tal forma que se multiplicará por "2" el valor que corresponde a cada subgrupo de tamaño poblacional en estudio (1, 2, 3, 4, 5 o 6) cada vez que los autores reportan la estimación o cálculo del tamaño de la muestra; lo que significa que los puntajes serán de 2, 4, 6, 8, 10 o 12 para este ítem. Aplicando otro ejemplo, si un estudio considera una población de 190 sujetos de forma arbitraria, se le asignarán 5 puntos; pero si los 190 sujetos corresponden a la estimación matemática del mínimo de casos a considerar para un adecuada conducción del estudio, se le asignarán 10 puntos, aplicando el "factor de justificación" de "2".

Dominio 3: Metodología empleada. En este, se evalúa parte de la metodología empleada en el estudio (objetivos, diseño, criterios de selección y estimación del tamaño de la muestra). La sumatoria de los puntajes obtenidos en cada ítem será el puntaje final del dominio 3.

Ítem 1. Objetivos: Los objetivos serán evaluados en el cuerpo del artículo, específicamente al final de la introducción, que es donde deben estar declarados (no obstante ello, se espera que el objetivo declarado en el texto sea el mismo que el del resumen). Como en ciertos tipos de diseño (reporte de casos o series de casos de pequeño número de sujetos), en el cuerpo de texto no se emplea la declaración del objetivo; se puede evaluar este ítem en el resumen. Este ítem, tiene tres opciones de respuesta, acorde a lo reportado por los autores:

1. Se plantean objetivos claros y concretos. Se consideran objetivos claros y concretos a aquellos que reporten que es lo que será medido, con qué, por quién, dónde y cuándo se realizará la medición. O, si se tratare de un procedimiento terapéutico o intervención, el objetivo debe declarar cuál es, si tiene comparador, quién lo aplica a quién se aplica, cuándo y cómo se aplica. Se asignan tres puntos.

2. Se plantean objetivos vagos. Se considerarán objetivos vagos a aquellos que no cumplan con los elementos mencionados en el párrafo anterior. Por ejemplo: "el objetivo de este trabajo es reportar nuestra experiencia en", en el que la vaguedad dice relación con a qué corresponde "nuestra", como se define la "experiencia". También referido a expresiones como "los últimos años", "comparado con la opción convencional"; o cualquier otra expresión que no permita una clara identificación del propósito de la investigación. Se consideran también objetivos vagos, aquellos incompletos en algunos de los componentes mencionados en el acápite de objetivos claros y concretos. Se asignan dos puntos.

3. No se plantean objetivos. Se considerará ausencia de objetivos cuando estos no se planteen de forma explícita al final de la introducción del manuscrito o en el resumen. Se asigna un punto.

Ítem 2. Diseño: El diseño será evaluado en el cuerpo del artículo, específicamente en el párrafo inicial del apartado "Metodología", "Material y método" o "Pacientes y método" (sin embargo, se espera que el diseño declarado en el texto sea el mismo que el del resumen). En el caso de los "Reporte de caso(s)", se acepta cuando éste se menciona en el título o en el resumen; ya que este tipo de diseño no presenta la misma estructura que el resto de los diseños de investigación clínica. Las opciones de respuesta para este ítem son las siguientes:

1. Se menciona y justifica el diseño empleado. Se considerará diseño mencionado y justificado cuando se declara el diseño empleado en el cuerpo del texto; en el entendido que el diseño señalado es correcto. Se acepta cuando se reporta una descripción del diseño utilizado y se exponga(n) el (los) motivo(s) por el (los) que decidió utilizar ese diseño en particular y no otro (por ejemplo: "estudio de cohorte prospectiva, se decide utilizar este tipo de diseño ya que, compararemos la aparición de X enfermedad, en dos grupos de sujetos uno expuesto al factor Y y el otro no expuesto a dicho factor"). Respecto de la mención del diseño, es fundamental aclarar que se considera el reporte de la descripción del diseño utilizado al evaluar la intención de los autores (por ejemplo: "estudio randomizado doble ciego" en vez de decir ensayo clínico con asignación aleatoria y doble enmascaramiento). No se consideran diseños inexistentes (por ejemplo: "estudio de cohorte con componente transverso"); o que no correspondan a la realidad (por ejemplo: "estudio de cohorte" cuando se trate de un estudio de corte transversal). Se asignan tres puntos.

2. Se menciona el diseño empleado. Se considerará cuando se menciona el diseño sin que se esgriman los motivos de la utilización de dicho diseño (por ejemplo: "serie de casos retrospectiva"), al igual que en el apartado anterior se evaluará la intención sin que necesariamente el diseño reportado sea el correcto. Se asignan dos puntos.

3. No se menciona ni justifica el diseño empleado. Será aquel que no mencione ni justifique el tipo de diseño utilizado. Se asigna un punto.

Ítem 3. Criterios de selección de la muestra: Los criterios de selección de la muestra serán evaluados en el cuerpo del articulo específicamente en la sección "Metodología", "Material y método" o "Pacientes y método". Las opciones de respuesta de este ítem son:

1. Se describen criterios de inclusión y de exclusión. Se considerarán descritos criterios de inclusión y exclusión cuando estos se encuentren declarados por los autores, sin importar si estos se encuentran en un apartado único ni el número de estos que se describan. Se acepta como cumplida esta opción si los autores tras mencionar los criterios de inclusión declaran la inexistencia de criterios de exclusión. Se asignan tres puntos.

2. Se describen criterios de inclusión o de exclusión. Se describe sólo uno de los dos criterios, sin importar la cantidad o la ubicación que estos presenten dentro del apartado "material y método". Se asignan dos puntos.

3. No se describen criterios de selección. Los autores no declaran unos ni otros. Se asigna un punto.

Ítem 4. Tamaño de la muestra: El tamaño de la muestra puede estar o no declarado por los autores; por ende, las opciones de respuesta de este ítem son:

1. Justifica la muestra empleada. Se considerará justificada la muestra empleada cuando en el artículo se reporta la estimación o cálculo del tamaño de la muestra, o se hace referencia que derivado del diseño del artículo no se requiere un determinado tamaño de la muestra (por ejemplo cuando se utiliza la totalidad de los sujetos que componen el universo a estudio; es decir, se estudian todos los que hay). Se asignan tres puntos.

2. No justifica la muestra empleada. Se considerará que no justifica la muestra empleada cuando el artículo no hace referencia a una estimación o cálculo del tamaño de la muestra mínima para la conducción del estudio. Esto es rutinario en las series de casos. Se asigna un punto.

DISCUSIÓN

Gracias a la bibliometría y cientometría existe evidencia contundente respecto del quehacer científico de personas, instituciones, regiones y países (Manterola, 2005a; Moraga et al., 2012; Cartes-Velasquez et al., 2012); sin embargo, son pocos los estudios conducentes a valorar la CM de las publicaciones. Por ello, el Grupo MINCir ha generado escalas con la finalidad de valorar la CM de estudios en diferentes escenarios (Burgos et al., 2011; Moraga; Losada et al., 2009).

Recientemente nuestro grupo de trabajo efectuó la validación y determinación de confiabilidad de la escala MINCir de terapia (Moraga; Moraga et al., 2013), durante la cual evidenciamos que es fundamental calibrar el instrumento previo a su aplicación ya que, de no realizarse este paso fundamental; se corre el riesgo de tener criterios de aplicación diferentes y por ende resultados dispares, lo que constituiría un error sistemático de su aplicación y por ende un sesgo de medición.

Es por ello que nos pareció elemental entregar una pauta de aplicación para el instrumento, de tal forma de unificar los criterios de aplicación de la escala y por ende de medición; de modo tal que los diferentes usuarios de la herramienta puedan obtener resultados comparables al aplicar el instrumento sobre un mismo artículo.

Esperamos con estas instrucciones no sólo facilitar el uso de la herramienta, sino que contribuir de esta forma al mejoramiento la CM de las publicaciones de las revistas científicas.

REFERENCIAS BIBLIOGRÁFICAS

Burgos, M.; Manterola, C. & Sanhueza, A. Diseño de una escala para evaluar calidad metodológica de estudios de pruebas diagnósticas. Estudio piloto. Rev. Chil. Cir., 63(5):493-7, 2011.

Cartes-Velasquez, R.; Moraga, J.; Aravena, P. & Manterola, C. Impacto y visibilidad de la Revista Chilena de Cirugía tras su indización en las bases de dato SciELO e ISI. Análisis Bibliométrico. Rev. Chil. Cir., 64(6):511-5, 2012.

Losada, H.; Manterola, C.; Pineda, V.; Vial, M. & Sanhueza, A. Grupo MINCIR. Diseño de una escala para la evaluación de calidad metodológica de estudios de pronóstico. Rev. Chil. Cir., 61(1):59-72, 2009.

Manterola, C.; Vial, M.; Pineda, V. & Losada, H. Revisión sistemática de la literatura. Propuesta metodológica para su realización. Rev. Chil. Cir., 55(2):204-8, 2003.

Manterola, C. Respecto de la calidad metodológica de los artículos que se publican en las revistas biomédicas. Rev. Chil. Cir., 57(6):449-50, 2005a.

Manterola, C.; Pineda, V. & Vial, M. Resección abierta frente a laparoscópica en el cáncer de colon no complicado. Revisión sistemática. Cir. Esp., 78(1):28-33, 2005b.

Manterola, C.; Pineda, V.; Vial, M.; Losada, H. & Muñoz, S. Surgery for Morbid Obesity: Selection of Operation Based on Evidence from Literature Review. Obes. Surg., 15(1):106-13, 2005c.

Manterola, C.; Pineda, V.; Vial, M.; Losada, H. & MINCIR Group. Which is the methodological quality of human therapy studies in ISI surgical publications? Ann. Surg., 244(5):827-32, 2006a.

Manterola, C.; Busquets, J.; Pascual, M. & Grande, L. ¿Cuál es la calidad metodológica de los artículos sobre procedimientos terapéuticos publicados en Cirugía Española? Cir. Esp., 79(2):95-100, 2006b.

Manterola, C.; Vial, M.; Pineda, V. & Sanhueza A. Systematic Review of Literature with Different Types of Designs. Int. J. Morphol., 27(4):1179-86, 2009.

Manterola, C. & Grande, L. Calidad metodológica de los artículos publicados en Cirugía Española referentes a procedimientos terapéuticos. Evaluación del período 2005-2008. Cir. Esp., 87(4):244-50, 2010.

Moraga, J.; Cartes-Velasquez, R.; Manterola, C. & Urrutia, S. Publicaciones de autores chilenos en revistas quirúrgicas durante los últimos diez años. Rev. Chil. Cir., 64(5):447-51, 2012.

Moraga, J.; Burgos, M.; Manterola, C.; Sanhueza, A.; Cartes-Velásquez, R.; & Urrutia, S. Confiabilidad de la escala MINCIR para valorar calidad metodológica de estudios de terapia. Rev. Chil. Cir., 65(3):222-7, 2013a.

Moraga, J. Validez y confiabilidad de la escala MINCir para valorar calidad metodológica de estudios de terapia. Tesis para optar al grado Magister en Ciencias Médicas, Mención Cirugía. Universidad de La Frontera, 2013b.

Pineda, V.; Manterola, C.; Vial, M. & Losada, H. ¿Cuál es la calidad metodológica de los artículos referentes a terapia publicados en la Revista Chilena de Cirugía? Rev. Chil. Cir., 57(6):500-7, 2005.

Vial, M.; Manterola, C.; Pineda, V. & Losada, H. Coledocolitiasis. Elección de una terapia basada en la evidencia. Revisión Sistemática de la literatura. Rev. Chil. Cir., 57(5):404-11, 2005.

---

Dirección para Correspondencia:

Dr. Javier Moraga

Dr. Carlos Manterola
Manuel Montt 112, Oficina 408
Temuco
CHILE

Email: javier.moragac@gmail.com
carlos.manterola@ufrontera.cl

Recibido: 20-08-2013
Aceptado: 12-12-2013