Loe raamatut: «Calidad metodológica y estándares de publicación de ensayos clínicos en salud y psicología»

En este apartado se presentarán los conceptos de calidad en el contexto investigativo y de publicación, como también, los estándares que se han desarrollado en esta área.

1.1 Conceptos de calidad en el contexto investigativo y de publicación

En la literatura científica se hace referencia constantemente al concepto de calidad, pero existen pocos autores que se arriesgan a presentar una definición o las características esenciales de esta. Un primer abordaje está relacionado con el término calidad científica de la investigación, la cual se logra cuando se “evita el sesgo y los hallazgos reflejan o muestran la verdad” (Oxman y Guyatt, 1991 p. 1272). Estos mismos autores agregan que excluyeron de los criterios, la relevancia de la pregunta y la calidad de la presentación.

Un concepto de estrechamente relacionado con el anterior es el de la calidad de la investigación, Buela-Casal (2003) afirma que en muchos países se determina índices bibliométricos, entre los cuales se encuentran el factor de impacto y el de prestigio. El autor sostiene que estos indicadores deberían ser utilizados más como datos de difusión que de calidad, debido a que están basados en número de citaciones realizadas de los artículos de las revistas. Como aporte a esta dificultad presenta a consideración 20 criterios para evaluación de trabajos científicos, entre los que se encuentran la relevancia de los resultados, la validez de la investigación, la calidad de los instrumentos utilizados, entre otros.

Otra definición de la calidad de la investigación es “la capacidad para lograr conocimientos verdaderos” (Gutiérrez y Jiménez, 2011 p. 366). En complemento, afirman que “es el grado de certeza que tiene el conocimiento con respecto a la realidad que requiere la sociedad”. Esta última definición es de vital importancia, más si se tiene en cuenta que el desarrollo de la investigación tiene que estar alineado con los requerimientos de la sociedad y en beneficio de ella.

Gutiérrez y Jiménez (2011) también aseveran que con alta frecuencia se presenta una baja calidad de las investigaciones. Este fenómeno involucra a todos los continentes y genera preocupación en diversas instituciones y organizaciones en el ámbito mundial, y que entre las razones posibles está el desconocimiento de los autores sobre algunos estándares investigativos y de las personas que publican los resultados.

Otro concepto de gran relevancia para la presente investigación es el de la calidad metodológica, la cual ha sido definida como “la probabilidad de que el diseño del experimento genere resultados no sesgados, que sean suficientemente precisos y permitan la aplicación en la práctica clínica” (Verhagen, de Vet, de Bie, Boers y van den Brandt, 2001, p. 651). Un aspecto para destacar en esta definición, es que la calidad metodológica no se toma como un fin en sí misma, sino que resalta la importancia de que los resultados tengan la posibilidad de ser llevados a la práctica clínica cotidiana y, de esta manera, generar un beneficio para la sociedad.

Jüni, Altman y Egger (2001) exponen que la calidad de los ensayos controlados es muy importante para la realización de revisiones sistemáticas, pues si el material de base se encuentra distorsionado, las conclusiones pierden confianza. Estos autores ponen como ejemplo un metaanálisis, en donde encontraron que los estudios que presentaban dificultades para realizar un adecuado enmascaramiento, normalmente, inflaban los efectos del tratamiento, pero al hacer un análisis más detallado, hallaron que las intervenciones que presentaban problemas metodológicos, eran menos benéficas que las surgidas de investigaciones con una adecuada metodología.

Otro concepto es el de calidad de la publicación, que se ha definido como “la medida en la cual la publicación presenta información sobre el diseño, la forma en que se desarrolló el estudio y el análisis que se hace de este (Jüni, Witschi, Bloch y Egger, 1999, citado en Jüni, Altman y Egger, 2001, p. 44). Otra propuesta para este término puede ser extractada de lo propuesto por el International Committee of Medical Journal Editors [ICMJE] (2013); institución que se ha encargado de generar recomendaciones de publicación en revistas del área médica y tiene por objetivo facilitar la creación y publicación de artículos exactos, claros y no sesgados.

En esta misma línea, las recomendaciones propuestas por Consolidated Standards of Reporting Trials [Consort] (2014) pretenden que los autores escriban los artículos de una manera completa y transparente, con el fin de facilitar la interpretación y valoración crítica por parte de los lectores.

1.2 Estándares metodológicos y de publicación de ensayos clínicos en salud y psicología

Como respuesta a las inquietudes propuestas anteriormente y para generar una materialización de estas definiciones, se ha desarrollado y fortalecido una tendencia en los últimos años, que consiste en el establecimiento de estándares metodológicos y de publicación, los cuales son una serie de lineamientos o normas que tienen como fin homogeneizar la forma en que son presentados los artículos y, de esta manera, mejorar la calidad de las publicaciones e indirectamente, la metodología con la cual son presentados.

Hasta el momento existen diferentes fuentes de trabajo que apuntan a la estructuración e implementación de estándares de publicación científica de ensayos clínicos en salud y psicología; una de estas es el Consort el cual se refiere a normas o lineamientos que tienen como objetivo mejorar la publicación de pruebas controladas aleatorias. El primer documento fue publicado en 1996 (Moher, Shulz y Altman, 2001) citados por Boutron, Moher, Altman, y Schulz (2008). La última revisión de esta guía se desarrolló en el 2010 (Schulz, Altman y Group et al., 2010). Este estándar está compuesto por una lista de chequeo de 25 ítems, que están distribuidos en seis categorías: título y resumen, introducción, método, resultados, discusión e información adicional. Un ejemplo de estos criterios, en la categoría de introducción, es hacer explícito los objetivos o hipótesis de la investigación. De forma complementaria, se han desarrollado otros estándares, como lo es el de resúmenes de investigación de los ensayos clínicos controlados, debido a que este apartado es básico para la evaluación inicial de una investigación y para tomar la decisión de hacer o no una lectura completa del texto (Hopewell et al., 2008). También existe una versión de ensayos o experimentos no farmacológicos (Boutron et al., 2008), dentro de los cuales se pueden incluir las intervenciones conductuales: con un solo sujeto (Shamseer et al., 2015) y el reporte de resultados de los pacientes (Calvert et al., 2013).

En este punto es pertinente aclarar que las pruebas controladas aleatorias también se han denominado ensayos clínicos controlados aleatorizados (ECCA) y se caracterizan, principalmente, por la posibilidad de establecer relaciones causa-efecto, debido a la asignación aleatoria de los sujetos a los grupos, la existencia de un grupo control y el ocultamiento sobre la identidad de los sujetos que pertenecen al grupo control o experimental (Lazcano, Salazar, Gutiérrez, Ángeles, Hernández y Viramontes, 2004).

El estándar Consort pretende que los autores sigan sus lineamientos para promover la realización de reportes claros, transparentes y completos, lo cual facilita la lectura de los informes. Se aclara que no incluye recomendaciones para diseñar, implementar o analizar los estudios, sino que se centra en el reporte de lo que se hizo y de los resultados arrojados (Schulz et al., 2010). A su vez, afirman que el establecimiento del Consort parte de diferentes motivaciones, entre estas, contar con una información clara y completa de la metodología y resultados de los estudios, y optimizar la publicación de las pruebas controladas aleatorias. Lo anterior facilita la evaluación de las investigaciones, el reconocimiento de las fallas existentes y mejorar la calidad en el diseño y ejecución de las investigaciones.

El estándar Consort está basado en la evidencia empírica, por lo que los cambios o modificaciones están soportadas en un grupo de trabajo conformado por investigadores clínicos, estadísticos, epidemiólogos y editores biomédicos de diversos países, los cuales se dedican a explorar la literatura existente, con el fin de actualizar los lineamientos establecidos. Con el paso del tiempo, un número considerable de revistas científicas han asumido las recomendaciones del Consort (Schulz, et al., 2010), sin embargo, aún es común encontrar problemas o dificultades en las publicaciones (Boutron et al., 2008).

Debido a la existencia de gran variedad de protocolos para los ensayos clínicos que varían en contenido y calidad, se ha desarrollado el standard protocolo ítems: recomendations for interventional trials [Spirit] (Chan et al., 2013), lo cual equivaldría a lineamientos estándares para ensayos clínicos controlados. El documento incluye una lista de chequeo de 33 ítems, que están estructurados en cuatro categorías de información: administrativa, introducción, método y apéndices. Este documento pretende que el seguimiento de los lineamientos mejore la trasparencia y la presentación completa de los datos, lo cual beneficiará a todos los actores comprometidos con los procesos investigativos, como investigadores, pacientes, patrocinadores, entre otros.

Otro estándar ha partido del International Committee of Medical Journal Editors (ICMJE), el cual ha sido construido por un grupo de editores de revistas y tiene por objetivo generar recomendaciones para implementar, reportar, editar y publicar trabajos académicos en revistas especializadas en el área de la medicina (ICMJE, 2014). Se afirma que el primer antecedente de este estándar fue el documento denominado Uniform requirements for manuscripts submitted to biomedical journals (Urms), que fue publicado en 1978. El documento original ha experimentado revisiones en 1999, 2000, 2001, 2003 y 2010, y la última edición se presentó en 2013 (ICMJE, 2014). Propone 11 lineamientos dirigidos a estandarizar los apartados de la página inicial o del título, resumen, introducción, método, resultados, discusión, referencias, tablas, figuras, unidades de medida y símbolos.

En el área de la medicina también se han realizado aportes por autores no vinculados a instituciones. García y Sánchez (2011) enfatizan en la necesidad de abordar la literatura científica desde una perspectiva crítica y proponen una guía de diez puntos para leer un ensayo clínico aleatorizado, entre estos se encuentran la aleatorización de los sujetos, la rigurosidad en la selección de la muestra y la precisión de los resultados.

Ya desde el contexto de la psicología se han evidenciado diferentes esfuerzos en esta línea, uno de los más reconocidos es el liderado por la Asociación Psicológica Americana (APA), la cual ha generado documentos para estandarizar la forma de escritura de los científicos sociales y conductuales en estudios de caso, empíricos, teóricos, entre otros (APA, 2014). La primera publicación de un manual realizado por la APA para presentar estos estándares fue en 1952 (Publications and communications bard working group on journal article reporting standards [JARS], 2008). En la actualidad han presentado seis ediciones, la última fue publicada en el 2009 en inglés y en el 2010 en español.

En los últimos años, la APA ha generado un interés especial por el contenido de los artículos científicos que son publicados en sus revistas. Esta motivación parte, en gran medida, de la necesidad de que las intervenciones actuales tengan respaldo en evidencias científicas, lo que implica tener claridad sobre la forma en que son desarrolladas las investigaciones y sus resultados. Se afirma que debido a la inminente necesidad de generar una nueva edición del Manual, el Consejo de Publicaciones y Comunicaciones de la APA conformó el grupo de trabajo en estándares de reporte para artículos de revistas (JARS). Dentro de las conclusiones a las que llegó el grupo, después de su proceso investigativo, se encontró el hecho de que existe una necesidad de ser más detallados en el reporte de las investigaciones; es decir, ser más específicos en presentar la forma en que se desarrolló la intervención y cuáles fueron los resultados encontrados. Lo anterior parte de dos fuentes: la primera es la nueva tendencia a utilizar intervenciones basadas en la evidencia y la segunda es la importancia que se le ha empezado a adjudicar a los estudios metaanalíticos, los cuales permiten, entre otros aspectos, la generación de hipótesis y guiar los nuevos problemas a estudiar, lo que no se puede lograr sin un reporte completo de los métodos y resultados de los estudios (JARS, 2008).

Otro punto de gran relevancia tratado por este grupo fue el dilema entre la transparencia del reporte y las limitaciones de espacio impuestas por los medios impresos. El grupo JARS comenta que este problema tiende a desparecer, debido a que las revistas poseen sitios World Wide Web (www) disponibles para incluir material adicional a los artículos. Esto llevó al grupo JARS a recomendar el uso y estandarización de sitios webs, para ubicar información adicional a la de los estudios. Es posible que cierta información requerida en los estándares de reporte no aparezca en el artículo publicado, pero puede ser localizada en una página web. Ejemplos de esta información pueden ser las instrucciones, el diagrama de flujo de los participantes, las tablas de gran tamaño, audios, video clips, programas de computador, entre otros. Es necesario aclarar que este material también debe ser revisado en conjunto con el articulo original (JARS, 2008).

Entre los beneficios adicionales a los expuestos anteriormente por la utilización de los estándares es que facilitarían el diálogo interdisciplinario y la réplica de los estudios. Sin embargo, también es importante llamar la atención sobre las posibles dificultades de asumir estas normativas; entre estas se encuentran la excesiva estandarización, lo que podría llevar a reportar información irrelevante o desechar información importante que no es solicitada en los estándares; baja adecuación de las normativas a algunos métodos utilizados, problemas específicos o áreas de conocimiento particulares; y la atención sobre la obsolescencia de estos estándares, debido a los rápidos cambios o avances en aspectos metodológicos y en las temáticas que son abordadas por los investigadores (JARS, 2008).

Los estándares generados por el grupo JARS están dirigidos a artículos generales, estudios experimentales con y sin asignación al azar, y metaanálisis. Estos estándares están compuestos por una lista de chequeo de 44 ítems y están distribuidos en seis categorías: título, resumen, introducción, método, resultados y discusión. Afirman que la utilización de estos estándares permite valorar las fortalezas y debilidades de una investigación, mejoran la forma en que se implementan, facilitan la réplica y realización de estudios metaanalíticos, y recomiendan la realización de trabajos dirigidos a la revisión de los efectos que tiene la aplicación de los estándares en la publicación de los artículos (JARS, 2008).

Otra asociación de gran relevancia en el contexto de la psicología es la American Educational Research Association (AERA), la cual también ha presentado unos lineamientos para realizar reportes de investigación en educación, enmarcada en estudios empíricos dentro de las ciencias sociales. El objetivo principal de estos estándares es apoyar a los investigadores en la preparación de los artículos; a los editores y revisores, para juzgar la posibilidad de publicación de un artículo; y a los lectores, para aprender a construir una publicación. Afirman que los estándares son una guía sobre la información esencial que debe tener un escrito, para comprender la naturaleza de la investigación y la importancia de los resultados (AERA, 2006).

Los estándares de la AERA están compuestos por 48 ítems divididos en ocho categorías: formulación del problema, diseño y lógica del estudio, fuentes de evidencia, medición y clasificación, análisis e interpretación, generalización, ética del reporte y título, resumen y encabezados. Los autores agregan que existen dos principios que subyacen a estas normativas; el primero, es la suficiencia, consistente en que debe existir evidencia adecuada para justificar los resultados y conclusiones; y la segunda, es la transparencia, referida a que en el reporte debe hacerse explícita la lógica de la investigación y las actividades que conducen desde el problema de investigación, siguiendo con la recolección y análisis de datos, hasta los resultados articulados o condensados del estudio (AERA, 2006).

Fuera de estas instituciones existen diversos autores en el campo de la psicología, que han generado aportes relacionados con estándares de publicación y con la calidad metodológica; uno de los primeros es Seligman (1995), quien propone ocho características que debe poseer un estudio experimental ideal en el campo clínico, entre las se encuentran: la asignación al azar, un control riguroso, la utilización del enmascaramiento, entre otros. También se encuentra Bobenrieth (2002), quien afirma que la meta final de la realización de investigaciones en ciencias de la salud es que el conocimiento derivado de este proceso sea utilizado en la práctica profesional, es por esto que las investigaciones deben ser evaluadas en cuanto a validez, relevancia, novedad y utilidad. Este mismo autor propone la existencia de diversos mitos con respecto a las publicaciones científicas. El primero, consiste en pensar que los artículos científicos publicados en revistas prestigiosas garantizan su validez, lo que no es tan cierto, en la realidad. Al respecto, dice que al hacer una lectura detallada de las publicaciones se evidencian dificultades de validez, debido a que presentan problemas conceptuales y metodológicos, sumados a esto, están las dificultades en redacción, precisión y orden o secuencia lógica. El segundo mito es considerar que un respaldo suficiente para la calidad de una publicación es el éxito profesional del autor. La realidad es que la investigación requiere formación específica, diferente a la requerida en el campo particular de desempeño de la persona (Bobenrieth, 2002). En tercera instancia se plantea el mito de que personas que han presentado artículos de “buen nivel” replicarán este mismo patrón en las siguientes publicaciones. Con respecto a este tópico, se puede pensar que existen mayores probabilidades de que el autor siga haciendo buenas publicaciones, pero no hay garantía de que esto ocurra, debido a que cada trabajo requiere de unas condiciones particulares de metodología, estructura, estilo, entre otros. El cuarto mito es considerar que un investigador, por el hecho de ejercer esta profesión, es imparcial, lo cual debe ser tomado con precaución, debido a que ellos son seres humanos y, como tal, están sujetos a prejuicios que podrían viciar los resultados de una investigación (Bobenrieth, 2002).