Introducción

Durante los últimos años, la política nacional para mejorar el impacto de las publicaciones científicas colombianas del Departamento Administrativo de Ciencia, Tecnología e Innovación (Colciencias) ha estado presente en los debates académicos de las instituciones de educación superior (IES).

La razón de este interés se centra en dos aspectos. Por una parte, el preocupante diagnóstico de Colciencias sobre el bajo impacto de los artículos y revistas científicas nacionales en el Sistema Nacional de Competitividad, Ciencia, Tecnología e Innovación (SNCCTel), que se resume en tres indicadores (^{Colciencias, 2016}, p. 1):

Por otra parte, las medidas tomadas por Colciencias "para duplicar la producción científica de alto impacto" (2016, p. 2) también han sido objeto de análisis crítico. Entre estas, se cuentan: 1) El rediseño del modelo de clasificación de las revistas científicas nacionales, al que se le incorporan criterios que den cuenta de su visibilidad e impacto; 2) el acompañamiento de un comité de expertos a Colciencias para adelantar la revisión permanente de los criterios técnicos definidos para el modelo de clasificación; 3) el liderazgo por parte de Colciencias del desarrollo de actividades que promuevan la actualización constante de la comunidad científica nacional en temas relacionados con bibliometría y cienciometría; 4) el desarrollo por parte de Colciencias de procesos que promuevan la actualización constante del equipo editorial de las revistas colombianas clasificadas en Publindex; 5) el diseño de un plan para el fortalecimiento de las revistas colombianas clasificadas en Publindex; 6) la adopción de una herramienta tecnológica que será puesta a disposición de las revistas colombianas clasificadas en Publindex; 7) el desarrollo de un nuevo portal de Publindex; 8) la incentivación, por parte de Colciencias, del compromiso de las instituciones de origen de las revistas científicas nacionales con el fin de fortalecer los recursos y procesos para garantizar la calidad de contenido y las buenas prácticas editoriales; y 9) la incorporación de los ajustes necesarios en otros instrumentos, mecanismos y modelos usados por la entidad, para garantizar la coherencia de la política y la articulación de esfuerzos para los propósitos expresados en la política nacional de mejora del impacto de las publicaciones científicas nacionales (^{Colciencias, 2016}, pp. 20-21). Dichas medidas se fundamentan en estos cinco frentes:

Si bien la mejora de la calidad en la investigación de las IES colombianas y de la producción intelectual y científica de sus investigadores es una necesidad indiscutible, no pocas críticas se han desencadenado en razón de los efectos de las medidas, por ejemplo, sobre los resultados de la Convocatoria para la Indexación de Revistas Científicas Colombianas Especializadas - Publindex (Convocatoria 768 de 2016).

En efecto, de un total de 604 revistas inscritas para la mencionada convocatoria, 583 fueron avaladas para participar, de las cuales solo 244 fueron incluidas finalmente dentro de las cuatro clasificaciones establecidas por Colciencias (A1, 1, B y C). Esto significa que únicamente el 41,85 % de las publicaciones científicas fueron avaladas por Colciencias por su gestión editorial y calidad de contenido, con lo cual se evidenció un descenso en la clasificación de un importante número de revistas respecto de resultados de convocatorias pasadas. Para 2017, solo una revista colombiana fue clasificada como A1, 14 como A2, 104 como B y 125 como C (^{Colciencias, 2017}, p. 11).

Consecuentemente, desde la publicación de los resultados definitivos de la convocatoria, diversas voces -^{Jácome Roca (2017)}, ^{Díaz (2017)}, ^{Alperin y Rozemblum (2017)}, ^{Ochoa-Jaramillo (2017)}, ^{Caballero-Uribe y Viloria-Doria (2018)}, ^{Gómez Marín y Palacios (2018)} y ^{Flórez Carranza (2018)}- han manifestado su reserva respecto a los resultados de la medición, la metodología utilizada y, sobre todo, las tendencias futuras de la clasificación de las revistas indexadas colombianas. La crítica principal radica en que, de seguir la tendencia de 2017, para la convocatoria recientemente cerrada (número 830) para indexación de revistas científicas colombianas especializadas - Publindex 2018, muchas más publicaciones científicas descenderían en la clasificación o la perderían completamente.

Esta inquietud se acrecienta dado que la clasificación obtenida por las revistas "tendrá una vigencia de 2 años a partir del primero de enero del año 2020 y hasta el 31 de diciembre del año 2021" (^{Colciencias, 2018a}, p. 12). Es decir, una publicación científica que obtenga una clasificación desafortunada tendrá que esperar más de dos años para poder aspirar a modificarla, lo que significa un gran revés para las publicaciones y las IES que cuentan con limitados recursos y apoyo para fines editoriales.

Sin embargo, lejos de entrar en una crítica de la conveniencia o no del modelo de clasificación de revistas científicas Publindex de Colciencias¹ y de sus aspectos positivos o por mejorar -pues estos ya han sido discutidos con amplitud en otros escenarios y publicaciones-, este editorial busca explorar las posibles tendencias de los resultados de la convocatoria 830 de 2018. Para este fin se realizó un análisis comparado de la evolución de la Revista Científica General José María Córdova (Revista colombiana de estudios militares y estratégicos) a partir de una muestra de 40 revistas nacionales de la gran área de conocimiento Ciencias Sociales, subdividida en dos áreas: 5.F. Ciencias políticas (con un universo de 24 revistas según Publindex) y 5.I. Otras ciencias sociales (con un universo de 77 revistas).

Las revistas y sus datos se seleccionaron a partir de dos criterios: 1) todas las que estuvieran incluidas en la base de datos Scimago Journal & Country Rank (SJR) de Scopus y 2) las revistas restantes hasta completar una muestra de 20, de acuerdo con el orden presentado en la base de datos Publindex a la fecha de 16 de marzo de 2019². Los datos respecto al índice h³ y el índice g⁴ se obtuvieron a través del programa Publish or Perish (PoP)⁵ utilzado por Publindex (tablas 1 y 2)

Tabla 1 Análisis de clasificación Publindex en Revistas colombianas de Ciencias políticas (selección de 20 publicaciones), 2015-2017. 

Nota: Revistas organizadas en orden descendente de resultados en el índice h de 2017.

Fuente: elaboración propia con base en la información en ^{Publindex (2019)} y ^{Scopus (2019)} y el programa Publish or Perish (PoP).

Tabla 2 Análisis de clasificación Publindex en Revistas colombianas de Otras ciencias sociales (selección de 20 publicaciones), 2015-2017. 

Nota: Revistas organizadas en orden descendente de resultados en el índice h de 2017.

Fuente: elaboración propia con base en la información en Publindex (2019) y Scopus (2019) y el programa Publish or Perish (PoP).

Índice h

Las figuras 1 y 2 muestran la tendencia en la evolución del índice h de las 40 revistas analizadas (20 de ciencias políticas y 20 de otras ciencias sociales). En el caso de ciencias políticas (figura 1), el 45 % de las revistas presentan, para el periodo 2013-2017 (a ser analizado por la convocatoria Publindex 830 de 2018), un descenso de su índice h en comparación con el lapso de la convocatoria anterior (2012-2016). Así mismo, el 50 % de estas mantuvo un índice h igual al del lapso anterior. Respecto a esto, la Revista Científica General José María Córdova (en adelante, RCGJMC), correspondiente al 5 % restante de la muestra, logró obtener un incremento del 50 % en su índice h en relación con 2016.

Fuente: Elaboración propia con base en la información de ^{Publindex (2019)} y ^{Scopus (2019)} y del programa Publish or Perish (PoP).

Figura 1 Evolución del índice h de 20 revistas colombianas de Ciencias políticas, 2015-2017. 

En el caso de Otras ciencias sociales (figura 2), el 65 % de las revistas presentan, para el periodo 2013-2017, una caída de su índice h en comparación con el lapso de la convocatoria anterior (2012-2016). De igual forma, el 30 % de estas conservó un índice h igual al del lapso anterior. Por su parte la RCGJMC, es decir, el 5 % restante de la muestra, experimentó un incremento del 50 % en su índice h en relación con 2016.

Fuente: Elaboración propia con base en la información de ^{Publindex (2019)} y ^{Scopus (2019)} y del programa Publish or Perish (PoP).

Figura 2 Evolución del índice h de 20 revistas colombianas de Otras ciencias sociales, 2015-2017. 

Índice g

La tendencia en la evolución del índice g de las 40 revistas analizadas se detalla en las figuras 3 y 4. El 40 % de las revistas de Ciencias políticas (figura 3) tiene, durante el periodo 2013-2017, un descenso de su índice g en comparación con el lapso de la convocatoria anterior (2012-2016). Así mismo, el 40 % de las revistas de la gran área mantuvo un índice g igual al del lapso anterior y un 20 % lo incrementó. En este escenario, la RCGJMC experimentó un incremento del 67 % en su índice g en relación con 2016.

Fuente: Elaboración propia con base en la información de ^{Publindex (2019)} y ^{Scopus (2019)} y del programa Publish or Perish (PoP).

Figura 3 Evolución del índice g de 20 revistas colombianas de Ciencias políticas, 2015-2017. 

Fuente: Elaboración propia con base en la información de ^{Publindex (2019)} y ^{Scopus (2019)} y del programa Publish or Perish (PoP).

Figura 4 Evolución del índice g de 20 revistas colombianas de Otras ciencias sociales, 2015-2017. 

El 70 % de las revistas de Otras ciencias sociales (figura 4) registró un descenso de su índice g para el periodo 2013-2017, en comparación con el lapso de la convocatoria anterior (2012-2016). Además, el 30 % del total de las revistas conservó un índice g igual al del lapso anterior. Por su parte, la RCGJMC tuvo un incremento del 67 % en su índice g en relación con 2016.

Clasificación de Publindex

De las revistas analizadas de Ciencias políticas (figura 5), el 55 % descendió en la clasificación de Publindex de 2016, en relación con los resultados obtenidos en 2015; el 30 % mantuvo su clasificación, y solo el 15 % subió en la evaluación. En el área de Otras ciencias sociales (figura 6), para el año 2016, el 65 % bajó en la clasificación (incluyendo un 30 % que la perdió), un 15 % mantuvo la misma evaluación y un 20 % logró mejorar su clasificación.

Fuente: Elaboración propia con base en la información de Publindex (2019).

Figura 5 Evolución de la clasificación de Publindex de 20 revistas colombianas de Ciencias políticas, 2015-2017. 

Fuente: Elaboración propia con base en la información de Publindex (2019).

Figura 6 Evolución de la clasificación de Publindex de 20 revistas colombianas de Otras ciencias sociales, 2015-2017. 

Discusión final

Los resultados obtenidos en este ejercicio (condicionado a los resultados de 40 publicaciones seleccionadas) sugieren un escenario incierto para las revistas indexadas colombianas si el comportamiento del universo mantiene las mismas tendencias de la muestra aquí analizada. Para el caso de las revistas en Ciencias políticas, la muestra corresponde al 83 % del universo de las revistas del área; para las publicaciones en Otras ciencias sociales la muestra equivale al 26 % del universo clasificado por Publindex en 2016.

Las dificultades para lograr una mejor visibilidad e impacto de las publicaciones científicas colombianas no son nuevas y han sido examinadas con anterioridad (^{Miguel, 2011}; ^{Romero-Torres, Acosta-Moreno, & Tejada-Gómez, 2013}; ^{Ossa & Cudina, 2016}; ^{Pavas, 2016}; ^{Rubio-Romero, 2017}; ^{Aguilar Bustamante & Aguado López, 2018}; ^{Fernandez-Osorio & Martín Alvarado, 2018}). Sin embargo, nuevas y mejores estrategias son necesarias por parte de las IES, editores y comités editoriales para incrementar la calidad de la producción científica nacional y lograr dar cumplimiento a los estándares buscados por Colciencias, por ejemplo, procesos editoriales simples y eficaces; menores tiempos de respuesta en la evaluación y publicación de manuscritos; críticas constructivas y propositivas en los artículos; mayor periodicidad en los números editados; un trato considerado, ágil y personalizado en las comunicaciones con los autores; así como un mejor acompañamiento a los escritores para el envío de artículos. Lo anterior implica un mayor compromiso por parte de la comunidad académica al desempeñar los roles relacionados (autor, evaluador, editor, etc.) con la seriedad y los principios éticos requeridos.

También es importante mantener elementos de calidad en las revistas como el acceso abierto a contenidos, la utilización de pares evaluadores expertos no endógenos, el empleo de redes sociales y académicas para la difusión de los contenidos, la identificación de los autores con el código Orcid, el uso de herramientas para la prevención del plagio, la revisión meticulosa de los metadatos de publicación de los artículos, la utilización de tesauros para la escogencia de palabras clave, el uso de identificadores DOI, la actualización permanente de la información en páginas web, repositorios y sistemas de indexación y resumen (SIR), la utilización de buenas prácticas éticas y de calidad como las de la Declaración de San Francisco (DORA)⁶ o el comité de ética en publicaciones (COPE)⁷.

Finalmente, es recomendable tener en cuenta otros recursos para editores y autores, como las plataformas de evaluación de la gestión editorial Sci-Rev⁸ y Publons⁹, que permiten conocer las perspectivas de los autores sobre las revistas (elemento habitualmente ignorado en el proceso editorial) y brindan una retroalimentación valiosa para establecer planes efectivos de mejora. Todo esto sin descuidar el aspecto estético y dinámico de las publicaciones: diagramaciones llamativas y modernas de los artículos, páginas web atractivas, activas y constantemente actualizadas (sea OJS u otra plataforma para la gestión editorial y la consulta de archivos). Los lectores (potenciales autores y evaluadores de otras latitudes), además de la calidad, demandan multidisciplinariedad y riqueza en los contenidos.

Así, pues, si bien es imperante mantener el diálogo constructivo y la actitud crítica para con las políticas establecidas por Colciencias y los sistemas de medición de la ciencia fundamentados acérrimamente en el lucro, es indudable que la comunidad académica está llamada a mantener e incrementar sus criterios de calidad, buscar alternativas y estrategias para garantizar el impacto y hacer todo lo que esté a su alcance para fortalecer el sistema de investigación nacional.