SciELO - Scientific Electronic Library Online

 
 número49Um novo teorema geométrico e sua aplicação à construção de conjecturas através de um ambiente de geometria dinâmicaPrevisão do desempenho acadêmico em aulas espelho: análise sociodemográfica e pedagógica com mineração de dados índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Revista científica

versão impressa ISSN 0124-2253versão On-line ISSN 2344-8350

Rev. Cient.  no.49 Bogotá jan./abr. 2024  Epub 19-Jun-2024

https://doi.org/10.14483/23448350.21447 

Artículo de investigación

Propuesta para la evaluación de revistas y la investigación en ciencias sociales y humanidades en Colombia: una mirada desde las métricas Dialnet

Proposal for the Evaluation of Journals and Research in Social Sciences and Humanities in Colombia: a perspective from Dialnet Metrics

Proposta para a avaliação de periodicos e da pesquisa em ciências sociais e humanidades em Colômbia: uma perspectiva a partir das metricas Dialnet

Orlando Gregorio-Chaviano1 
http://orcid.org/0000-0002-3064-8639

Evaristo Jiménez-Contreras2 
http://orcid.org/0000-0001-5668-7057

1Ph. D. Pontificia Universidad Javeriana (Bogotá-Distrito Capital, Colombia). ogregorio@javeriana.edu.co

22Ph. D. Universidad de Granada (Granada, España). evaristo@ugr.es


Resumen

Como en otros países, el panorama actual de evaluación de la ciencia en Colombia presenta dificultades para estudiar las ciencias sociales y las humanidades. Las limitaciones de cobertura de las bases de datos de citación, la reducida presencia de revistas colombianas en ellas y las problemáticas de la clasificación existente, justifican la creación de productos que cubran aspectos no presentes en los índices de carácter internacional y permitan evaluar la producción nacional y sus contribuyentes. Este artículo expone, a partir de una muestra de revistas de educación, la metodología de creación de un instrumento basado en citas, útil en la obtención de indicadores y descriptivas de las revistas y la actividad científica a distintos niveles. Esta iniciativa se fundamenta en la propuesta española Dialnet Métricas, ya activada en la mayoría de los ámbitos de las ciencias sociales, las humanidades y el derecho, además del interés que representa para Colombia contar con una herramienta que permita analizar las revistas más allá del cumplimiento de criterios y que proporcione indicadores que contribuyan a la evaluación de la ciencia. Este trabajo presenta el proceso de selección de revistas, la gestión de los datos fuente utilizados, un análisis de citas y una descripción y una visualización de los indicadores. Se constatan el valor y el aporte del instrumento en el contexto colombiano a partir de la obtención de citas e indicadores para un número considerable de revistas nacionales y a partir de su comparación con Publindex.

Palabras clave: revistas científicas; indicadores bibliométricos; índice de citas; Dialnet métricas Colombia; evaluación científica

Abstract

Like in other countries, the current landscape of scientific evaluation in Colombia faces challenges in studying the social sciences and humanities. The coverage limitations of citation databases, the scant presence of Colombian journals in them, and issues with existing classifications justify the creation of products that cover aspects not present in international indices and that allow evaluating the national production and its contributors. This article presents, based on a sample of education journals, the methodology for creating a citation-based tool that is useful for obtaining indicators and descriptions of journals and scientific activity at various levels. This initiative is based on the Spanish proposal Dialnet Métricas, already active in most areas of social sciences, humanities, and law, as well as on the interest it represents for Colombia to have a tool that allows analyzing journals beyond the fulfillment of criteria and provides indicators that contribute to the evaluation of science. This work outlines the process of journal selection, the management of the source data used, a citation analysis, and a description and visualization of the indicators. The value and contributions of the tool in the Colombian context are confirmed through the obtainment of citations and indicators for a considerable number of national journals and through their comparison with Publindex.

Keywords: scientific journals; bibliometric indicators; citation index; Dialnet Métricas Colombia; scientific evaluation

Resumo

O panorama atual da avaliação científica na Colômbia apresenta, como em outros países, problemas para o estudo das Ciências Sociais e Humanas. As limitações de cobertura das bases de citações e a reduzida presença de revistas colombianas nelas, aos problemas da classificação nacional existente, justificam a criação de produtos que abranjam aspectos não presentes nos índices internacionais e permitir a avaliação da produção nacional e aqueles que para ela contribuem. A partir de uma amostra de revistas de Educação, o artigo apresenta a metodologia para a criação de um instrumento baseado em citações, importante para a obtenção de indicadores e descrições não só das revistas, mas também da atividade científica a diferentes níveis. A iniciativa se baseia na proposta espanhola Dialnet Metricas, já avançada na maioria das áreas de Ciências Sociais, Humanas e Direito, além da importância para a Colômbia de contar com métodos que avaliem os periódicos para além do cumprimento de critérios e forneçam indicadores que contribuam para a avaliação da ciência em diferentes níveis. O trabalho apresenta o processo de seleção de revistas o gerenciamento dos dados de origem utilizados, a análise das citações, a descrição e visualização dos indicadores. Confirmam-se o valor e as contribuições do instrumento no contexto colombiano, a partir da obtenção de citações e indicadores para um número considerável de revistas nacionais e sua comparação com Publindex.

Palavras-chaves: revistas científicas; indicadores bibliométricos; índice de citações; Dialnet métricas Colômbia; avaliação científica

Introducción

Las revistas científicas, como vehículos de divulgación e instrumentos de evaluación, certifican el conocimiento y permiten controlar su participación en el circuito de comunicación de la ciencia (Delgado López-Cózar, 2017). Por su importancia, necesitan de métodos e indicadores que ofrezcan información sobre sus comportamientos y posibiliten la correcta evaluación de las comunidades disciplinares. Son también expuestas a rigurosos procesos de análisis en distintos momentos y contextos con múltiples propósitos (Baiget & Torres-Salinas, 2013; Gregorio-Chaviano, 2018), todo lo cual posibilita el mejoramiento de su visibilidad e impacto científico.

El análisis de los comportamientos y dinámicas de las revistas científicas puede llevarse a cabo a través de los índices y bases de datos en los que se encuentran indexadas, los cuales aportan distintos indicadores bibliométricos. Entre los de mayor reconocimiento, se puede mencionar el factor de impacto con distintas ventanas de observación y cálculo sin autocitas (Garfield, 1972), el Scimago Journal Rank (SJR) (González-Pereira et al., 2010; Guerrero-Bote & Moya-Anegón, 2012), el índice H empleado en la evaluación de revistas (Braun et al., 2006), el CiteScore (Teixeira da Silva & Memon, 2017), EingenfactorMetrics (Bergstrom et al., 2008; West et al., 2010) y el SNIP (Moed, 2010), que en general posibilitan el estudio y la caracterización de las revistas científicas a nivel internacional.

Sin embargo, el uso de métricas de impacto para evaluar la investigación con base en revistas, un método extendido en muchos países y adoptado por las agencias de evaluación, se realiza en mayor medida a partir de los indicadores de la revista donde se publica y no atendiendo a la relevancia del aporte en cuestión (Delgado-López-Cózar et al., 2021), lo que suscita un debate sobre los efectos negativos que esto genera (Córdoba González, 2019), especialmente en las ciencias sociales y las humanidades, cuyas prácticas y canales de comunicación son diferentes a los de otras disciplinas y la presencia de sus revistas en Web of Science (WoS) y Scopus es limitada.

Este escenario, relacionado con la evaluación mediante bases de citación e indicadores como el factor de impacto y similares, con sus consiguientes efectos negativos (Delgado-López-Cózar & Martín-Martín, 2019), además de crear manifiestos, declaraciones y llamados a emplear otras métricas e indicadores y ajustar los modelos de evaluación (Hicks et al., 2015), ha propiciado la necesidad de usar propuestas alternas para evaluar la investigación y las revistas (Gregorio-Chaviano et al., 2021) que sean más cercanas a los contextos regionales y a las ciencias sociales y las humanidades. La utilidad de estas alternativas ha sido probada, como es el caso de Dialnet Métricas (Calderón-Rehecho, 2022).

Por ejemplo, aunque en Latinoamérica existen clasificaciones encargadas de la evaluación de revistas que sirven como instrumentos de control de las comunidades científicas de cada país, como el Índice de Revistas Mexicanas de Divulgación Científica y Tecnológica del CONACYT (Vasen & Lujano, 2017), el UCRIndex de Costa Rica (Córdoba González et al., 2017), el Qualis de Brasil (Martínez-Ávila, 2019) y Publindex en Colombia, la mayoría de países continúan basando sus procesos de evaluación de revistas y de la actividad investigadora en fuentes de citación como WoS y Scopus, sin tener en cuenta sistemas regionales como SciELO (Packer, 2009), RedALyC (Aguado López et al., 2008) y Latindex (Aguirre et al., 2006), instrumentos esenciales para el análisis y las plataformas de visibilidad de buena parte de la producción no registrada en los índices internacionales antes mencionados, que no se utilizan en las clasificaciones nacionales. Esto justifica el interés en la propuesta de un producto basado en citas que evalúe las revistas y a quienes contribuyen al desarrollo de nuevo conocimiento a manera de herramienta alterna.

La evaluación de revistas en Colombia

Se sabe que las revistas colombianas en general, y en las ciencias sociales y las humanidades en particular, se encuentran mal representadas en las bases de datos internacionales (Miguel, 2011; Asubiaro et al., 2024), utilizadas en el análisis de la actividad investigadora en un número considerable de países e instituciones.

El modelo de clasificación de revistas (Publindex), empleado en el país para la evaluación y estratificación de revistas, tiene su origen en el Decreto 1444, vinculado a los incrementos salariales de los profesores e investigadores de las universidades públicas (Charum, 2004), que luego se transformaría en el Decreto 1279 de 2002. Su objetivo inicial fue contar una base bibliográfica que evaluara y seleccionara las revistas nacionales con criterios de calidad y permitiera la valoración de profesores e investigadores, en aras de mejorar los procesos editoriales y fortalecer las capacidades de investigación, aunque los resultados no siempre fueron los esperados (Suárez Guava, 2017).

Sin embargo, la metodología empleada, basada principalmente en la presencia en fuentes de citación como WoS y Scopus y sus respectivos cuartiles, aspectos que no reflejan las dinámicas de la ciencia nacional en áreas como las ciencias sociales y las humanidades, desde sus inicios ha suscitado un amplio debate que se mantiene hasta hoy. Lo anterior, no solo por los criterios metodológicos y el impacto que esto tiene en la investigación nacional, sino también por problemas como la recopilación y gestión de información y el panorama de exclusión de revistas (Flórez-Carranza, 2018).

Este debate sobre las inconsistencias generadas por el uso de los criterios e indicadores mencionados (Díaz, 2017) se centra en el empleo de instrumentos e indicadores alejados del contexto nacional, las dificultades de registro y recopilación de información, el uso del h5 para crear cuartiles y el desconocimiento de las dinámicas de citación de las disciplinas (López, 2019). Como consecuencia de la implementación del modelo, se manifiesta que los responsables de revistas indexadas en Scopus y WoS han cuestionado su validez, cuando títulos en las mismas áreas que no se encuentran en estas bases de datos las igualan o superan respecto a sus valores de índice H (Flórez-Carranza, 2018).

De ahí deriva la necesidad de revisar su metodología, con claros efectos en el sistema de comunicación científica, y ofrecer alternativas más cercanas al contexto del país y a las disciplinas menos reconocidas en los índices internacionales. En este sentido, y como se ha expuesto, Publindex debe actuar como un sistema de información que permita estudiar las dinámicas de la comunicación científica del país (Uribe-Tirado, 2017). Para ello se requiere mayor reconocimiento al trabajo realizado, valorar la importancia del conocimiento producido en el país y mejorar las políticas de ciencia y tecnología, evitando desgastes administrativos (Gómez Zapata, 2019), pues los efectos de utilizar indicadores no ajustados totalmente al contexto nacional, sin políticas representativas de las prácticas de investigación que fomenten la calidad, podría desmantelar las publicaciones nacionales en pocos años (Gómez Marin y Palacios, 2018).

También es importante resaltar la necesidad ya abordada de impulsar estrategias encaminadas a apoyar la gestión editorial y mejorar las revistas nacionales que se alineen con los objetivos y realidades de la ciencia en el país (Caballero-Uribe y Viloria-Doria, 2018; Díaz, 2014), así como ofrecer mejores contribuciones en materia de políticas científicas a la vez que se aporta al estudio de las comunidades y la obtención de indicadores bibliométricos.

En consecuencia, la actual propuesta de índice de citas, ya adelantada en España, se alimenta del recuento de las citas bibliográficas de conjuntos de revistas Dialnet, previamente seleccionadas mediante el cumplimiento de criterios (Gregorio-Chaviano et al., 2021), en aras de determinar su relevancia, influencia e impacto científico, además de evaluar a los autores que publican en las mismas y las instituciones a las que estos pertenecen. En específico, permite conocer, a partir de indicadores bibliométricos, cuál es el impacto científico de una revista y su evolución y posición respecto al resto en el campo, a la vez que permite la evaluación de otros agregados.

Tomando consideración el contexto anterior, los objetivos de este trabajo son los siguientes:

1. Exponer la metodología de creación de un índice de citas que evalúe y clasifique las revistas mediante el recuento de citas, ajustado al contexto colombiano y a las prácticas y comportamientos de las ciencias sociales y humanidades.

2. Presentar, a partir de una muestra de revistas, el funcionamiento del índice y su utilidad en la evaluación de la actividad científica en distintos niveles.

Para una mejor comprensión, este documento se divide en tres secciones: 1) la metodología, que expone el proceso de selección de revistas y la gestión, la captura y el procesamiento de literales (citas) empleando el sistema Nexo de Dialnet; 2) el volumen de datos utilizados y la descripción de los indicadores necesarios para su elaboración; y 3) los resultados, que muestran y analizan las características y prestaciones del índice, así como los principales indicadores obtenidos para las revistas fuente y su comparación con Publindex.

Metodología

En primer lugar, es preciso mencionar que la creación de un instrumento o producto de esta naturaleza requiere de una amplia variedad de métodos que consideren una adecuada y pertinente selección de revistas, así como la calidad del producto final. En general, este trabajo constó de cinco etapas, iniciando con la identificación de revistas, e incluyó aspectos como el análisis de la población y la muestra, la gestión de citas, la selección y el cálculo de indicadores, y finalmente la visualización de la información de cada revista y del ámbito evaluado (Figura 1).

Figura 1 Proceso de identificación de revistas y gestión de citas 

Proceso de selección de revistas

Se utilizó el ámbito de la educación, atendiendo a la cantidad de revistas con las que cuenta el país y la posibilidad de obtener un considerable volumen de citas, no solo en el propio ámbito evaluado, sino también desde otros cercanos, en la medida en que aumenten las inclusiones. La selección de la muestra partió de la identificación de la población, utilizando repertorios y bases de datos, incluyendo Publindex y Dialnet para este caso particular. Esto responde a la necesidad de incluir las revistas que mejor definan las disciplinas y trabajar desde dos enfoques principales: la selección basada en pertinencia y en la cantidad de citas emitidas y recibidas entre revistas (Tabla 1).

Tabla 1 Revistas colombianas de Educación por fuente de información 

Nota: datos actualizados en junio de 2023.

* Cantidades extraídas de las categorías definidas en las distintas fuentes y más pertinentes a la disciplina evaluada en el momento de la búsqueda.

** No se han empleado las revistas que tenían problemas de regularidad o con discontinuidades en su publicación.

*** Se tomaron las revistas que representan el área, aunque no estuvieran actualmente clasificadas.

Sin embargo, el empleo de estos criterios en el proceso de selección presentó algunas limitaciones. Un importante número de revistas no se encontraba incluido en las principales bases de datos (e.g., WoS y Scopus), lo que impidió partir de fuentes que aportaran mayor número de citas, algunas no recogidas en el Catálogo Latindex, Publindex o Dialnet. Esto llevó a que el criterio principal fuese la presencia en Dialnet y, desde ahí, a elegir una muestra que tuviera información completa en el sistema y mayor pertinencia.

Por lo general, se recomienda iniciar con las revistas indexadas en las principales fuentes de citación, de modo que sean las citas el criterio primario a la hora de realizar la selección. El hecho de que una revista no esté incluida en las bases de reconocido prestigio no solo impide su seguimiento como suministradora de información, sino que la invalida como fuente al no cumplir con los más elementales principios de un canal de comunicación científica, pues en realidad no transmite información, no es regular y no cumple estándares mínimos de calidad.

Por su importancia para el cálculo del IDR y la obtención de indicadores, fue necesario revisar que las revistas tuvieran la información completa en la ventana de cinco años para la captura de literales (citas) y el posterior cálculo del índice de impacto. Por tanto, de una población de 100 revistas de educación previamente seleccionadas, se trabajó con una muestra de 43, que incluyó aquellas con mejores capacidades para la gestión de citas, evidenciadas en su relación con el ámbito y contenidos completos en Dialnet.

Es necesario hacer énfasis en que todo el proceso requiere seguimiento, revisión y evaluación continuos para que, a medida que se incluyan más disciplinas y años, sean revisadas las poblaciones de revistas existentes, sus características y sus necesidades, permitiendo contar con un flujo de revistas de calidad que alimente la herramienta con el necesario volumen de datos, en aras de ofrecer fortaleza y calidad final.

Creación del índice

La metodología de cálculo utilizada es similar a la del índice de impacto de Dialnet Métricas España (Figura 2). En este caso, se tiene en cuenta el número de citas que reciben en el año del cálculo y los artículos que cada revista publicó en los cinco años anteriores. Este valor se divide por los documentos de esos cinco años.

Fuente: Fundación Dialnet, 2022

Figura 2 Procedimiento de cálculo del índice de impacto de cada revista  

Como se ha planteado anteriormente en otras secciones de este trabajo, el uso de una ventana de cinco años obedece a las prácticas y los comportamientos de las ciencias sociales y las humanidades, con tendencia a publicar contenidos locales y tipologías distintas al artículo como canal de comunicación, con tiempos más largos de maduración de citas. Se debe mencionar que las citas incluidas en el cálculo se complementaron con datos internacionales provenientes de WoS, lo que aporta mayor grado de internacionalidad. Además, a futuro pueden añadirse además las citas de Scopus.

Volumen de datos utilizado para elaborar la propuesta

Para mostrar el volumen de información empleado en el proceso de creación y visualización de la herramienta, se presentan los datos totales y por año, partiendo de la cantidad de revistas fuente, los documentos procesados y los literales (citas) recuperadas e incluidas en esta primera aproximación (Tabla 2). El proceso se realizó con la información de 43 revistas y cuatro años, y debe continuar con la alimentación de otras anualidades y disciplinas cercanas a la educación (e.g., comunicación).

La información procesada expone no solo el considerable volumen de datos utilizado (Tablas 3 y 4), sino el crecimiento que puede tener la herramienta a medida que se incorporen más categorías, revistas y años, un trabajo que, sin dudas, necesita de un riguroso análisis, limpieza y normalización de referencias, de lo cual depende la obtención de métricas y su necesaria calidad.

Tabla 2 Cantidad de revistas fuente en cada año 

*La cantidad de revistas destino es la misma que la de revistas fuente, pues, a la fecha, solo se ha trabajado con el ámbito de la educación. La inclusión de ámbitos permitirá incluir revistas destino (i.e., aquellas hacia donde van las citas) que posibilitan los flujos internos de citación.

Tabla 3 Cantidad de revistas procesadas, documentos y literales cargados por año de edición 

Tabla 4 Volumen de datos procesado e indicadores por año de emisión del índice 

Descripción de los indicadores bibliométricos

Con el propósito de señalar los aportes y la aplicabilidad práctica del índice en la evaluación de revistas y de la actividad científica a otros niveles (e.g., autores e instituciones), se presentan en la Tabla 5 los distintos indicadores bibliométricos del índice Dialnet (IDR).

Tabla 5 Descripción de los principales indicadores bibliométricos a incluir en el IDR 

Resultados

En esta sección se presentan los resultados del análisis del conjunto de revistas fuente evaluadas y los indicadores bibliométricos que aporta la herramienta. Este proceso se realizó mediante el software Nexo, sistema propietario de Dialnet, mediante el cual se realizó el proceso de inclusión de revistas, análisis de citas y visualización. Al final se muestran los distintos indicadores de cada revista y una comparación con Publindex, con el objetivo de exponer su valor como herramienta alterna de evaluación.

Características y prestaciones del IDR

En las figuras siguientes se presentan las distintas fases de los resultados del IDR y su correspondiente visualización. Se inicia en la Figura 3 con el resumen del ámbito o categoría, las distintas anualidades procesadas, la muestra de revistas por año, el índice de coautoría y el volumen de citas compilado.

Figura 3 Resumen de información del ámbito en el IDR 

Dentro de cada especialidad, y para cada año evaluado, se indica el ranking de revistas de acuerdo con su impacto y la cantidad de citas y documentos publicados (Figura 4). A esto se suma el perfil de cada revista, los datos de impacto (índice de impacto, citas), la posición en la categoría y el cuartil del año en cuestión, así como el triángulo de citación que permite observar la distribución de citas de los artículos publicados y las citas totales de cada anualidad trabajada (Figura 5).

Figura 4 Ranking general de revistas por cuartil en las distintas anualidades de un ámbito dentro del IDR 

Figura 5 Resumen de indicadores por anualidad y triángulo de citación para cada revista 

Otro de los indicadores es el índice de afinidad, que representa la relación entre citas emitidas y recibidas entre revistas y la información de citas de autores y revistas (Figura 6). En el caso de los autores, se muestran los citados y citantes y el listado de los artículos de mayor impacto, indicadores significativos en tanto permiten no solo conocer el impacto de las contribuciones, sino que también ayudan a la gestión de la propia revista.

Figura 6 Indicadores Dialnet por revista 

Ejemplo del uso del índice

Para mostrar el funcionamiento y contribución de la propuesta a la evaluación de revistas y de la ciencia en el contexto nacional, se realiza un análisis comparativo de las revistas de educación evaluadas con la Convocatoria 910 de 2021 de Publindex. Destaca que las revistas incluidas en esta primera aproximación se encuentran mayormente en las categorías B y C según la última clasificación nacional (42 %), con un 56 % de ellas no presente (Tabla 6). Este detalle es relevante para el universo de revistas nacionales, las instituciones responsables de su edición y quienes publican en ellas, dada la posibilidad de obtener indicadores bibliométricos y tener insumos para su valoración sin la necesidad de índices internacionales, donde un considerable número de revistas no se encuentra indexado.

Tabla 6 Resumen de los resultados de las revistas fuente en la convocatoria 910/2021 de Publindex 

*No clasificadas al momento del análisis

Este resultado permite contar con los indicadores de impacto de un considerable número de revistas, crear cuartiles y tener información de su comportamiento, en aras de mejorar los procesos de gestión y evaluar las comunidades científicas a las que sirven como vehículos de comunicación.

La distribución de las revistas fuente en cuartiles muestra que, en primer lugar, las no clasificadas por Publindex se encuentran distribuidas en cada uno de los cuartiles e incluso aparecen en posiciones superiores (Q1 y Q2) (Tabla 7). De forma general, aunque el cálculo de citas es aún reducido, teniendo en cuenta el análisis de un solo ámbito, la distribución de revistas en todos los cuartiles es un elemento que refuerza la importancia del producto presentado en la valoración y clasificación de revistas nacionales.

Tabla 7 Número de revistas fuente según las categorías Publindex y su distribución en los cuartiles del índice propuesto 

Igualmente destaca el hecho de que algunas revistas que se encuentran en categorías inferiores (categoría C) en Publindex, como Magis, Pedagogía y Saberes y Enunciación, aparecen en los cuartiles 1 y 2 de la presente propuesta junto a otras no clasificadas, cuya estratificación se debe a las citas recibidas (Horizontes Pedagógicos y Praxis Pedagógica) (Tabla 8). De esta forma, se pone en perspectiva la importancia de la evaluación de revistas más allá de la presencia en WoS y Scopus.

Tabla 8 Ejemplo de la situación de revistas fuente según la clasificación Publindex y el IDR 

Un aspecto importante es la posibilidad de mostrar, como en el caso español, indicadores a nivel de autor junto a perfiles de categorías e instituciones. Todo esto, con información proveniente del procesamiento de citas de cada una de las revistas analizadas. En este caso, se presentan los autores con mayor número de contribuciones en las revistas fuente colombianas de educación y su índice h a lo largo del sistema Dialnet (Tabla 9). Lo anterior muestra las capacidades de Dialnet Métricas para evaluar el impacto a nivel micro (autores) y otros agregados, lo que favorece la obtención de descriptivas adicionales para los procesos de evaluación de la investigación.

Tabla 9 Autores con mayor producción en las revistas colombianas de educación evaluadas 

Proyecciones futuras para Colombia y Latinoamérica

Una vez presentado el proceso de trabajo general de creación, la metodología, los resultados y las funcionalidades en la evaluación de revistas y de la actividad científica nacional en ciencias sociales y humanidades, se brindan algunas valoraciones sobre el futuro de la herramienta.

En primer lugar, el trabajo futuro debe centrarse en darle visibilidad a la propuesta en el entorno de las comunidades científicas y editoriales tanto en Colombia como en Latinoamérica, además de darle continuidad al trabajo de evaluación de las poblaciones de revistas de otros ámbitos de las ciencias sociales y las humanidades, permitiendo identificar las mejores revistas para incluir en el sistema y haciendo posible establecer un mapa de capacidades nacionales, i.e., conocer qué revistas forman parte de cada ámbito y su indexación, institución editora y otros aspectos que permitan trabajar el producto con mayor facilidad.

En segundo lugar, un proyecto de esta naturaleza requiere de un trabajo continuo, no solo de inclusión de revistas y citas en los ámbitos o categorías de interés, sino también de otras tipologías documentales como referencias de capítulos de libros, libros y tesis doctorales, por lo que es necesario, como se ha venido haciendo en España, incorporar bibliotecas universitarias al proyecto, en aras de darle continuidad y contar con el respaldo de los diversos actores nacionales y regionales en ciencia y tecnología, creando un espacio común y colaborativo de trabajo.

Además, se necesita, como ya se ha planteado, un diálogo nacional y de trabajo en conjunto entre el Ministerio de Ciencia, Tecnología e Innovación (Minciencias) y la comunidad científica, en aras de construir colectivamente espacios de trabajo y avanzar en procesos de diseño e integración (Uribe-Tirado et al., 2023), un escenario en el que esta propuesta podría aportar a la construcción de capacidades nacionales.

Si se mantiene y enriquece este proyecto, contaremos con un sistema útil en los procesos de evaluación de la investigación en ciencias sociales y humanidades, así como con un instrumento que evalúe y categorice revistas, pero que igualmente pueda utilizarse en los procesos de valoración de investigadores de todos los países de este espacio geográfico.

En definitiva, este proyecto, unido a las iniciativas adelantadas por Minciencias en el ámbito de la evaluación de revistas y de la investigación nacional, constituye un aporte más que complementario a lo ya existente, y permite una mejor valoración de la investigación nacional, hasta ahora poco atendida.

Conclusiones

En un momento en el que muchos países realizan importantes reformas a sus sistemas de evaluación, con las limitaciones y problemáticas asociadas (Ràfols & Molas-Gallart, 2022), los indicadores cuantitativos no solo son necesarios, sino también deseables para establecer marcos comparativos mínimos de rendimiento académico e investigativo en las distintas disciplinas científicas y para otros actores del sistema de ciencia y tecnología (Robinson-García, 2022). Lo anterior es de utilidad para el sistema científico colombiano y para las universidades en lo que respecta a la elaboración de hojas de ruta propias para la evaluación científica y la valoración de contribuciones a partir de una diversidad productos, métodos y herramientas.

En este sentido, en un escenario en que se cuestionan los indicadores bibliométricos y se implementan reformas que limitan el uso de algunos de ellos, donde muy especialmente se cuestiona el uso acrítico del factor de impacto tradicional (Ràfols, 2023), contar con instrumentos que ayuden a minimizar sesgos mientras se valoran las revistas propias y que sirvan como complemento a los índices tradicionales y las métricas generadas a partir de ellos sería un paso que, sin dudas, contribuiría al mejoramiento de las revistas nacionales y ofrecería apoyo a editores, investigadores y gestores científicos.

Esta propuesta es un aporte a la problemática relacionada con la metodología existente y los pedidos de fortalecimiento de Publindex, los cuales fueron descritos y analizados en el presente artículo y dan cuenta del panorama de exclusión y de la necesidad de buscar alternativas más cercanas al contexto del país para fortalecer las revistas.

Aunque este trabajo muestra los métodos y aportes del índice de manera parcial, la posibilidad de obtener indicadores basados en citas para un conjunto amplio de revistas, más allá de los que muestran las bases de corriente principal como WoS y Scopus, es una primera contribución con relevancia probada (Calderón-Rehecho, 2022). La inoperancia de los actuales indicadores bibliométricos en ciencias sociales y humanidades, así como la necesidad de otras herramientas que ayuden a evaluar las revistas, los autores y las instituciones de áreas como la que se presenta, constituye la principal motivación de este trabajo.

De este modo se ha presentado el proceso de selección de revistas e indicadores, de gestión de citas y de visualización de la información, lo cual es clave para la realización del proyecto y su puesta en funcionamiento en el país. Los resultados preliminares muestran la importancia de evaluar revistas mediante citas y contar con descriptivas de su comportamiento, incluyendo las ciencias sociales y las humanidades, un ámbito en el que esto no constituye el patrón de uso por excelencia, en buena medida por la disponibilidad de la información necesaria para ello.

Este primer acercamiento permitió establecer, para cada año, la población de revistas, la distribución general en cuartiles y el índice de coautoría, este último con un comportamiento similar al del resto de las ciencias sociales, donde la cantidad de autores por artículo es baja. Debido a la limitada cantidad de revistas en WoS y Scopus, no fue posible, como en la propuesta española, incluir revistas con procesos de gestión y contenidos de mayor calidad y, por ende, mejores comportamientos de citación. Por tanto, la muestra solo incluyó, para la muestra de revistas de educación, las publicaciones indexadas en Dialnet que presentaran información completa en la ventana de observación de cinco años.

A futuro, con la inclusión de otros ámbitos y la consiguiente acumulación y creación de redes de citas, los valores de impacto globales aumentarán. Además, el gradual mejoramiento de las revistas para incorporarse a Dialnet podrá fortalecer la inclusión en otros ámbitos y revistas. A medida que sea posible obtener indicadores y descriptivas de un mayor número de revistas que describan la investigación nacional de investigadores y universidades, se fortalecerán las revistas y el sistema científico nacional.

Aunque a la fecha el índice no incluye la sección de indicadores de Dialnet, relacionados con autores e instituciones, el proyecto ya cuenta con la infraestructura para ello, en el sentido de simplemente aplicar lo que se ha realizado en España, y se irá fortaleciendo en el futuro inmediato. Junto a la inclusión de más revistas, se trabajará en incrementar la cantidad de años y especialidades. Su mejoramiento, tanto en la especialidad iniciada como en las siguientes, será un proceso relevante, donde las bibliotecas universitarias nacionales están llamadas a ser líderes.

La posibilidad de incluir revistas no clasificadas en Publindex o en posiciones periféricas dentro de la clasificación, además de contabilizar citas y obtener indicadores, justifica la relevancia y utilidad de una herramienta de este tipo, la cual, junto a la mejora de la cobertura de las revistas evaluadas, contribuye a la evaluación de la producción no registrada en otros canales de comunicación.

Por tanto, contar con una herramienta de este tipo en Colombia, que pueda extenderse a otros países de la región, es una necesidad evidente y un significativo paso para la elaboración de un índice nacional basado en citas, lo que constituye una oportunidad de construir colaborativamente un producto de utilidad en los procesos de evaluación.

Finalmente, cabe resaltar que la propuesta es un aporte más a la problemática relacionada con las metodologías existentes y los pedidos de fortalecimiento de Publindex descritos y analizados en este artículo, los cuales dan cuenta del panorama de exclusión y de la búsqueda de alternativas más cercanas al contexto local.

Agradecimientos

Los autores agradecen a la Fundación Dialnet, especialmente a Joaquín León Marín y Laura López Martínez, por el apoyo brindado en la obtención de los datos de las revistas fuente para estudio, así como por su colaboración en cada una de las fases de este trabajo. Igualmente, agradecen al Dr. Rafael Repiso Caballero de la Universidad de Málaga por sus contribuciones durante la tesis doctoral.

Referencias

Aguado López E, Rogel Salazar R, Garduño Oropeza G, Zúñiga MF.RedALyC: una alternativa a las asimetrías en la distribución del conocimiento científico. Ciencia, Docencia y Tecnología. 2008;3711-30. [ Links ]

Aguirre M, Cetto AM, Córdoba S, Flores AM, Román A.Calidad editorial y visibilidad de las revistas La experiencia de Latindex. En Babini D, Fraga J, Edición electrónica, bibliotecas virtuales y portales para las ciencias sociales en América Latina y El Caribe (1ra ed, pp 103-122). CLACSO; 2006. http://biblioteca.clacso.edu.ar/clacso/se/20100528033111/6Aguirre.pdf. [ Links ]

Asubiaro T, Onaolapo S, Mills D.Regional disparities in Web of Science and Scopus journal coverage. Scientometrics. 2024;1291469-1491. https://doi.org/10.1007/s11192-024-04948-xLinks ]

Baiget T, Torres-Salinas D.Informe APEI. Publicación en revistas científicas. Asociación Profesional de Especialistas en Información; 2013. http://hdl.handle.net/10481/26630Links ]

Braun T, Glänzel W, Schubert A.A hirsch-type index for journals. Scientometrics. 2006;691169-173. https://doi.org/10.1007/s11192-006-0147-4Links ]

Bergstrom CT, West JD, Wiseman MA.The eigenfactor™ metrics. Journal of Neuroscience. 2008;284511433-11434. https://doi.org/10.1523/jneurosci.0003-08.2008Links ]

Caballero-Uribe CV, Viloria-Doria JC.Un análisis del impacto del nuevo modelo de clasificación de revistas científicas según Colciencias. Revista Científica Salud Uninorte. 2018;34110758. https://doi.org/10.14482/sun.34.1.10758Links ]

Calderón-Rehecho A.¿Qué relevancia tiene Dialnet Métricas en las ciencias sociales y humanidades?. Anuario ThinkEPI. 2022;6e16a12. https://doi.org/10.3145/thinkepi.2022.e16a12Links ]

Charum J.La construcción de un sistema nacional de indexación, el caso de Publindex. Convergencia. Revista de Ciencias Sociales. 2004;35293-309. [ Links ]

Córdoba González S.La publicación académica y los sistemas de evaluación: ¿qué son y para qué sirven?. Palabra Clave. 2019;827-8. https://doi.org/10.24215/18539912e066Links ]

Córdoba González S, Murillo Goussen G, Polanco Cortés J.Génesis y desarrollo de UCR Index en la Universidad de Costa Rica. E-Ciencias de la Información. 2017;7154-77. https://doi.org/10.15517/eci.v7i1.25713Links ]

Delgado-López-Cózar E, Ràfols I, Abadal E.Carta: por un cambio radical en la evaluación de la investigación en España. Profesional de la Información. 2021;303e300309. https://doi.org/10.3145/epi.2021.may.09Links ]

Delgado López-Cózar E.Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro. En Abadal E (Ed.), Revistas científicas: situación actual y retos de futuro. 1ra ed. Universitat de Barcelona; 2017. 73-103. http://eprints.rclis.org/32132/1/Revistas%20cientificas%202017%204%20Delgado%20Emilio%20Evaluar%20revistas%20cientificas%20p%2073-103.pdfLinks ]

Delgado-López-Cózar E, Martín-Martín A.El factor de impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo?. Anuario ThinkEPI. 2019;13e13e09. https://doi.org/10.3145/thinkepi.2019.e13e09Links ]

Díaz GJ.Publindex: una forma perversa de fomentar la cultura del "puntímetro" y la mediocridad. Revista de la Facultad de Medicina Veterinaria y de Zootecnia. 2014;613219-220. https://doi.org/10.15446/rfmvz.v61n3.46869Links ]

Díaz GM.Incertidumbre ante la implementación del nuevo modelo de medición de revistas científicas en Colombia. TecnoLógicas. 2017;20389-13. [ Links ]

Flórez-Carranza F.Nociones de calidad e impacto: el lugar de las revistas indexadas de ciencias jurídicas en el nuevo sistema colombiano de competitividad, ciencia, tecnología e innovación. Vniversitas. 2018;67137. https://doi.org/10.11144/Javeriana.vj137.nceiLinks ]

Garfield E.Citation analysis as a tool in journal evaluation: Journals can be ranked by frequency and impact of citations for science policy studies. Science. 1972;1784060471-479. https://doi.org/10.1126/science.178.4060.471Links ]

Gómez Marin JE, Palacios M.Una nueva etapa de Publindex: dolores de crecimiento. Infectio. 2018;2217-8. [ Links ]

González-Pereira B, Guerrero-Bote VP, Moya-Anegón F.A new approach to the metric of journals scientific prestige: The SJR indicator. Journal of Informetrics. 2010;43379-391. https://doi.org/10.1016/j.joi.2010.03.002Links ]

Gómez Zapata Y.¿Cómo y para qué nos miden? Crítica reflexiva sobre el proceso de medición Publindex-Colciencias para revistas científicas en Colombia. En-Contexto. Revista de Investigación en Administración, Contabilidad, Economía y Sociedad. 2019;71135-37. [ Links ]

Gregorio-Chaviano O, Repiso R, Calderón-Rehecho A, León-Marín J, Jiménez-Contreras E.Dialnet Métricas como herramienta de evaluación bibliométrica: aportes al análisis de la actividad científica en Ciencias Sociales y Humanidades. Profesional de la Información. 2021;303e300318. https://doi.org/10.3145/epi.2021.may.18Links ]

Gregorio-Chaviano O.Evaluación y clasificación de revistas científicas: reflexiones en torno a retos y perspectivas para Latinoamérica. Revista Lasallista de Investigación. 2018;151166-179.https://doi.org/10.22507Links ]

Guerrero-Bote VP, Moya-Anegón F.A further step forward in measuring journals’ scientific prestige: The SJR2 indicator. Journal of Informetrics. 2012;64674-688. https://doi.org/10.1016/j.joi.2012.07.001Links ]

Hicks D, Wouters P, Waltman L, De-Rijcke S, Rafols I.Bibliometrics: the Leiden Manifesto for research metrics. Nature News. 2015;5207548429-431. https://doi.org/10.1038/520429aLinks ]

López W.El sistema colombiano de medición de revistas Publindex: Las paradojas de un sistema que devalúa el conocimiento producido localmente. 2019, 30 de abril. Blog Amelica. http://amelica.org/index.php/2019/04/30/el-sistema-colombiano-de-medicion-de-revistas-publindex-las-paradojas-de-un-sistema-que-devalua-el-conocimiento-producido-localmente/Links ]

Martínez-Ávila D.Qualis periódicos: el sistema brasileño de evaluación de revistas. Anuario ThinkEPI. 2019;13e13e01. https://doi.org/10.3145/thinkepi.2019.e13e01Links ]

Miguel S.Revistas y producción científica de América Latina y el Caribe: su visibilidad en SciELO, RedALyC y SCOPUS. Revista Interamericana de Bibliotecología. 2011;342187-198. [ Links ]

Moed HF.The source normalized impact per paper is a valid and sophisticated indicator of journal citation impact. Journal of the American Society for Information Science and Technology. 2010;621211-213. https://doi.org/10.1002/asi.21424Links ]

Packer AL.The SciELO open access: A gold way from the south. Canadian Journal of Higher Education. 2009;393111-126. [ Links ]

Ràfols I, Molas-Gallart J.How to reform research evaluation in Spain. Institutional accreditation as a response to the European Agreement on research assessment. Letter. Profesional de la Información. 2022;316e310601. https://doi.org/10.3145/epi.2022.nov.0Links ]

Ràfols I.Del Manifiesto de Leiden a las reformas de la evaluación: retos hacia un uso responsable de la bibliometría. Enredadera: Revista de la Red de Bibliotecas y Archivos del CSIC. 2023;3921-28. https://doi.org/10.20350/digitalCSIC/15376Links ]

Robinson-García N. Contra el pensamiento mágico de la bibliometría. Anuario ThinkEPI. 2022;16e16a21. https://doi.org/10.3145/thinkepi.2022.e16a21Links ]

Suárez Guava LA. Una breve historia de las revistas científicas en Colombia o la maldición de ser editor. Universitas Humanística. 2017;83e83. [ Links ]

Teixeira da Silva JA, Memon AR. CiteScore: A cite for sore eyes, or a valuable, transparent metric?. Scientometrics. 2017;1111553-556. https://doi.org/10.1007/s11192-017-2250-0Links ]

Uribe-Tirado A. Publindex se usa como no se debe. Alma Mater. 2017;6686. https://doi.org/10.2139/ssrn.3489246Links ]

Uribe-Tirado A, Vélez-Cuartas G, Pallares C. Producción científica en Colombia relacionada con ciencia abierta, métricas de nueva generación y métricas responsables en el contexto de Publindex y SCIENTI. Revista Científica. 2023;48393-112. https://doi.org/10.14483/23448350.20852Links ]

Vasen F, Lujano I. Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista mexicana de ciencias políticas y sociales. 2017;62231199-228. https://doi.org/10.1016/S0185-1918(17)30043-0Links ]

West JD, Bergstrom TC, Bergstrom CT. The Eigenfactor™ Metrics: A network approach to assessing scholarly journals. College & Research Libraries. 2010;71(3)236-244. https://doi.org/10.5860/0710236Links ]

Para citar este artículo: Gregorio-Chaviano, O. y Jiménez-Contreras (2024). Propuesta para la evaluación de revistas y la investigación en ciencias sociales y humanidades: una mirada desde las métricas Dialnet. Revista Científica, 49(1), 62-78

Recibido: Noviembre de 2023; Aprobado: Enero de 2024

Contribución de autoría

Orlando Gregorio-Chaviano: investigación, curación de datos, análisis formal metodología, escritura Evaristo Jiménez-Contreras: conceptualización, investigación, metodología, supervisión, escritura, revisión, edición

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons