Juan Carlos Villalba Cuéllar (Editor)
Andrés González Serrano (Coeditor)

El sistema de indexación de las revistas científicas en Colombia está regido, entre otros, por parámetros de calidad, cuyas directrices traza Colciencias (2013) y dentro del proceso de control de los artículos científicos se hace necesario el sometimiento de estos a la revisión ex ante por parte de pares académicos expertos. Este examen se constituye en garantía de la idoneidad de los artículos que finalmente serán publicados en cada edición de las revistas indexadas o en vía de indexación por Colciencias, además de otros controles que los respectivos editores y consejos o comités editoriales trazan en cada caso, porque este no debería ser el único criterio de evaluación.

No obstante, de la práctica tanto en la labor editorial como en el ejercicio de la actividad del árbitro o "par" (en adelante "el par"), se generan ciertas vicisitudes en torno a su ejercicio que trataremos en estas breves líneas. Aclaramos que lo que se diga acá está relacionado solamente con el entorno de las revistas jurídicas indexadas en Colombia y, en algunos casos, refleja únicamente el criterio de los autores, derivado de la experiencia en esta actividad, el cual consideramos abierto a discusión. Trataremos así, poner de manifiesto algunos riesgos en el ejercicio de esa labor evaluativa y sentar nuestra postura frente al deber ser de la misma y, por consiguiente, del sistema de arbitraje en este tipo de publicaciones.

¿QUÉ DEBE Y QUÉ NO DEBE HACER EL PAR EVALUADOR DE ESCRITOS CIENTÍFICOS EN DERECHO?

El primer cuestionamiento que surge es aquel sobre el verdadero papel del par académico, por ejemplo, ¿el par académico qué controla? Y aunque el cuestionamiento parece obvio, pues la respuesta inmediata será que este verifica la calidad y pertinencia académico- científica del escrito, no pocas variables de carácter subjetivo se pueden desprender de su actividad en la búsqueda de dicho objetivo.

En primer lugar, puede ocurrir que el par académico caiga en el error de evaluar la forma de cómo hubiese querido que se escribiera el artículo, por lo tanto, las sugerencias que plantea se orientan a cuestionar la metodología utilizada por el autor o los subtemas abordados para resolver el problema jurídico propuesto. No obstante, podría incurrir en un error el evaluador, porque debe respetar la metodología y el camino propuesto para abordar el tema por el autor, ocupándose solamente de verificar que estos se hayan cumplido cabalmente con miras a resolver el interrogante planteado. Es decir, que si con la metodología planteada, el autor consiguió el resultado propuesto el par debería respetarla; por el contrario, si evidencia que el resultado no se cumplió, debe ponerlo de manifiesto. Igualmente, en el caso de que considere que con el método utilizado definitivamente no se conseguirá el objetivo del escrito, también debe hacérselo saber al autor.

En segundo lugar, puede suceder que el par tenga un sesgo académico (subjetivo a veces) frente a las posturas del autor, y este es un riesgo humano que debe controlar el evaluador, ya sea por tener una orientación contraria a sus criterios o por seguir escuelas de pensamiento distintas o divergentes a las que utilizó el autor. En este caso, aunque es poco frecuente que se evidencie directamente, sí se pueden encontrar críticas del par que demuestren su malestar frente a las ideas del autor. No obstante, allí el evaluador debe hacer un esfuerzo de objetividad para poder evaluar la pertinencia del escrito más que su agrado con las ideas defendidas en el mismo. Mientras que el editor debe tener la capacidad de evidenciar este tipo de sesgos que desdicen de la actividad del par, para, eventualmente, complementarlo con otro concepto.

Otra disyuntiva que el editor puede encontrar se da en el evento de que el artículo a evaluar es tan especializado que pocas personas (pares) conocen el tema, de tal forma que encontrar un par tan versado, como el autor, en el tema tratado para poder evaluar el escrito se torna una tarea dispendiosa en un medio académico tan reducido como el nuestro. Sin duda alguna quien examina debe ser un experto temático de un nivel similar al del autor, porque debe evaluar la calidad académica y la pertinencia metodológica del artículo con un conocimiento del tema adecuado, claro está, que le permita verificar que las fuentes utilizadas y las afirmaciones hechas sean pertinentes y tengan asidero científico o doctrinal. Por el contrario, un par que no conozca el tema no tendría claridad en la pertinencia del problema, por ejemplo, o en medir la calidad y la actualidad de las fuentes utilizadas.

Un tercer riesgo en la actividad editorial que se evidencia en el ejercicio del arbitraje, aunque generalmente se utiliza en nuestro medio el sistema de "doble ciego", es decir, que el par y el autor se desconocen; se da en el evento en que el par elegido es un competidor del evaluado en la temática tratada, es decir, en el caso en que el concepto del par tiene claros subjetivismos y revela falta de objetividad. Poca discusión merecería una actividad tal, pues el concepto debe ser desechado por el editor para ser reemplazado (o complementado) por un segundo concepto más objetivo. Algunas revistas, para contrarrestar esta posibilidad, le preguntan previamente si tiene conflictos de intereses para revisar el escrito.

Igualmente, se evidencia que en algunos casos el par hace sugerencias al autor que podrían ser cuestionables, por ejemplo: la necesidad de abordar un determinado autor o autores, de incluir fuentes bibliográficas de determinado origen, o de abordar un determinado tema. Decimos que serían cuestionables porque quien define cómo va a resolver el interrogante es el autor y si cumple con la metodología, las fuentes y subtemas que considera pertinentes, el respeto por su autonomía académica debe primar. Tal vez el par u otro autor lo hubiesen redactado basados en otros autores o escuelas jurídicas, pero allí mismo radica la riqueza de la actividad académica del autor y debe respetarse. Puede el par sugerir autores, escuelas o temas, pero si el objetivo se cumple no dejarían de ser meras sugerencias. En este aspecto es riesgoso generalizar, porque todo depende del tema abordado y su contexto, ya que si, por ejemplo, el redactor omitió referirse a la escuela de pensamiento predominante, al autor más importante o a la sentencia hito en un tema, resulta valido que el par le pida reseñar dichas fuentes. Evidentemente no pretendemos poner un punto final en este tema y la discusión la dejamos abierta a los lectores.

Debe recordarse, adicionalmente, que un par es un igual, colega, similar, semejante, por lo tanto quien ejerza dicha actividad debe ser, de manera prevalente, una persona que se dedique al tema, y que además tenga conocimientos en investigación y experticia reciente en la escritura de textos jurídicos. Porque puede ser un experto temático, pero si no tiene la capacidad de medir y evaluar la calidad metodológica del escrito, la evaluación quedará a medias. De allí la importancia de que las revistas indexadas nombren pares con publicaciones recientes en revistas de calidad científica y con experiencia en investigación. En Colombia Colciencias ha trazado algunos requisitos que ratifican lo afirmado (2002).

¿ENTONCES QUÉ EVALÚA EL PAR?

Así las cosas, un par evalúa el cumplimiento de unos parámetros metodológicos mínimos, como la existencia de una pregunta formulada en la introducción, y que en la misma se haya planteado el camino a seguir para desarrollar el tema; la relevancia del problema o de la discusión planteada; verifica que al final del escrito el autor haya logrado los objetivos descritos en la introducción de manera coherente y conforme a lo sugerido; considera el aporte del escrito frente al estado del arte de la materia objeto de estudio, bien sea un texto de revisión, reflexión o investigación; aprecia la calidad de las fuentes utilizadas y la actualidad de las mismas con respecto al estado del arte; sopesa el rigor académico y metodológico en el tratamiento del tema; el par no es corrector de estilo, pero sí evalúa la claridad conceptual y la adecuada redacción del texto; examina la proporcionalidad del escrito, es decir, que el autor haya dedicado a cada tema la prosa suficiente para desarrollarlo, pues a veces pasa que un autor dedica diez páginas a ideas preliminares y cinco al desarrollo del problema; califica la coherencia y la organización interna del escrito; igualmente, valora el aporte del autor en el asunto tratado porque un texto sin análisis o aportes del autor no puede ser considerado siquiera un texto de revisión; y, finalmente, revisa la pertinencia y profundidad de las conclusiones. Estos criterios no son un descubrimiento, pues la mayoría de editores nacionales en los formatos de evaluación de textos científicos jurídicos incluyen estos parámetros. Tal vez resulta más difícil en la práctica que el par objetivamente los evalúe y que el escrito los cumpla.

También consideramos que la labor del par debe ser constructiva, en la medida en que si el artículo no tiene la calidad académica requerida, él debe, como evaluador, hacer pesar todo el rigor de la evaluación, pero tampoco tratar de destruir el esfuerzo intelectual del autor, sino más bien debe encaminarlo a que lo corrija y lo mejore para que el autor logre su objetivo inicial, así sea posteriormente y frente a un nuevo arbitraje. Porque solamente quien ha escrito conoce la dificultad de esta labor y lo encomiable que resulta tratar de hacerlo en una sociedad que tiene una comunidad académica investigativa todavía en construcción, como la colombiana.

¿QUÉ APORTA AL AUTOR Y AL EVALUADOR EL SISTEMA DE ARBITRAJE EN REVISTAS INDEXADAS?

Igualmente podemos preguntarnos acerca del carácter constructivo y formativo que para el autor de un texto tiene el sistema de arbitraje, es decir, ¿qué tanto le aporta el arbitraje al autor? Y diríamos que, todo depende, pues a un buen autor le gusta que le asignen buenos árbitros o pares y, en ese caso, sin duda, esa interacción anónima será muy constructiva, mejorará la calidad del escrito científico y, seguramente, dejará enseñanzas al autor para optimizar sus escritos académicos. Pero ese aprendizaje se da también en sentido inverso, un árbitro de textos académicos podrá evidenciar virtudes, errores y problemas de diferente naturaleza que le permitirán, igualmente, desarrollar competencias de evaluación, y, por tratarse también de alguien que escribe con frecuencia, aprenderá de las cualidades y errores ajenos para mejorar su práctica investigativa y nivel redacción. Así las cosas, consideramos que se trata de un sistema que genera también aprendizajes académicos.

VENTAJAS Y DESVENTAJAS DEL ARBITRAJE.

Se han señalado constantemente virtudes y defectos del sistema de arbitraje de escritos científicos, y entre estos últimos es recurrente escuchar que es un sistema subjetivo, es decir, expuesto a los subjetivismos de los pares y los editores (Silva, 2011); además, que retarda los tiempos de publicación (Pessanha, 2001) o que está sujeto a riesgos de contexto, como la falta de pares evaluadores capacitados o la falta de incentivos a esta actividad, ya que generalmente esta no es remunerada. Si bien es cierto que estos problemas son una realidad, los editores pueden tomar medidas preventivas al respecto para minimizar su ocurrencia. Para evitarlos, se puede acudir a recursos como el nombramiento exclusivo de pares externos a la publicación, la remuneración a los pares, la publicación periódica de listas de pares colaboradores, el sistema de doble par para garantizar mayor objetividad, entre otros.

Por lo tanto, consideramos que el sistema ofrece mayores ventajas en la actualidad. En efecto, la evaluación por el sistema de arbitraje permite al editor tener un filtro adicional de la calidad de los escritos a publicar, y, por regla general, se trata de un filtro confiable por ser especializado. Además es un sistema constructivo para pares, evaluados y editores que permite, poco a pco, mejorar la calidad de los escritos y la optimización del proceso editorial de las revistas. Ahora bien, si consideramos que es un criterio de evaluación que hoy en día se torna obligatorio, no puede ser el único criterio a tener en cuenta, y cada editor determinará qué otros parámetros incluye, por ejemplo, evaluación preliminar metodológica, prevalencia de textos ligados a proyectos de investigación, un mayor involucramiento del comité editorial en este proceso, entre otros.

Ser nombrado par académico implica un reconocimiento al docente que debe enorgullecerlo, pues su trayectoria y nivel académico lo califica para ejercer tal actividad, pero también creemos que esta debe hacerse visible. Además, consideramos importante la creación de incentivos a la praxis del par o árbitro evaluador, no solamente económicos, pues se trata de académicos que pueden tener otros factores motivadores, por ejemplo, celebramos la visibilización por parte de Colciencias de esta tarea en el CvLac de los investigadores, ojalá también sea un elemento que otorgue puntaje para las mediciones individuales y grupales que hace Colciencias. Además, los centros de investigación de las universidades deberían también tener en cuenta esta actividad dentro del ejercicio laboral del docente investigador y en las evaluaciones que hagan de su productividad.

Para finalizar, podemos decir que el arbitraje experto es un sistema que en la evaluación de textos jurídicos para publicaciones científicas es todavía joven y tiene aspectos por mejorar, sin embargo, hoy en día ofrece una ayuda importante al editor cuando es ejercido con objetividad por el evaluador y es asumido seriamente en los procesos editoriales. Con estas reflexiones, queremos tan solo dejar la puerta abierta a la discusión académica acerca del "deber ser" de esta actividad, que, a su vez, se debería constituir en un nuevo oficio, así sea esporádico, para académicos e investigadores, siempre y cuando estos encuentren reales incentivos para su ejercicio.

REFERENCIAS

1. Colciencias (2002). Subdirección de Programas de Desarrollo Científico y Tecnológico, Servicio de Información de Evaluadores Pares Reconocidos del Sistema Nacional de Ciencia y Tecnología (SNCyT). Disponible en: En http://www.colciencias.gov.co/sites/default/files/ckeditor_files/files/pares2002(2).pdf

2. Colciencias (2013). Documento guía para el servicio permanente de indexación de revistas seriadas de ciencia, tecnología e innovación colombianas del departamento administrativo de ciencia, tecnología e innovación.

3. Pessanha, C. (2001) Criterios editoriales para la evaluación científica: notas para la discusión, ACIMED, 9, 4.

4. Silva, L. C. (2012, Marzo). El arbitraje de las revistas médicas, la gestión editorial en red y la calidad de la publicación científica. R, 38, 1, 1-3.

5. Miyahira, J.M. (1995). El arbitraje editorial en las revistas médicas. Disponible en: http://www.scielo.org.pe/pdf/rmh/v6n3/v6n3e1.pdf.

6. Romanos, S. (Enero- Junio de 2006). Los procesos de evaluación de los artículos científicos. No. 14, Disponible en On-line ISSN 1851-1740, Inf. cult. soc.