EL PARTICIPAR COMO PAR EVALUADOR DE CALIDAD ES UNA RESPONSABILIDAD PROFESIONAL INTERNACIONAL; AQUELLOS QUE PUBLICAN CON CONFIANZA DEBEN TAMBIÉN EVALUAR CON COMPETENCIA

David W. Grainger

Department of Pharmaceutics and Pharmaceutical Chemistry. College of Pharmacy, Room 301, 30 South 2000 East. University of Utah. Salt Lake City, UT 84112-5820 USA, Tel: +1 801 581 3715, Fax: +1 801 581 3674. david.grainger@utah.edu.

Este artículo, de tipo original, fue traducido del inglés al español por Felipe García Quiroz, Duke University, North Carolina, USA <felipe.garcia@duke.edu>. La versión en el idioma inglés se puede consultar libre de costo en http://revistabme.eia.edu.co/.

RESUMEN

La calidad del proceso de evaluación por pares académicos es fundamental en los métodos actuales de publicación científica y técnica, así como en la evaluación de propuestas de investigación. La incompetencia y falta de imparcialidad en la evaluación continúan siendo los problemas más citados sobre el proceso de evaluación por pares académicos. Debido a esto, crear y mantener un grupo de evaluadores comprometidos, responsables y calificados es fundamental para la publicación y diseminación científica. Un principio importante en la mecánica del sistema de evaluación por pares consiste en que aquellos que utilizan el sistema de publicación deberían luego revisar una carga equivalente a su rol como integrantes del mismo. Esto también implicaría que quienes escriben y envían artículos técnicos sean competentes para evaluar y criticar con justicia el trabajo de otros en sus áreas de estudio. Debido al rápido incremento en el número de artículos sometidos por parte de fuentes no tradicionales, incluyendo muchos países en vía de desarrollo, es necesario expandir el grupo de pares académicos al incluir miembros de estas comunidades de modo que sea posible dar respuesta a esta carga adicional impuesta a un sistema ya saturado; asimismo, comprometer a estas nuevas comunidades en el tradicional proceso de evaluación y validación de los trabajos científicos y técnicos. Una evaluación efectiva por pares debe velar por varios elementos que incluyen la habilidad técnica del revisor, la conducta profesional, la imparcialidad, la ética y la responsabilidad tanto por el proceso como por el sistema competitivo en el que éste se desarrolla a nivel internacional. Los pares evaluadores necesitan entrenamiento, supervisión, control, expectativas y orientación continua. La validación de la eficiencia general del proceso de revisión por pares requiere controles de seguimiento de la literatura publicada para confirmar su precisión y contenido a través de consenso y reproducción. Como, en la actualidad, gran parte de los países en vías de desarrollo contribuyen al sistema de evaluación con un número significativo de artículos, estos países deben buscar activamente entrenar a sus contribuyentes, para que sean pares evaluadores efectivos y reconocidos por revistas internacionales, editores e instituciones financiadoras. Ésta no es una tarea pasiva, ya que requiere definir expectativas, políticas de reclutamiento, entrenamiento y demás elementos asociados, con miras a realizar los ajustes respectivos tan pronto como sus contribuciones sobrecarguen los sistemas de publicación actuales. La responsabilidad colectiva como investigadores, contribuyentes, evaluadores, lectores, y aseguradores de la integridad y protección de este esencial proceso de control de calidad tradicionalmente ha dependido de la integridad y consciencia profesional. La extensión de este esfuerzo por reclutar nuevos grupos de evaluadores competentes, entrenados y calificados, es esencial en la era actual de publicación científica.

PALABRAS CLAVE: Conducta profesional, Contribuyentes no tradicionales, Control de calidad, Países en desarrollo, Publicaciones técnicas, Responsabilidad, Revisión por pares.

ABSTRACT

Quality peer-review remains central to current international scientific and technical publishing and proposal assessment methods. As incompetent review and perceived bias remain the most cited problems with peer review processes commonly employed in scientific review of manuscript and proposals, creating and maintaining a quality pool of engaged, responsive and qualified peer reviewers is essential to scientific publishing and dissemination. An important operational principle for the peer reviewing system is that all who utilize this publishing system should then also review a commensurate load on behalf of the system. This would also imply that those who compose and submit technical manuscripts are competent to assess and levy fair criticism of other's work in their field. Given the large and rapid expansion in numbers of submitted manuscripts from nontraditional sources, including many developing countries, expansion of the peer-reviewing pool to these sources is necessary both to accommodate their respective, newly imposed reviewing burdens on the already over-burdened system, and to engage new communities in the traditional process of vetting and validating scientific and technical works. Effective peer review must enforce the many elements of reviewer technical proficiency, professional conduct, bias, ethics and responsibility in this process and the competitive system in which it sits internationally. Reviewers require training, oversight, control, expectations, and continual guidance. Validation of peer-review's overall efficacy requires follow-on policing of published literature to assert its accuracy and content through consensus and reproduction. As former developing countries now contribute an increasing number of new manuscripts to the technical peer-review system, they should also actively seek to officially train such contributors to also be visible, effective peer-reviewers for international journals, editors and funding agencies. This is not a passive endeavor, requiring expectations, recruitment and training, and the associated resources to make accommodations as rapidly as their contributions are encumbered within the current publishing systems. Collective responsibilities as researchers, contributors, reviewers, readers and enforcers of the integrity and safekeeping of this essential quality control process traditionally rely on individual professional integrity and conscience effort. Extension of this effort to recruit new pools of competent, trained and qualified reviewers in the current publishing era is essential.

KEY WORDS: Professional conduct, Non-traditional contributors, Quality control, Developing country, Technical publishing, Responsibility, Peer review.

(Adaptado parcialmente de: Grainger D.W. Peer review as professional responsibility: a quality control system only as good as the participants. Biomaterials, 28, 5199-5203, 2007).

I. INTRODUCCIÓN

La comunicación y diseminación técnica son labores esenciales de cualquier científico, ingeniero o profesional médico. Los artículos científicos y las propuestas de investigación constituyen el cuerpo principal de estas comunicaciones. La publicación técnica y científica crece constantemente debido a este requerimiento básico de publicar, reflejado en las más de mil publicaciones que aparecen diariamente en revistas científicas. Considerando que (1) la información científica que no es publicada es literalmente desconocida; y que (2) aquella no validada generalmente no es confiable, el proceso de evaluación por pares resulta fundamental para todos quienes publican información científica como un mecanismo de verificación común para su validación y aceptación. De esta manera, se establece un proceso de control de calidad en las publicaciones científicas regidas por este sistema de evaluación, siendo éste una responsabilidad profesional colectiva de los pares evaluadores [1-3]. Los productos académicos y propuestas de investigación son sometidos al escrutinio y crítica anónima, o doble ciega, por parte de pares expertos en el área; los editores de revistas científicas, entonces, dependen de este proceso para facilitar la selección, clasificación y priorización de nuevos artículos sometidos para publicación, al igual que las instituciones financiadoras para priorizar la asignación de recursos. La Fig. 1 muestra un esquema sencillo del dinámico proceso de evaluación por pares evaluadores. Los estándares de la disciplina y la ciencia en general son impuestos sobre los contribuyentes (investigadores) a través de este sistema. A pesar de alguna evidencia reciente sobre la falta de respeto al sistema de evaluación por pares en la generación más joven de autores científicos, más de un 85% de los autores considera que este proceso mejora los trabajos que someten a publicación [4-5].

Actualmente, las labores de evaluación por pares tienen particular relevancia para el conjunto de publicaciones electrónicas, que están en aumento, sumado a la mayor accesibilidad a medios para publicar y diseminar textos o a la visibilidad adicional que estos mecanismos (y los escenarios de "libre acceso" asociados) brindan a la comunidad internacional. Esto es especialmente importante para países en desarrollo que tradicionalmente no pueden costear las suscripciones a muchas revistas internacionales. Las actividades científicas en países en desarrollo ahora comprenden alrededor del 25% de los ingenieros y científicos del mundo, aunque sólo utilizan cantidades inferiores al 6% del presupuesto global destinado a investigación [6]. Los reportes de investigaciones provenientes de estos países están buscando crecientemente acceder a las principales vías de publicación internacional, pero los retos son significativos. En primer lugar, muchos de los autores de artículos provenientes de laboratorios del segundo y tercer mundo deben elegir entre el publicar en su lengua madre, pero en revistas con poca visibilidad y circulación que dan preferencia al idioma, o el enviar sus trabajos a medios internacionales publicados en un lenguaje (usualmente inglés) que representa su segundo o incluso tercer idioma. El número de revistas prestigiosas que representan las principales tendencias en ciencia es relativamente pequeño [7] comparado con la totalidad de revistas científicas, y todas éstas requieren de un nivel de inglés avanzado. Las revistas que sirven a la periferia de las comunidades científicas, ya sea en tema, lenguaje, región geográfica o cultura, afrontan numerosos retos [6]. Por ejemplo, la visibilidad internacional y el impacto son limitados, donde menos del 2% de revistas originadas en países en desarrollo hacen parte de las principales bases de datos de publicaciones internacionales como Web of Science, Science Citation Index, MEDLINE, Current Contents, SciFinder Index, y PubMed [6]. Dificultades adicionales para el surgimiento de estas revistas científicas como medios técnicos importantes y visibles incluyen el número limitado de artículos sometidos para publicación, el que la calidad de los artículos es inferior a los estándares internacionales, problemas en la comunicación y uso del lenguaje, y la baja calidad en el proceso de evaluación. El "círculo vicioso" que se presenta cuando se busca desarrollar este tipo de revistas científicas con reconocimiento y lectores a nivel internacional ya ha sido documentado [8-10].

Es importante anotar que la proporción de artículos técnicos sometidos por investigadores de países en vía de desarrollo, o ahora considerados desarrollados, especialmente Taiwán, Brasil, Turquía, Corea del Sur, India, México y China, está creciendo a una tasa superior a la de los tradicionales países desarrollados. Por ejemplo, la carga impuesta por países como Taiwán, China, India, Turquía y Corea del Sur en los procesos editoriales a nivel internacional está en aumento [4], y otros países en Centroamérica y Suramérica han duplicado sus contribuciones, aunque aún relativamente pequeñas, a revistas internacionales entre 1999 y 2003 [11]. De igual manera, a lo largo de la década pasada (1999-2009), Taiwán, Brasil e India han duplicado el número de artículos que son enviados anualmente para evaluación por pares académicos internacionales, mientras que Turquía y Corea del Sur han triplicado este número. Hoy por hoy, India y China, si se considera el número total de científicos e ingenieros que poseen, están contribuyendo anualmente con una cantidad enorme de nuevos artículos que no eran parte del sistema hace una década [12-14].

Es importante resaltar que esta explosión en el número de artículos sometidos para publicación en revistas científicas y provenientes de nuevas fuentes internacionales, como se ha observado en la última década, requiere de un mayor compromiso y responsabilidad en el proceso de evaluación por pares, y concierne a aquellos evaluadores activos, calificados, responsables y deseosos de absorber la nueva demanda. No obstante, todos aquellos que contribuyen a la literatura científica deberían, de igual manera, vigilarla, siempre con la guía de editores calificados, con miras a asegurar su calidad, precisión, relevancia e impacto. Si los países en donde se origina esta nueva carga de escritos científicos no contribuyen a la red internacional de publicaciones científicas con una fracción equivalente de editores, miembros de comités editoriales y pares evaluadores calificados, los escritos tendrán que ser procesados y evaluados por un grupo relativamente estático de pares internacionales. No hay información indicando que este tipo de asignaciones de pares evaluadores, en un contexto internacional, esté distribuida equitativamente de acuerdo con la proporción de artículos sometidos por región. Por lo tanto, mientras que los contribuyentes no tradicionales sean incapaces de desempeñarse como pares académicos competentes y de calidad, el problema asociado a los artículos de fuentes no tradicionales saturando el sistema actual de revisión por pares continuará acentuándose.

En una opinión previa manifestada por el autor de este trabajo, se resumió la situación general de saturación del sistema de evaluación por pares y se recomendó un código de conducta y responsabilidad para todos los participantes del proceso de publicación, con el objetivo de optimizar las funciones y el control de calidad en los sistemas de revisión técnica [15]. Alguien podría afirmar que nunca ha habido un número suficiente de pares evaluadores, y, en efecto, los editores de revistas científicas usualmente sufren para asignar los escritos a evaluadores diligentes y competentes dentro de sus comunidades de estudio respectivas. Así las cosas, continuará el reto de entrenar y habilitar nuevas generaciones de editores y evaluadores, haciendo partícipes a los muchos contribuyentes de nuevos escritos provenientes de fuentes no tradicionales. A pesar de esto, las sociedades profesionales nacionales, las organizaciones científicas, las instituciones gubernamentales y los programas de entrenamiento universitarios deben promover y desarrollar activamente un mensaje consistente que informe sobre la importancia de la calidad de las labores asociadas al proceso de evaluación por pares. Estas actividades deberían incluir probablemente nuevos programas formales de entrenamiento para pares, el reconocimiento público del servicio y dedicación de los pares, sistemas de premiación para los participantes, y concientización sobre la importancia de esta labor para el reconocimiento nacional y personal dentro de la comunidad científica internacional. Adicionalmente, los beneficios de participar son evidentes: no es un secreto que el servir como par regularmente brinda acceso anticipado a las contribuciones más importantes y recientes en un campo dado, y que un desempeño destacado en esta función puede conducir a promoción como miembro del comité editorial, y que la visibilidad editorial promueve al individuo y atrae reconocimiento internacional a su región e institución.

Dejando a un lado el escepticismo y los halagos, el proceso de control de calidad mediante revisión por pares evaluadores, para bien o mal, es el mecanismo actual en el que todos los científicos activos se desenvuelven, y con el que las comunidades técnicas cuentan para asegurar la diseminación continua de la información confiable y de alta calidad requerida para el avance de las diferentes áreas de estudio. Todos los científicos e ingenieros como contribuyentes, académicos, pedagogos, tecnólogos, practicantes o benefactores tienen responsabilidades específicas para hacer funcionar el sistema de evaluación por pares, por lo que ocasionalmente las reglas de conducta profesional son explícitas al recomendar el reclutamiento de evaluadores de modo que se asegure la calidad en los reportes científicos [16-18]. Estas labores se extienden, por igual, a tres grupos relacionados con el proceso de publicación: autores, editores y lectores de revistas científicas, para administrar el coordinado proceso de evaluación. Además de esto, el Congreso Internacional sobre la Evaluación por Pares y Publicaciones científicas en el área Biomédica¹ ha propiciado discusiones sobre las virtudes y problemas del sistema de evaluación por pares, y los resultados han sido publicados en diferentes formas por más de una década en Revista de la Sociedad Americana de Medicina² [19]. La insistencia colectiva de la comunidad técnica en la confiabilidad de los datos, su reproducibilidad, precisión y comunicación efectiva es esencial para la integridad del proceso de publicación. Así, buenas revisiones por pares deben servir eficientemente a la diseminación de información técnica y científica para asegurar el acceso a información precisa, constituir una medida inicial para prevenir la propagación de literatura científica de baja calidad, y eliminar el "ruido" técnico que contamina las bases de datos y la literatura científica. La identificación rápida y confiable de la información más importante y relevante (filtración) en las diferentes áreas de estudio de cada profesional, se basa en la suposición de que la calidad científica es confiable como un criterio básico de análisis; sin embargo, como no se debe aceptar ciegamente todo lo que está impreso como verdad irrefutable y precisa, el tiempo invertido en buscar y seleccionar los trabajos de la mayor calidad y relevancia para los intereses propios, en las extensas bases de datos de literatura científica, depende de la supervisión continua y en equipo del proceso de evaluación por pares que la produce.

La calidad de las publicaciones científicas es una responsabilidad colectiva que involucra a usuarios, lectores y contribuyentes (autores); los mismos grupos de donde provienen los pares evaluadores y quienes luego establecen los estándares de calidad científica y aceptación. Las citaciones, el factor de impacto de las revistas, el valor y atractivo para el campo de estudio, y la calidad técnica, son funciones directas de la relevancia en el tema de discusión, el contenido publicado, los lectores, su exposición, su circulación y la correspondiente influencia en la visibilidad y suscripciones. Desafortunadamente, la responsabilidad por la calidad de las revistas técnicas generalmente se ha asumido como una función a nivel editorial, pues es allí donde se toman las decisiones finales sobre la aceptación o el rechazo de los trabajos [2,16]. Sin embargo, esta suposición tan peligrosa ignora: (1) la relativa limitada experiencia de muchos editores, (2) la correspondiente incapacidad para juzgar la calidad del contenido sin contar con la opinión de pares experimentados, y (3) los sesgos inherentes a cualquier sistema que depende de un número limitado de expertos. Más aún, con la expansión constante del alcance de los temas de investigación, el carácter multidisciplinario de las investigaciones y la creciente complejidad en los métodos técnicos y la información que arrojan, los editores no deberían estar atrapados por su limitado conocimiento y la relativa ignorancia de un solo individuo en este complejo sistema científico. Por estas razones, se hace evidente la importancia de una evaluación colectiva del cuerpo central de literatura científica que incorpore un proceso de evaluación por pares confiable. Un factor característico de toda revista o publicación técnica exitosa es su habilidad para acceder a un grupo de pares evaluadores talentosos, experimentados, exitosos y confiables, de manera que el entrenamiento y reclutamiento de estos grupos constituye un reto constante.

Resulta curioso que existan pocos procesos formales más allá del clásico club de revista ofrecido en la mayoría de instituciones universitarias a nivel de post-grado, donde, de manera didáctica, se estudien las características de una relación par-editor-autor efectiva, o que entrene de manera rigurosa a doctorandos, profesionales y post-doctores en los métodos, expectativas y mecanismos del proceso de evaluación por pares. Generalmente, el proceso se reduce a un "ritual" profesional de "pasarla", donde se aprende sobre la marcha y en el que muchas personas, sin mucha experiencia y entrenamiento formal, son contactadas por editores, y por tanto actúan instintivamente al realizar la evaluación técnica de artículos o propuestas de investigación. Una buena evaluación por pares de este tipo de trabajos no es simple y no se prepara rápidamente, pero es posible enseñar y aprender sus elementos básicos, e incluso se han publicado guías al respecto [16-18,20-22]. Los cursos de entrenamiento de pares demandan mucho trabajo y son tediosos [9], pues intentan enseñar el estilo de escritura técnica, la planificación de experimentos, el análisis de datos e interpretación, los elementos de las estrategias para realizar críticas técnicas y la forma como éstas deben comunicarse en el contexto de una evaluación; sin embargo, estos cursos parecen sólo tener un impacto de corto alcance [23]. Las evaluaciones de baja calidad o apresuradas son un terrible daño a la comunidad científica, y tienen implicaciones que van más allá del artículo en cuestión [24]. Por esto, todos aquellos que leen o someten trabajos a revistas, como los científicos e ingenieros en universidades alrededor del mundo, laboratorios del gobierno, fundaciones dedicadas a investigación o la industria, deben reevaluar continuamente su compromiso con las responsabilidades profesionales de evaluación, que afectan de manera directa la calidad de las revistas y las comunicaciones técnicas.

La responsabilidad profesional obliga a todos aquellos que son activos en investigación, que leen la literatura científica o que envían artículos o propuestas para evaluación por pares, a completar, de manera responsable y expedita, la parte que les corresponde de la evaluación justa y eficiente de esta literatura. El valor de la evaluación individual podría compararse con el valor del voto individual en un proceso de elección: los derechos de elegir e influir son ejercidos por individuos a lo largo del proceso, y el colectivo de los reportes de los evaluadores determina el destino y la dirección de la respectiva literatura científica y el portafolio de proyectos a financiar. Si el sistema de evaluación por pares fuera perfecto, la discusión de los problemas, alternativas y mejoras al sistema no sería tan activa como lo es actualmente [2,25-29]; sin embargo, a pesar de sus debilidades e imperfecciones, éste continúa siendo el mejor sistema concebido e implementado, hasta ahora, a una escala global.

Como en todo proceso electivo, las contribuciones personales que faciliten la diligencia, credibilidad y equidad del proceso de evaluación científico son asunto de organización y elección personal. Al evaluar estas responsabilidades, cada uno debería considerar una serie de directrices [15,17,30], propuestas recientemente, que se presentan a continuación:

1. Cada artículo sometido requiere el esfuerzo voluntario de al menos tres "pares expertos", el editor encargado asignado por la revista y al menos dos evaluadores anónimos, para la revisión detallada por árbitros y el eventual proceso de publicación del trabajo. De esta manera, a modo de un quid pro quo, por cada artículo sometido a una revista, el autor/contribuyente debería revisar otros tres artículos como compensación por la carga que él mismo impone sobre el sistema de publicación. Esto necesita ser considerado para la avalancha de artículos preparados por autores de fuentes no tradicionales y de países en vía de desarrollo.
   El afirmar que autores "excesivamente productivos", quienes debido a su importancia, escritura prolífica y contribuciones evidentes, están eximidos de evaluar otros trabajos, o que sus obligaciones o deber de servir como par evaluador ya han sido compensadas de alguna manera elegante, es sencillamente arrogancia infundada. La forma cómo cualquier contribuyente de artículos o propuestas de investigación permanece por encima de la responsabilidad del proceso de evaluación por pares es un misterio. Entonces, basados en este principio de "uno conlleva tres", las contribuciones a la literatura deberían ser proporcionales a las evaluaciones de la literatura en calidad de par [31].
2. El envío de propuestas de investigación acarrea el mismo tipo de obligaciones de evaluación (y problemas asociados), no remuneradas, que los artículos científicos [32]. Sin embargo, en muchos casos, las obligaciones impuestas para la evaluación de propuestas de investigación deberían ser incluso más comprensivas, ya que las revisiones por panel y las sesiones de estudio involucran un mayor número de pares y mayor tiempo de evaluación comparado con la revisión de artículos que sólo requiere unos pocos correos. El número de pares que participaron del proceso de evaluación se puede discernir de acuerdo con la información incluida en el documento de evaluación, una vez éste es enviado al autor/proponente. De esta manera, la carga que cada evaluación conlleva es conocida y puede esperarse como contraprestación por parte del autor, independientemente del resultado de la decisión sobre la financiación del proyecto, como una compensación profesional necesaria al sistema de evaluación por pares.
   Un gran número de científicos reconocidos ahora son consultados para revisar o apadrinar nuevos programas de evaluación de propuestas de investigación, o programas de jóvenes investigadores que están siendo creados en países en vía de desarrollo, con el objetivo de reproducir procesos análogos a los establecidos en países desarrollados. Esto exige un mayor compromiso por parte de los países en vía de desarrollo en cuanto a compensar sus obligaciones de evaluación, de manera que se restaure el balance en el sistema internacional.
3. Ante una solicitud de servir como par, es importante comunicar rápidamente a la oficina del editor tanto (1) la intención de realizar una evaluación de calidad, como (2) la evaluación completada propiamente. Una evaluación y comunicación puntual y confiable no es solamente cortés, sino que libera a la oficina del editor del significativo trabajo adicional que representa rastrear todas las revisiones pendientes y apurar a aquellos evaluadores negligentes con el envío de la información solicitada. Un simple correo de una sola línea donde se indique la recepción, aceptación y fecha de devolución de la evaluación, incluyendo el número de identificación del artículo en el encabezado del asunto del correo, le asegura al asistente del editor que los pares están trabajando en la evaluación asignada. Luego, es deber del evaluador hacer todo lo posible para enviar su evaluación en la fecha límite asignada, y si esto fuera imposible, es su responsabilidad comunicar a la oficina del editor, vía correo electrónico, la fecha esperada de envío de la información, nuevamente incluyendo el número del artículo en la línea de asunto.
   El tiempo que toma la publicación de un trabajo se ha convertido en una importante unidad de medida en la que, junto con otros factores, con frecuencia se basa la selección y calidad de las revistas científicas donde uno decide someter su trabajo para publicación. Más allá del efecto que tiene en la percepción del contribuyente, esto también afecta el factor de impacto y otras clasificaciones de la calidad de las revistas. Por lo tanto, las "reglas de compromiso" expuestas anteriormente resultan en un sistema eficiente y efectivo, donde el tiempo para la publicación final puede ser reducido, al optimizar el proceso de evaluación mediante un desempeño de calidad y una comunicación responsable con los editores.
4. Cuando una solicitud de evaluación no puede ser atendida debido a algún tipo de conflicto, otros compromisos, o quizás por falta de experiencia en el tema, el recomendar otros posibles pares cuidadosamente considerados es sumamente útil. Un listado de los nombres e información de contacto de tres pares alternativos (y la dirección de sus sitios web) le puede ahorrar al editor una gran cantidad de tiempo y esfuerzo importante, así como ayudar a dirigir eficientemente la evaluación a un grupo calificado y selecto de pares.
5. Ser activos en comprometer, expandir y entrenar nuevos pares capaces y responsables a través del entrenamiento formal de estudiantes de post-grado y colegas. Esto debe incluir las expectativas, estándares, protocolos y reglas de una evaluación justa, al igual que los efectos adversos de los sesgos, conducta no ética y trabajo mediocre en la evaluación de los artículos. Los clubes de revista y seminarios a nivel de post-grado, generalmente se enfocan en la evaluación y crítica de la literatura científica. A pesar de esto, sólo unas cuantas de estas experiencias, en efecto, practican o entrenan formalmente a estudiantes o colegas para especializarse en la mecánica de estructurar una evaluación o crítica realista y creíble propia para un artículo científico o una propuesta del NIH³ . Como los autores generalmente reciben por escrito las evaluaciones de sus propuestas o artículos, y dado que las evaluaciones buenas y competentes claramente se distinguen de las malas por su calidad y contenido, estas evaluaciones constituyen excelentes ejemplos para la enseñanza de este importante contraste. A pesar de esto, a muchos de nosotros realmente no nos enseñaron los elementos del estilo, contenido, y significancia técnica que comprenden la formulación de una buena revisión, y mucho menos los elementos que constituyen una crítica científica justa, objetiva e imparcial.
   El "ritual de pasarla" en el desarrollo de buenos pares evaluadores no debería dejarse al azar o al autoaprendizaje, al ensayo y error, o a las experiencias anecdóticas. Las sociedades profesionales y los programas académicos pueden facilitar entrenamiento profesional en esta área, así como impartir los sentidos de responsabilidad y necesidad, con el objetivo de asegurar que se cuente con un número adecuado de evaluadores calificados, capaces, confiables, y receptivos a esta necesidad. En teoría, el grupo de evaluadores debería ser tan grande como el de autores, aunque éste no es el caso, como se ejemplifica con el reto actual de manejar las cargas de artículos impuestas por las fuentes no tradicionales (países en vía de desarrollo) emergentes.
6. Científicos, ingenieros e investigadores tanto en el sector privado como el público, así como en el área de la salud y otras industrias, están todos obligados a servir como pares evaluadores. Aun cuando, con frecuencia, los científicos en la industria son menospreciados en el proceso de evaluación por pares, pues se presume que no tienen suficiente interés personal en los beneficios derivados de contar con literatura de alta calidad, que presentan conflicto de intereses al revisar la información confidencial de otros, o que simplemente no contribuyen con una fracción significativa de artículos como para entender la cultura del proceso de evaluación. Un editor o administrador prudente debería ser capaz de utilizar científicos tanto del sector público como privado de manera similar, así como de enseñarles los roles y comportamientos adecuados. En principio, la confidencialidad se debe mantener a lo largo del proceso de evaluación, por lo que un editor experto debe ser consciente de competidores para buscar minimizar conflictos o posibles fugas de información confidencial mediante una selección cuidadosa de los evaluadores. Consecuentemente, un grupo amplio de científicos e ingenieros de diferentes caminos en su vida profesional deberían utilizarse en las labores de evaluación.
   Las responsabilidades de evaluación profesional también pueden ser abusadas con fines egoístas y no éticos, lo que resulta en dificultades adicionales que comprometen la integridad del sistema. El anonimato del par evaluador impuesto en el sistema "parcialmente cerrado" (autor conocido/par desconocido) tiene varios problemas en este sentido [33-55]. El sistema de evaluación doble ciego, donde ni la identidad del autor ni la de par son reveladas, es generalmente reconocido como el mejor sistema de evaluación [36-37], y un estudio reciente también indicó una reducción en la discriminación por sexo a la mujeres [38]. Sin embargo, estudios previos indicaron que, a pesar del anonimato mutuo, no se percibían mejoras en la calidad del proceso [39,40]. Adicionalmente, es difícil asegurar el completo anonimato debido al fenómeno de auto-citación, el contexto o tema de investigación, y el estilo al escribir.

Típicos actos impropios o de mala conducta listados por el Centro para la Publicación Científica en su libro blanco [17] incluyen:

• Una representación falsa y deliberada de la información contenida en la evaluación.
• Retrasar el proceso de evaluación excesivamente para beneficio propio, o para explotar información confidencial con la idea de obtener ventajas personales o profesionales.
• Criticar de manera injusta el trabajo de un competidor.
• Violar la confidencialidad de la evaluación.
• Proponer cambios que parecen soportar el trabajo o las hipótesis del propio par.
• Apropiarse de ideas o texto del escrito bajo evaluación.
• Incluir críticas personales o ad hóminem del autor o autores.
• Fallar en declarar un conflicto de intereses que hubiera excluido al par del proceso.

De manera respetuosa, invito a cada uno de nosotros a que constantemente (1) evaluemos nuestro propio historial de evaluaciones a nivel profesional y (2) realicemos los ajustes necesarios en esta actividad para atender la carga que nuestra respectiva productividad de publicaciones o propuestas de investigación genera sobre el sistema de evaluación por pares. Al escuchar la inevitable y vociferante declaración en la introducción de una sesión plenaria en una conferencia que el profesor X tiene más de 400 artículos de investigación publicados, mi propio escepticismo me hace pensar que ¡el profesor X probablemente no ha realizado evaluaciones de calidad por los 1200 artículos adicionales requeridos para compensar por la carga que él mismo ha impuesto en el sistema! Quizás esta falta de responsabilidad se debe en parte al exagerado reconocimiento y halagos recibidos por parte de las comunidades técnicas ante este tipo de producción y diseminación científica tan sobresaliente, y de igual manera a la falta de reconocimiento por la cantidad equivalente de trabajo al servicio del sistema de evaluación por pares requerida para evaluar, certificar, producir y respaldar esta productividad en forma de publicación. En respuesta a la enorme cantidad de artículos emanando de fuentes nuevas y no tradicionales, este tipo de auto-evaluación es importante para determinar las obligaciones de evaluación y así mantener la funcionalidad del sistema actual.

La credibilidad y calidad de las investigaciones técnicas publicadas se basa constantemente en una estrecha relación y coordinación entre la investigación y la creatividad en el desarrollo, el reportar efectivamente, y en labores editoriales y de evaluación confiables. Los impactos de las comunicaciones técnicas y el progreso e innovación en ciencia e ingeniería están intrínsecamente acoplados a través del proceso de evaluación por pares. Una evaluación por pares mediocre no sólo disminuye la calidad promedio de los artículos publicados, sino que inadvertidamente permite la publicación de aproximaciones y resultados que están documentados inadecuadamente, son simplemente erróneos o no merecen un trabajo posterior, convirtiéndose en distractores para la comunidad de investigación y desarrollo, acarreando costos económicos, tiempo y esfuerzos desperdiciados cuando se intenta duplicar, validar o desechar resultados publicados.

El verdadero costo económico de "producir" un artículo científico se puede calcular sencillamente al dividir el presupuesto anual del laboratorio que produjo el trabajo por el número total de artículos que éste publicó anualmente. En la mayoría de los casos, el costo por artículo es considerable, por lo que representa un importante factor de la obligación contraída con las diferentes fuentes de financiación, generalmente los ciudadanos que pagan impuestos, quienes subsidian las fuentes de investigación pública. Costos adicionales incluyen los "ligeros" costos del proceso de evaluación, la preparación del artículo, los compromisos editoriales y de los evaluadores, y la inversión de la editorial en recursos y fuerza laboral. Finalmente, las revistas científicas están afrontando mayores limitaciones en el número de páginas por parte de las casas editoriales, por lo que incluso artículos de calidad aceptable (aunque no los mejores) podrían quedar relegados de la publicación, a pesar de tener credibilidad científica y bases sólidas. Esta modalidad de "supervivencia del más fuerte" utiliza un número elevado de artículos y una competencia feroz para publicar, con el fin de eliminar los trabajos más débiles. Así, con una tasa de rechazo del 50%, sólo los artículos más interesantes podrían eventualmente ser publicados, incluso si todos fueran científicamente válidos: la calidad, entonces, definida de manera arbitraria, prevalecerá a costa de la cantidad. Esta reducción de los datos publicados siguiendo un esquema de priorización que selecciona solamente los datos de mayor calidad o los más atractivos, es una empresa riesgosa exigida por la simple economía del proceso de publicación. Sin embargo, en un proceso de evaluación por pares efectivo, este tipo de selección podría reducir drásticamente el tiempo y el esfuerzo requeridos para encontrar los resultados relevantes para cada uno de nosotros en nuestro campo, al limitar la cantidad de información de baja calidad que inunda la literatura.

Una alternativa actualmente defendida es la de utilizar publicaciones en línea con mayor accesibilidad a nivel mundial, para incrementar el volumen y exposición de la literatura técnica. Un número considerable de formatos innovadores y alternativos de publicación electrónica y modalidades del proceso de evaluación por pares "abiertas" ahora son posibles gracias el acceso mundial e instantáneo vía internet, y algunos de estos ya se encuentran en evaluación o son materia activa de discusión [41-42]. A pesar de esto, no requiere un gran esfuerzo mental el considerar los problemas asociados a un proceso de evaluación por pares de baja calidad (o de la ausencia completa de una evaluación confiable o de procesos editoriales, como está ocurriendo en algunas modalidades en línea), como el desperdiciar tiempo y esfuerzo significativo en buscar, leer y luego dar continuidad a investigaciones de calidad desconocida o que carecen de estándares de publicación o validación.

Sin lugar a dudas, servir como par evaluador es trabajo extra: en promedio, la evaluación de un artículo técnico toma de ocho a nueve horas [43]. Sin embargo, este es trabajo extra que se hace indispensable si se busca producir y garantizar un repositorio de literatura científica útil y confiable, así como otros recursos altamente valiosos para todos los involucrados. Claramente, el mejor método, y el más efectivo para asegurar la credibilidad de las publicaciones en ciencia e ingeniería y su progreso técnico, es insistir en un proceso de evaluación por pares con estándares consistentes en todos los aspectos de los procedimientos para reportar información científica. La comunidad técnica debería proceder a apoyar abiertamente y a cultivar un sentido colectivo de responsabilidad profesional internacional por participar activamente en este sistema, para hacerlo funcionar de manera efectiva.

AGRADECIMIENTO

Al profesor David Williams, por ser un mentor en mi entendimiento de la importancia de la evaluación por pares y de la validación científica.

_____________________________
NOTAS
1 Nota del traductor: International Congress on Biomedical Peer Review and Scientific Publication.
2 Nota del traductor: Journal of the American Medical Association.
3 Nota del traductor: National Institutes of Health (NIH). Esta es la agencia principal del gobierno de los Estados Unidos de América para conducir y soportar investigaciones en áreas biomédicas.

REFERENCIAS

[1] Hames I. Peer review and manuscript management in scientific journals: guidelines for good practice. Blackwell Press, 2007, Malden, MA, USA.         [ Links ]

[2] Kassirer J.P., Campion E.W. Peer review: crude and understudied, but indispensable. Journal of the Medical American Association, 272, 96-97, 1994.         [ Links ]

[3] Davidoff F. Improving peer review: who's responsible? British Medical Journal, 328, 657-658, 2004.         [ Links ]

[4] Clark D. Journal Publishing in Astronomy. Heck A., Houziaux L. Future Professional Communication in Astronomy. Proceedings of the Colloquium held at the Palace of the Academies, Brussels, 19-13 June, 2007, Bruxelles: Académie Royale de Belgique, 2007.         [ Links ]

[5] Ware M., Monkman M. Peer review in scholarly journals -Perspective of the scholarly community: an international study. Publishing Research Council, 2008.         [ Links ]

[6] Gibbs W.W. Lost science in the third world. Scientific American, 273, 76-83, 1995.         [ Links ]

[7] Marusic A., Marusic M. Small scientific journals from small countries: breaking from a vicious circle of inadequacy. Croatian medical journal, 40, 508-514, 1999.         [ Links ]

[8] Garfield E. The significant scientific literature appears in a small core of journals. The Scientist, 10, 13-16, 1996.         [ Links ]

[9] Marusic A., Marusic M. How to help a small journal become a part of the mainstream literature. Science editor, 23, 81-83, 2000.         [ Links ]

[10] Marusic M., Misak A., Kljakovic-Gaspic M., Fister K., Hren D., Marusic A. Producing a scientific journal in a small scientific community: an author-helpful policy. International Microbiology, 7, 143-147, 2004.         [ Links ]

[11] Science and engineering indicators, 2006, from Thompson ISI, Social Science Index and Science Index.         [ Links ]

[12] Research and Development Statistics 2004-05; UIS, UNESCO 2005.         [ Links ]

[13] Government of India, Ministry of Science and Technology. Consultado el 16 de mayo de 2009 en: http://dst.gov.in/admin_finance/ls_9/un_sq3449.htm.         [ Links ]

[14] The World Bank. World Development Indicators 2004/05. Consultado el 16 de mayo de 2009 en: http://go.worldbank.org/7C8HQXCS90.         [ Links ]

[15] Grainger D.W. Peer review as professional responsibility: a quality control system only as good as the participants, Biomaterials, 28, 5199-5203, 2007.         [ Links ]

[16] Bailar J.C., Patterson K. Journal peer review: the need for a research agenda. New England Journal of Medicine, 312:654-657, 1985.         [ Links ]

[17] Council of Science Editors. CSE's white paper on promoting integrity in scientific journal publications. Consultado el 16 de mayo de 2009 en: http://www.councilscienceeditors.org/editorial_policies/whitepaper/2-3_reviewer.cfm.         [ Links ]

[18] Seals D.R., Tanaka H. Manuscript peer review: a helpful checklist for students and novice referees. Advances in physiology education, 23, 52-58, 2000.         [ Links ]

[19] Black N., van Rooyen S., Godlee F., Smith R., Evans S. What makes a good reviewer and a good review for a general medical journal? Journal of the American Medical Association, 280, 231-233, 1998.         [ Links ]

[20] Benos D.J., Kirk K.L., Hall J.E. How to review a paper. Advances in physiology education, 2003, 27: 47-52.         [ Links ]

[21] Provenzale J.M., Stanley R.J. A systematic guide to reviewing a manuscript. Journal of nuclear medicine technology, 34, 92-99, 2006.         [ Links ]

[22] Young Scientists Refereeing Programme. Biomaterials. Consultado el 16 de mayo de 2009 en: http://www.editorialmanager.com/biomat/.         [ Links ]

[23] Schroter S., Black N., Evans S., Carpenter J., Godlee F., Smith R. Effects of training on quality of peer review: randomized controlled trial. British journal of medicine, 328, 673-675, 2004.         [ Links ]

[24] Editorial (anonymous). Bad peer reviewers. Nature, 413, 93, 2001.         [ Links ]

[25] Horrobin D.F. The philosophical basis of peer review and the suppression of innovation. Journal of the american medical association, 263, 1438-1441, 1990.         [ Links ]

[26] Rennie D. Freedom and Responsibility in medical publication: setting the balance right. Journal of the american medical association, 280, 300-302, 1998.         [ Links ]

[27] Hargens L.L. Variation in journal peer review systems: Possible causes and consequences. Journal of the american medical association, 263, 1348-1352, 1990.         [ Links ]

[28] Kassirer J.P., Campion E.W. Peer review: crude and understudied, but indispensable. Journal of the american medical association, 272, 96-97, 1994.         [ Links ]

[29] Harnad S. Peer commentary on peer review: a case study in scientific quality control. Cambridge University Press, New York, 1982.         [ Links ]

[30] Zucker R.S. A peer review how-to. Science, 318, 32, 2008.         [ Links ]

[31] Perrin W.F. In search of peer reviewers. Science, 318, 32, 2008.         [ Links ]

[32] Marsh H.W., Jayasinghe U.W., Bond N.W. Improving the peerreview process for grant applications: reliability, validity, bias, and generalizability. American psychologist, 63, 160-168, 2008.         [ Links ]

[33] Horrobin D. Anonymity of reviewers. Cardiovascular research. 28, 1141, 1994.         [ Links ]

[34] Lock S. Anonymity of reviewers. Cardiovascular research. 28, 1141, 1994.         [ Links ]

[35] Rennie D. Problems in peer review and fraud: cleave ever to the sunnier side of doubt. Balancing act. essays to honour Stephen Lock. London: Keynes Press, 1991, 9-19.         [ Links ]

[36] Kmietowicz Z. Double blind peer reviews are fairer and more objective, say academics. British Medical Journal, 336, 241, 2008.         [ Links ]

[37] Editorial (anonymous). Working double-blind. Nature, 451, 605-606, 2008.         [ Links ]

[38] Budden A.E., Tregenza T., Aarssen L.W., Koricheva J., Leimu R., Lortie C.J. Double-blind review favours increased representation of female authors. Trends in ecology and evolution, 23, 4-6, 2008.         [ Links ]

[39] Justice A.C., Cho M.K., Winker M.A., Berlin J.A., Rennies D, PEER Investigators. Does asking author identity improve peer review quality? a randomized controlled trial. Journal of the american medical association, 280, 240-242, 1998.         [ Links ]

[40] Cho M.K., Justice A.C., Winker M.A., Berlin J.A., Waeckerle J.F., Callaham M.L., Rennie D. PEER Investigators. Masking author identity in peer review: what factors influence masking success? Journal of the american medical association, 280, 243-245, 1998.         [ Links ]

[41] Harnad S. Implementing peer review on the Net: Scientific quality control in scholarly electronic journals. Peek R, Newby G. Scholarly Publication: the electronic frontier. MIT Press, Cambridge MA, 1996, 103-108.         [ Links ]

[42] Chew, F., Llewellyn, K., Olsen, K., Electronic publishing in radiology: beginnings, current status, and expanding horizons. Journal of the american college of radiology, 1, 741-748, 2004.         [ Links ]

[43] Editorial (anonymous). Who'd be a referee? Nature nanotechnology. 3, 119, 2008.         [ Links ]