ARTÍCULO DE REVISIÓN / REVIEW ARTICLE

Bibliometría: conceptos y utilidades para el estudio médico y la formación profesional

Bibliometrics: concepts and utility to study and medical training

Manuel Dávila Rodríguez¹, Roberto Guzmán Sáenz², Hugo Macareno Arroyo², Denia Piñeres Herera², Dereck de la Rosa Barranco³, Carlo V. Caballero-Uribe⁴

¹ Médico Cirujano, Residente Medicina Interna, Universidad del Norte, Barranquilla (Colombia). Correspondencia: Hospital Universidad del Norte, calle 30, vía al Aeropuerto (al lado del parque Muvdi), Soledad, Atlántico (Colombia). mfdavila1@gmail.com

² Médico Cirujano, Residente Medicina Interna, Universidad del Norte, Barranquilla (Colombia).

³ Internista, coordinador de programa de postgrado en Medicina Interna, Universidad del Norte.

⁴ Internista, reumatologo. Editor de la revista Salud Uninorte, coordinador unidad de reumatología, Hospital Universidad del Norte. Profesor asociado de Medicina Interna, pregrado y posgrado, Universidad del Norte

Fecha de recepción: 27 de mayo de 2009
Fecha de aceptación: 28 de junio de 2009

Resumen

El crecimiento de la investigación científica en los últimos tiempos ha hecho necesario el desarrollo y la implementación de diversos indicadores que ayuden a medir la importancia de la investigación de cara a la propia comunidad científica.

En la formación profesional del médico general y el residente de especialidades médicas se encuentra a menudo un desconocimiento o déficit en el manejo de temas sobre la producción, manejo y publicación de información científica, que conlleva a la pérdida de ideas, proyectos y tesis; que se quedan en el archivo de las bibliotecas o de los laboratorios de investigación de las universidades, sin que pasen a ser parte del desarrollo intelectual de los centros de formación o trasciendan como aportes al conocimiento científico y de la comunidad médica mundial. Uno de estos temas de vital importancia para todos aquellos interesados en la producción científica y la publicación de la misma en medios de información idóneos, revistas médicas indexadas a buenas bases de datos, que evalúan permanentemente la calidad de los trabajos, así como los requisitos para acceder a ellas sea como fuente de información veraz o como medio de publicación de gran trascendencia, es la Bibliometría. Para objetivar y hacer tangible la calidad y cantidad de la producción científica es necesario recurrir a la bibliometría como herramienta necesaria para lograr un resultado medible de la producción científica.

Por tal razón se hace una revisión en la literatura médica sobre la importancia de la bibliometría, su historia, sus diferentes conceptos y aplicaciones.

Palabras clave: Bibliometría, factor de impacto.

Abstract

The growth of scientific research in recent times has needed the development and application of various indicators to help measure the importance of research for the scientific community. In the training of general practitioners and medical's resident, there is often a lack or deficit in handling issues concerning the production, management and publication of scientific information, these issues leads to loss of ideas an projects, which are in many libraries and research labs of universities, waiting to become part of the intellectual development in training or to contribute knowledge beyond the scientific and medical community worldwide. One of the main issues of vital importance to anyone interested in the scientific output, research result in medical journals indexed on databases, which determine the quality of work, is their access as a source of truthful information or as a means ofpublication; this is of great importance to Bibliometrics. It is tangible and objective to makes the quality and quantity of scientific production to necessary use bibliometrics as a tool to achieve a measurable outcome of the scientific literature. Therefore, a revision is made in the medical literature on the importance of bibliometrics, its history, its concepts and applications, in addition to its technical and bibliometric indicators in order to illustrate and provide incentives to doctors in training to understand the world of production and scientific publication.

Keywords: Bibliometrics, Impact factor.

¿QUÉ ES LA BIBLIOMETRÍA?

La palabra "bibliometría" deriva de los vocablos griegos biblos:' libro', y metron: 'medir'. Es la aplicación de las matemáticas y el método estadístico a la publicación de los resultados de la investigación científica (1); dicho de otra manera, es la aplicación de tratamientos cuantitativos a la comunicación escrita, producto tangible de la investigación. La bibliometría parte de la necesidad de cuantificar ciertos aspectos de la ciencia para poder comparar, medir y objetivar la actividad científica (2).

En la Grecia antigua se había ideado un procedimiento para determinar la extensión o medida de los manuscritos con base en distintos coeficientes, a lo cual se llamó 'esticometría', que se empleó para estimar costos y remuneraciones, con lo cual nace un procedimiento matemático básico aplicado a la producción del intelecto para poder medirlo (3). La antesala de la bibliometría como tal fue la 'bibliografía estadística'. El primer trabajo reconocido en esta disciplina correspondió a Cole y Eales en 1917, quienes analizaron publicaciones sobre anatomía comparada entre 1550 y 1860, con distribución por países y divisiones del reino animal. En 1923 E. Hulme, bibliotecario de la British Patent Office, presentó un análisis estadístico de la historia de la ciencia y en 1926 Gross analizó las referencias hechas en artículos de revistas sobre química indizadas en The Journal of the American Chemistry Society (4).

Si bien fue Ranganathan el primero en mencionar en -1948- la ciencia métrica Librametry, en 1969 Alan Pritchard fue el primero en definir Bibliometrics (bibliometría) como la aplicación de los métodos estadísticos y matemáticos para definir los procesos de la comunicación escrita, la naturaleza y el desarrollo de las disciplinas científicas mediante técnicas de recuento y análisis de la comunicación (5). La bibliometría tiene muchas definiciones, acuñadas por varios autores a través del tiempo, pero algo en común y necesario es la aplicación del método estadístico, de procedimientos matemáticos para tener resultados medibles de la producción científica (6).

¿PARA QUÉ SIRVE LA BIBLIOMETRÍA?

Campos de aplicación

Un nuevo conocimiento producto de la investigación científica adquiere valor cuando se publica y posteriormente, aplicado en el campo específico, contribuye al desarrollo de la sociedad. La bibliometría juega un papel crucial, ya que le da valor medible al resultado de dicha actividad científica; por consiguiente, se puede situar o comparar la creación de 'X' institución, grupo investigativo, país, etc., en relación con otros (7). Al darle valor objetivo a la producción científica en su medio de mayor difusión como son las revistas, la bibliometría ayuda o sirve de referencia para la adquisición de las mismas a instituciones educativas o países.

Dado el gran auge investigativo actual, como en líneas de alto costo, como son los fármacos o incluso investigación genética (genoma), la bibliometría sirve como apoyo para la toma de decisiones y dirección de la investigación, y designar mejor los recursos económicos con una base medible. También contribuye al buen prestigio del investigador, incentivando así el dinamismo de la investigación (8, 9, 10).

Con la aplicación de técnicas bibliométricas se obtiene un panorama global del desempeño y la repercusión de la actividad científica en determinada región, y este dato objetivo sirve como punto de comparación para poder medir las diferencias entre la productividad de las diferentes especialidades científicas y su aporte al desarrollo, con lo cual se hace más fácil entonces la toma de decisiones a la hora de establecer políticas o adjudicar recursos a líneas investigativas, escogencia por parte de investigadores de revistas de gran impacto para publicar sus estudios, apoyo a especialidades de baja productividad (11,12).

Con los requisitos éticos actuales para la realización de trabajos investigativos en humanos y animales surge la bibliometría como una herramienta de fácil acceso que brinda la posibilidad de realizar trabajos investigativos con alta repercusión sin necesidad de usar seres vivos para su realización.

Sus campos de aplicación más frecuentes son:

• Selección de libros y publicaciones periódicas

• Identificación de las características temáticas de la literatura

• Evaluación de bibliografías y de colecciones

• Historia de la ciencia

• Estudio de la sociología de la ciencia

• Determinación de revistas núcleos en determinada temática

• Identificación de los países, instituciones y autores más productivos en un período determinado

• Distribución según idiomas de las fuentes en una temática específica (8,12)

¿COMO SE HACE UNA REVISIÓN BIBLIOMETRÍA?

Clasificación

Teniendo en cuenta los diferentes indicadores bibliométricos al realizar una revisión, como por ejemplo, de alguna revista, se traza la fecha que se va a estudiar o el intervalo de tiempo y posteriormente se buscan los trabajos originales (o todos los trabajos o publicaciones del la revista), y de aquí se toman los datos pertinentes. Ej.: autor, número de firmantes, país de procedencia, índice de productividad, etc. (13, 14). Las revisiones de clasifican en macro, meso o microestudios. Macro engloba el estudio de la producción científica de un país, ciudad o provincia; meso, a instituciones o grupos investigativos, y micro, a investigadores o revistas específicas (15,16).

¿CUÁLES SON LOS INDICADORES BIBLIOMÉTRICOS?

Los índices bibliométricos proporcionan información cuantitativa y objetiva sobre los resultados del proceso de investigación (17, 18). Se emplean para medir la calidad de las publicaciones científicas, por ejemplo, la productividad, o miden el impacto de los trabajos, por ejemplo, el número de citas recibidas, o los análisis de tendencias (19,20).

Los índices bibliométricos parten del número de citaciones o citas (citation index), que son el número de veces que es citado el artículo de un autor, publicado en una revista, como referencia en los artículos o publicaciones de otros autores (21).

Los tres indicadores bibliométricos más conocidos son: el factor de impacto (Impact factor), el índice de inmediatez (Inmediacy Index) y la vida media de los artículos científicos (cited y citing half-life) (22).

El ISI, Institute for Scientific Information (www.isinet.com), calcula y publica los factores de impacto (23). Es una institución privada que apareció en 1955; fue creada por Eugene Garfield y su colega Irving Sher, como una herramienta para recuperar bibliografía, al cabo de dos décadas en su revista de reporte de citas (Journal Citation Report). Se introduce un indicador, el factor de impacto, un instrumento cuantitativo para la evaluación de la calidad de las revistas y que sirve de guía para los lectores más exigentes (24). Actualmente gestiona una importante base de datos que cubre unas 7500 revistas de casi todas las áreas de conocimiento. En general, se considera que las revistas incluidas en la base de datos del ISI están entre las mejores del mundo de sus respectivas especialidades (25). El ISI divide las revistas que indexa en grupos diversos que corresponden a áreas de investigación diferentes. Cada año publica una relación de factores de impacto de las revistas que existen en su base de datos (22, 26,27). Además del ISI encontramos the Social Science Citation Index (SSCI) o el Arts & Humanities Citation Index (AHCI) como fuente de datos para el cálculo de índices bibliométricos (28).

El factor de impacto es un índice que se calcula como un cociente del número de artículos citados de las publicaciones de una revista en un intervalo de tiempo determinado, generalmente los dos últimos años, entre el total de artículos publicados en el mismo periodo de tiempo (29).

El factor de impacto de una revista se calcula cada año (ej.: 2008). Se enumeran las citas que reciben durante dicho año (2008) todos los documentos publicados en la revista en los dos años anteriores (ej.: 2007 y 2006). El número total de citas es el numerador. Se cuentan todos los artículos citables publicados en la revista en dichos años (2007y 2006) y se obtiene el denominador. El factor de impacto se calcula dividiendo el numerador entre el denominador (30).

Nótese que el numerador tiene en cuenta todas las citas que reciben los documentos publicados en la revista, mientras el denominador sólo incluye los artículos citables. Se considera que son artículos citables, fundamentalmente, los artículos originales y las revisiones. Se excluyen las cartas al editor, editoriales, recensiones bibliográficas, etc. (22, 27,31). El resultado del factor de impacto también se puede interpretar de la siguiente manera: Factor de impacto "X" es el número de veces en un año determinado -Ej.: 2008- que en promedio se citó cada artículo publicado por dicha revista en 2006 y 2007.

El índice de inmediatez se calcula como el cociente del número de citaciones de los artículos publicados en el año que se va a calcular entre el número de artículos que pueden ser citados, o citables, en el mismo año (32,47).

Indica el número de veces que en promedio son citados los documentos de una revista el mismo año que se publican, demuestra la rapidez en que son citados los artículos desde que se publican, y es influido por el medio de publicación y su capacidad de difusión (22, 32). figura 1.

Otros índices como el HIRSCH, o índice H, es un indicador de distribución que corresponde al número de ponencias o citaciones de un artículo por encima del umbral de citas (33).

En la figura 1 se resume el concepto de bibliometría, instituciones de citación e índices bibliométricos.

¿Cuáles son ventajas y desventajas de la revisión bibliométrica?

Indicadores bibliométricos como el factor de impacto permiten a las revistas mantenerse inscritas en el ISI, tener buena aceptación en la comunidad científica y captar el interés de los investigadores y los autores a publicar en ellas. Por otra parte, las agencias y grupos que financian la investigación utilizan el factor de impacto para valorar las publicaciones de los solicitantes y asignar los escasos recursos disponibles (21). Es una manera de conocer el esfuerzo que realizan los países para realizar investigaciones (34).

Las revistas incluidas en la base de datos del ISI son más visibles y, en general, tienen más prestigio que las demás. Se otorga mayor puntuación a los trabajos publicados en revistas incluidas en la base de datos del ISI que a los publicados en otras revistas (35).

El cálculo de los indicadores bibliométricos, tal como el factor de impacto de las revistas, depende en gran medida de las citaciones de los artículos publicados, por lo que el cálculo de éstos se puede ver afectado por la manera en que los autores citan los artículos y además de en donde se publican los artículos citados (36,37). El ISI cuenta las citas que cada documento publicado en cada una de las revistas que indexa; si una revista es citada en otra que no está indexada por el ISI, esas citas no cuentan para el factor de impacto (21,38).

El ISI no detalla las citas concretas que utiliza para calcular el factor de impacto, sólo ofrece el número total. Además, para el cálculo del factor de impacto se cuentan tanto las citas que provienen de otras revistas como las que aparecen en artículos publicados en la propia revista. También se cuentan las citas que realizan los investigadores a sus propios artículos (11,39).

Otros problemas que afectan el factor de impacto es el periodo de ventana, que es de dos años. El hecho de que generalmente existen citas en artículos publicados con anterioridad a dos años que no son tenidas en cuenta para el cálculo, pero que debieran ser sumadas para el conteo de citas, o todas aquellas citaciones que son excluidas por inadecuada redacción hacen que el valor de este indicador bibliométrico pueda en ocasiones estar sobreestimado o subestimado (22).

Índices como el de inmediatez tienen el inconveniente de que dependen de la difusión del medio en que se publique; por ejemplo, artículos con buena aceptación en la comunidad científica, que pueden tener buen número de citaciones por otros autores, en su primer año pasen desapercibidos por no aparecer en una revista masiva y sólo hasta el siguiente año, cuando ya es más conocido, es cuando aumenta su citaciones y, por consiguiente, aumentará su factor de impacto (16,32).

Otro aspecto son los artículos publicados en acceso abierto, los cuales son generalmente tomados como referente por grupos de investigación y autores preferiblemente sobre los que generan costos; por consiguiente, los artículos de acceso abierto tienen significativamente mayor impacto y mayores niveles de citación que los artículos de acceso cerrado (32, 40).

Como se resume en la figura 2, las ventajas superan las desventajas, por lo que se inclina la balanza a favor del uso de la bibliometría.

¿POR QUÉ ES IMPORTANTE LA BIBLIOMETRÍA?

La bibliometría como herramienta en la evaluación de la literatura científica es importante debido a varias razones: 1) revisa los métodos y las ediciones positivas y negativas de las revistas, 2) revisa el valor de las publicaciones en las décadas pasadas en una revista en particular, 3) es una herramienta que estimula la creación y promoción de decisiones literarias. Por lo tanto, que se anima a los lectores a usar este método de revisión crítica a pesar de sus limitaciones (41).

La bibliometría puede ofrecer un componente sobre la toma de decisiones en la evaluación de la literatura que se va a escoger. En un ambiente competitivo es importante para una institución mostrar cómo mejorar su misión. En realidad, el resultado de la bibliometría puede ser una herramienta muy poderosa (42).

Al analizar por medio de métodos bibliométricos el impacto científico de las publicaciones en el área de Ciencias de la Salud se crea un paradigma sobre la fidelidad y calidad de dicha información; esto constituye la utilidad crítica que la bibliometría aporta, es decir, realiza una tarea de juez en la evaluación de dichas publicaciones, con sus ya conocidas limitaciones, lo cual no le resta méritos a su función (43).

La ciencia es una fuerza de conducción de nuestra sociedad moderna. Particularmente, el trabajo científico excelente es la horquilla en la brecha del conocimiento mundial, por lo cual la búsqueda de la evaluación científica es crucial (44). Los elementos representativos de calidad de información realizados a partir de la bibliometría son publicados en revistas científicas de alto prestigio, y son juzgados por un público objetivo y a la espera de la mejor información disponible (45, 46). La opinión de expertos puede ser influenciada por elementos subjetivos a la hora de evaluar literatura científica, lo cual puede crear una visión estrecha y un horizonte cognitivo limitado (47, 48). También así, la bibliometría nos permite evaluar con un horizonte crítico áreas del saber diferentes del campo médico como son las humanidades y las ciencias sociales (49,50).

La bibliometría evalúa la relación y engranaje que existe entre los autores, sus publicaciones y las revistas médicas, y se observa que el movimiento de cada uno hace crecer al otro respectivamente, como se resume en la figura 3.

Por otro lado, la selección de motores de búsqueda y bases de datos adecuadas nos permiten acceso a publicaciones científicas de calidad importante. La bibliometría nos permite calificar y determinar el impacto de dichas publicaciones en la comunidad científica y el valor que representan, lo cual, a su vez, nos permite estar con certeza a la vanguardia del conocimiento médico (51).

Hoy día realizar un análisis biliométrico en Latinoamérica y el Caribe es más fácil, ya que contamos con bases de datos hispanoamericanas, como por ejemplo, Scielo, LILACS, Redalyc y Publindex, donde encontramos información de indicadores bibliométricos que nos permiten tomar datos y procesarlos; como ejemplo, al entrar en la interfaz de Scielo hay una opción que se llama "Indicadores Bibliométricos", cuya información actual está desde 2000 al 2007, y podemos escoger indicadores de informes de publicación, colección e informes de citación, y cada uno de estos índices da mayor información detallada por autor, edad de artículos, revista, materia, tipo de documento, etc.

Además, al revisar los artículos de las revistas indexadas en dicha base de datos aparecen claramente servicios que nos ilustran cómo citar el artículo, así como las citaciones que otros autores hacen del mismo, lo que nos permite calcular el factor de impacto, ver el historial de los accesos a artículos, etc. (52). En la figura 4 se muestra el acceso a la página Web que hemos descrito.

CONCLUSIONES

Con el creciente desarrollo científico y, por ende, el número de publicaciones, es necesario y casi que ineludible evaluar de manera objetiva los resultados de la investigación científica, por lo cual la bibliometría se ha convertido un sistema de evaluación muy importante para dicho fin. Al término de un análisis bibliométrico se obtiene un panorama global de la situación de la investigación científica en un determinado país, de una revista, de un autor, etc. Esto permite poder comparar las diferentes situaciones de desarrollo científico entre regiones, autores, revistas, y medir objetivamente su crecimiento o retroceso.

Es muy importante conocer los índices bibliométricos con sus limitaciones, ya que de su adecuada aplicabilidad dependerá la confiabilidad de los resultados en los análisis bibliométricos. Se recuerda que de estos resultados dependerá la toma de decisiones en múltiples campos, como en la subscripción a revistas, adjudicación de recursos a líneas investigativas, prestigio de autores o universidades, complemento objetivo a revisión por pares, etc.

A pesar de las limitaciones de la bibliometría o sus índices bibliométricos, actualmente es una herramienta útil para medir el resultado de la actividad investigadora y comprender muchos fenómenos que anteriormente eran difíciles de objetivar en el ámbito científico. De todas maneras, evaluar o medir el resultado de la actividad científica no es fácil, hay muchas variables que infieren en el desarrollo científico de una sociedad, grupo investigativo, autor, etc. Como la tecnología, la cultura, la economía, que pueden cambiar sustancialmente los resultados de cualquier investigación, además de los diferentes métodos no éticos de que se pueden valer los autores o revistas para incrementar su favorabilidad al aplicarles índices bibliométricos.

De todos los índices bibliométricos, el factor de impacto es el más utilizado. Se recuerda que éste mide la calidad de una revista, mas no la calidad de los artículos o autores. Es una medida útil al momento de escoger una revista bien sea para publicar un artículo o para suscribirse.

Hay que recordar que no sólo existe la bibliometría como herramienta para la comprensión de la producción de la actividad científica, lo mismo que para cada problema específico o especialidad que se afronta, existe un indicador específico, por lo que no es recomendable ni sería una buena práctica utilizar sólo un indicador para evaluar la actividad investigadora; sobre todo si las disciplinas son de diferentes áreas o líneas investigativas. A pesar de sus limitaciones, la bibliometría se ha convertido en una herramienta útil y práctica para medir y objetivar los resultados de la investigación científica, volviendo tangible procesos, y así haciendo más fácil la toma de decisiones y realización de políticas de desarrollo en países, ciudades, universidades, entre otras.

Hay que contextualizar los resultados de los análisis bibliométricos, ya que conociendo sus ventajas y desventajas, éstos no serán siempre un reflejo de la calidad de la producción científica, como sí de su cantidad.

Conflicto de interés: Ninguno.

Financiación: Universidad del Norte.

REFERENCIAS

1. Bibliometrics - Publication Analysis as a Tool for Science Mapping and Research Assessment. The Karolinska Institutet Bibliometrics Project Group. Karolinska Institutet University Library. 2008-10-09, version 1.3.        [ Links ]

2. Bibliometric analysis of scientific and technological research: A user's guide to the methodology. Science and technology redesign project statistics Canada September 1998.        [ Links ]

3. Ríos DR. La bibliometría: nivel de penetración en la enseñanza bibliotecológica universitaria y su aplicación en el campo bibliotecario en los países del MERCOSUR. http://www.ifla.org/IV/ifla66/papers/162-127s.htm        [ Links ]

4. Spinak E. Diccionario enciclopédico de bibliometría, cienciometría e informática. Caracas: Unesco; 1996.        [ Links ]

5. Pérez-Matos N. La bibliografía, bibliometría y las ciencias afines. Ciudad de La Habana, (Cuba). ACIMED. http://scielo.sld.cu/scielo.php?pid=S1024-94352002000300001&script=sci_arttext        [ Links ]

6. Tague J.what's the use of bibliometrics? Informetrics 1988;8: 271-278.        [ Links ]

7. Tricco A, Runnels V, Sampson M, Bouchard L. Shift in the use of population health, health promotion, and public health. Can J Public Health 1999; 90 (Suppl 1): S7-S10.        [ Links ]

8. Koskinen J, Isohanni M, Paajala H, Jääske-läinen E, Nieminen P, Koponen H et al. How to use bibliometric methods in evaluation of scientific research? An example from Finnish schizophrenia research. Nord J Psychiatry 2008; 62 (2).        [ Links ]

9. Hood W, Concepción W. The literature of bibliometrics, scientometrics, and informetrics. Scientometrics 2001; 52 (2): 291-314.        [ Links ]

10. Thelwall M. Bibliometrics to Webometrics. Journal of information sciencie 2007 34 (4): 1-18.        [ Links ]

11. Berkowitz P. Bibliometric indicators - use with caution. 2005. Disponible en: URL: http://www.universityaffairs.ca/bibliometric-indicators-use-with-caution.aspx.        [ Links ]

12. Sylvan Katz j, Bibliometric Indicators and the Social Sciences, 1999. Disponible en: URL: http://www.sussex.ac.uk/Users/sylvank/pubs/ESRC.pdf        [ Links ]

13. Chalmers I. Evaluation "payback" on biomedical research. Biomedical funding decisions should be audited. Br Med J 2000; 321: 566.        [ Links ]

14. Lewinson G. The definition af biomedical research subfields with title keywords and application to the analysis of research output. Res Eval 1996; 6: 25-36.        [ Links ]

15. Franks A, Simoes E, Singh R, Sajor Gray B. Assessing Prevention Research Impact A Bibliometric Analysis. Am J Prev Med 2006;30(3):211-216.        [ Links ]

16. Sylvan Katz j, Hicks D, Indicators for Systems of Innovation - a bibliometrics-based approach 1998. Disponible en: [URL: http://dlist.sir.arizona.edu/95/01/Idea12.pdf].        [ Links ]

17. Geisler E. The metrics of science and technology. Wesport CT: Quorum Books.        [ Links ]

18. Lutman M. Bibliometric analysis as a measure of scientific output. Br J Audiol 1992; 26 (6): 323-4.        [ Links ]

19. Chaviano O G. Algunas consideraciones teórico-conceptuales sobre las disciplinas métricas. Acimed 2004; 12(6).        [ Links ]

20. Campanario JM. Cómo escribir y publicar un artículo. Cómo estudiar y aumentar su impacto. Rev Esp Doc Cient; 26: (4).        [ Links ]

21. Feather J, Sturges P Citation Analyis. International Encyclopaedia of Information and Library Science. 2^a ed. 2003.        [ Links ]

22. Caballero-Uribe C V, Cuello M, Lubo A, Martínez D, Marriaga A, Ospino F, et al. El factor de impacto en la evaluación de las revistas biomedicas. Salud Uninorte 2006; 22 (2): 92-104.        [ Links ]

23. Cluzeau F, Littlejohns P, Grimshaw J, Feder G, Moran S. Development and application of a generic methodology to assess the quality of clinical guidelines. Int J Health Care 1999; 11: 23-8.        [ Links ]

24. Seglen PO. Qhy the impact factor of journals should not be used for evaluating research. Education and debate. Br Med J 1997; 314: 498-502.        [ Links ]

25. The impact-factors debate: the ISI's uses and limits. Towards a critical, informative, accurate and policy-relevan tbibliometrics. Nature 2002; 415: 731-2.        [ Links ]

26. Derek R. Smith. Bibliometrics, citation indexing, and the journals of nursing. Nursing and Health Sciences 2008; 10: 260 -265.        [ Links ]

27. Andersen J, Belmont J, Cho cheng T, Journal impact factor in era of expanding literatura. J Microbiol Immunol Infect. 2006; 39: 436-443.        [ Links ]

28. Anthony F. J. van Raan. The use of bibliometric analysis in research performance assessment and monitoring of interdisciplinary scientific developments. Technikfolgenab schatzung Theorie und Praxis/Technology Assessment-Theory and Practice 2003 march; 1(12): 20-29.        [ Links ]

29. Alviz-Guzmán N, Dela Hoz-Restrepo F. Producción científica en ciencias de la salud en Colombia 1993-2003. Rev Salud Pública 2006; 8 (1): 25-37.        [ Links ]

30. Garfield E. The meaning of the impact factor. Int J Clin Health Psychol 2003; 3: 363-69.        [ Links ]

31. Campanario JM. El factor de impacto de las revistas académicas.http://www.uah.es/otrosweb/jmc. 27 de junio de 2006.        [ Links ]

32. Prakasan ER,Sagar A, Kalyane VL, Minimum impact and immediacy of citations to physics openarchives of arXiv. org: Science Citation Index based reports. http://cogprints.org/4272/1/Final-21-04-05_new.pdf.        [ Links ]

33. WHITEPAPER USING BIBLIOMETRICS: A guide to evaluating research performance with citation data. Thomson Reuters. Dirección URL: http://stientific.thomsonreuters.com.        [ Links ]

34. Bordons M, Zuleta MA. Evaluación de la actividad científica a través de indicadores bibliométricos. Rev Esp Cardiol 1999;52: 790-800.        [ Links ]

35. Alexander, Jane; Tate, Marsha. Teaching Critical Evaluation Skills for World Wide Web Resources. [1999 Mar 25]. http://www.pubmedcentral.nih.gov.libaccess.lib.mcmaster.ca/redirect3.cgi?&&auth=0bUvVbxh6SFSPfno7nXW8L_JLmjmkHl3d_eQr7kJe&reftype=extlink&artid=1761706&article-id=1761706&iid=140713&issue-id= 40713&jid=224&journal-id=224&FROM=Article%7CCitationRef&TO=External%7CLink%7CURI&rendering-type=normal& & URL: http://www.scien-ce.widener.edu.libaccess.lib.mcmaster.ca/~withers/alaslides/pptfirst.htm.        [ Links ]

36. Gar. eld E, Welljams-Dorof A. Citation data: their use as quantitativ e indicators for science and technology evaluation and policy-making. Sci Public Policy 1992; 19: 321-7.        [ Links ]

37. Wallin J. Bibliometric Methods: Pitfalls and Possibilities. : Basic & Clinical Pharmacology & Toxicology. 2005, Nov.; 97(5):261-275 (15).        [ Links ]

38. Hicks D, Tomizawa H, Saitoh Y, Kobayashi S. Bibliometric techniques in the evaluation of federally funded research in the United States. Research Evaluation 2004 Aug; 13(2):78-86(9).        [ Links ]

39. Seglen PO. Causal relationshi p between article citednes s and journal impact. J Am Soc Inform Sci 1994; 45: 1-11.        [ Links ]

40. Harnad et al. 2004. Comparing the Impact of Open Access (OA) vs. Non-OA Articles in the Same Journals. D-Lib Magazine 2004 Jun; 10 (6).        [ Links ]

41. Klein W. Bibliometrics: The best available information? http://www.haworthpress.com/web/SWHC.        [ Links ]

42. Holden G, Rosenberg G, Barker K. Bibliometrics: A potential decision making aid in hiring, reappointment, tenure and promotion decisions. http://www.haworthpress.com/web/SWHG        [ Links ]

43. Franks A, Simoes E, Singh R, Sajor B, Asses sing prevention research impact: a bibliometric analysis. Am J Prev Med 2006; 30 (3): 211-216.        [ Links ]

44. Silberg, WM, Lundberg GD, Musacchio RA. Assessing, controlling, and assuring the quality of medical information on the Internet: Caveant lector et viewor--Let the reader and viewer beware. JAMA 1997Apr 16; 277(15):1244-5.doi: 10.1001/jama.277.15.1244.        [ Links ]

45. Synnesdtvedt M, Chen C. Visualizing AMIA: A medical Informatics Knowledge Domain Analysis. AMIA Annu Symp Proc 2003. p. 1024.        [ Links ]

46. Otero P et al. Evolution of medical informatics in bibliographic databases. Medinfo 2004; 11 (1): 301-5.        [ Links ]

47. Van Raan A. The use of bibliometrics analysis in research performance assessment and monitoring of interdisciplinary scientific development. Technikfolgenabschatzung 2003 enero-marzo; 1 (12):S. 20-29.        [ Links ]

48. Glanzel W. BIBLIOMETRICS ASA RESEARCH FIELD. A course on theory and application of bibliometric indicators. COURSE HANDOUTS. 2003. Disponible en: URL: http://www.norslis.net/2004/Bib_Module_KUL.pdf.        [ Links ]

49. Archambault E. Vignola Gagné E. The Use of Bibliometrics in the Social Sciences and Humanities. Prepared for the Social Sciences and Humanities Research Council of Canada (SSHRCC). 2004. Disponible en: URL: http://www.sciencemetrix.com/pdf/SM_2004_008_SSHRC_Bibliometrics_Social_Science.pdf.        [ Links ]

50. Russell J, Rousseau R. BIBLIOMETRICS AND INSTITUTIONAL EVALUATION. Disponible en : URL : http://www.vub.ac.be/BIBLIO/itp/lecturers/ronald_rousseau/ronald_roussea_stim1_bibliometrics_russell.pdf        [ Links ]

51. Castrillón - Estrada J A, García Domínguez J C, Anaya Taboada M, Rodríguez Berdugo D, De la Rosa Barranco D, Caballero-Uribe CV. Bases de datos, motores de búsqueda e índices temáticos: herramientas fundamentales para el ejercicio médico. Salud Uninorte 2008; 24(2): 96-119.        [ Links ]

52. www.Scielo.org. Consultado junio 2009        [ Links ]