SciELO - Scientific Electronic Library Online

 
vol.33 issue2Oncological outcomes in non-seminomatous testicular tumors and residual mass after cisplatin-based chemotherapyEstradiol/testosterone ratio: unveiling links between hormones, sexual function, and health in chronic non-communicable diseases author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Urología Colombiana

On-line version ISSN 2027-0119

Urol. Colomb. vol.33 no.2 Bogotá Jan./June 2024  Epub June 25, 2024

https://doi.org/10.24875/ruc.23000099 

Artículos originales

Análisis bibliométrico de ChatGPT como herramienta emergente en la salud

Bibliometric analysis of ChatGPT as an emerging tool in health

Valentina Melo-Pedroza1 
http://orcid.org/0000-0002-1873-7815

Manuela Jaramlllo-Slerra2 
http://orcid.org/0000-0002-3872-8641

Gabriela Prieto-Angarita3 
http://orcid.org/0009-0004-9951-2109

Andrea Ascencio-Medina4 
http://orcid.org/0009-0004-2852-9210

Catalina Solano 5   6   * 
http://orcid.org/0000-0002-4088-1848

1 Departamento de Urología, Fundación Santafé de Bogotá, Bogotá, Colombia;

2 Departamento de psiquiatría, Fundación Santafé de Bogota, Bogotá D.C., Colombia;

3 Departamento de Urgencias, Hospital Universitario de Santander, Bucaramanga, Colombia;

4 Ayudantía quirúrgica, Clínica del country, Bogotá;

5 Departamento de Endourología, Uroclin, Medellín, Colombia;

6 Progressive Endourological Association for Research and Leading Solutions (PEARLS), París, Francia


Resumen

Objetivo:

ChatGPT (transformador preentrenado generativo de Chatbot) es un sistema generativo preentrenado basado en la arquitectura GPT-3.5, que fue presentado en noviembre de 2022. Este simula una conversación habitual al responder preguntas y tiene gran lugar en la redacción científica. Nuestro objetivo es identificar y analizar la tendencia de las publicaciones sobre ChatGPT en el ámbito de la medicina a nivel mundial desde su lanzamiento.

Método:

Se incluyeron artículos desde su origen (2022) hasta abril de 2023 mediante las bases de datos Medline y Embase. Evaluamos el factor de impacto (FI) 2021, el Journal Citation Reports (JCR) por medio de Clarivate Analytics y el índice H por medio de SCImago. Realizamos un análisis por mapeo mediante VOSViewer y se graficaron los datos.

Resultados:

Se obtuvieron 533 artículos de los cuales al ser depurados fueron elegidos 309. La revista Cureus y medRxiv encabezan el top diez con la mayor cantidad de publicaciones. Tan solo tres revistas de urología tienen sus publicaciones relacionadas con el tema. EE.UU., Inglaterra y Países Bajos son líder y el tipo de publicación más frecuente fueron los artículos originales (22,7%).

Conclusiones:

ChatGPT es el inicio de una nueva era que nos facilitará algunos procesos en el área de la salud. La literatura médica se encuentra investigando en busca de sus utilidades y desventajas. Es necesario conocer los alcances y limitaciones de este tipo de chatbot para aplicarlo en el panorama médico sin que sobrepase los márgenes de la ética.

Palabras clave: Inteligencia artificial; Internet; Educación; Tecnología

Abstract

Objective:

ChatGPT is an AI (artificial intelligence) pre-trained based in GPT-3.5 architecture, which was launched in November 2022. This AI simulates an every-day chat, responding to different sorts of topics and its widely used in scientific production. Our objective is to identify and analyze the publication trends about ChatGPT and its uses in medicine around the world.

Method:

Published article since ChatGPT launch (2022) until April 2023 were included. Medline and Embase data bases were used to run the search. We evaluated the impact factor (IF) 2021, the Journal Citation Reports (JCR) using Clarivate Analytics and H index using SCImago. We also used map analysis through VOSViewer and graphed the data.

Results:

The search gathered 533 articles which were reduced and picked 309 of them. Cureus journal and medRxiv lead the most publications top ten. Only three of the urology-related journals have publications regarding ChatGPT. USA, England and Netherlands are the countries with most scientific productions and the most frequent type of article were original articles (22.7%).

Conclusion:

ChatGPT may be the beginning of a new worldwide era which will ease-up several processes in healthcare. Different medical sciences are investigating around this tool looking for opportunities and disadvantages. It is fundamental to know the uses and limitations with this type of chatbot for applying it in healthcare without trespassing ethical boundaries.

Keywords: Artificial intelligence; Internet; Education; Technology

Introducción

El ChatGPT fue desarrollado por Open AI con el objetivo de imitar conversaciones humanas mediante réplicas a palabras clave que son reconocidas mediante algoritmos programados1. Fue conocido y rápidamente viralizado desde el 30 de noviembre del año 2022 y se dispuso de manera gratuita. Está construido a partir de un modelo de lenguaje GPT-3.5 y, aunque no es el primer sistema de inteligencia artificial generativa, destaca sobre los modelos anteriores por su amplio procesamiento de lenguaje natural. Por ejemplo, genera escritura recreativa desde poesía hasta conversaciones con sentido propio. Asimismo, logra generar contenido de diferente tipo, como texto y archivos multimedia a partir de los datos con los cuales fue previamente entrenado2. Gracias a su capacidad de dar respuesta a todo tipo de cuestión, reúne una amplia variedad de usuarios que comprende distintas generaciones, campos y continentes3.

La medicina es un área de base científica que se apoya en la tecnología para facilitar los procesos que esta requiere. Este tipo de inteligencia artificial es una tecnología de asistencia como la realidad virtual, las cuales fueron creadas para remodelar flujos de trabajo4. Por lo cual se convierte en un foco de interés para el área de la salud. Indudablemente, todo sistema tiene sus fallas y limitaciones. Sin embargo, el ChatGPT posee la facultad de mejorar su rendimiento mediante técnicas de aprendizaje automático para atender a las necesidades de una manera más exacta y por consecuencia obtener resultados reales1. Aparentemente, este sistema automatizado es apto tanto para orientar un diagnóstico avanzado (asistido por computador), como para respaldar decisiones, terapias y rehabilitación médica4. De manera que este material podría favorecer el proceso de aprendizaje.

Por otro lado, está involucrado en la academia, principalmente en el área de la salud. Se ha visto que permite resolver exámenes de medicina tanto de pre-grado como posgrado5. La preocupación radica en la integridad académica ante su función de generar textos2. De modo que no se ha establecido si sobrepasa los límites éticos y se desconoce hasta qué punto reemplazaría esta labor científica que el humano ha desarrollado y perfeccionado. En síntesis, ChatGPT es una herramienta novedosa que tiene su lugar en el área de la salud. Razón que nos motivó a tener como objetivo en este manuscrito identificar y analizar la tendencia de las publicaciones sobre ChatGPT en el ámbito de la medicina a nivel mundial desde su lanzamiento.

Método

Se realizó un análisis bibliométrico descriptivo, de corte retrospectivo, tomando literatura médica disponible en las bases de datos de Medline y Embase relacionado con ChatGPT en el área de la salud, desde el 2022 hasta el 2023, como se mencionó previamente.

Búsqueda y análisis bibliométrico

Las dos bases de datos fueron consultadas en abril de 2023 utilizando la estrategia de búsqueda: (ChatGPT) [Title/Abstract]. Incluimos artículos originales, cartas al editor, opiniones, comentarios y reportes de casos, entre otros, con el propósito de abarcar todo el material literario disponible. Se tuvieron en cuenta solo artículos en inglés. Obtuvimos información sobre: tipo de documento, número de publicaciones por revistas y países. Para obtener el factor de impacto (FI) utilizamos el Journal Citation Reports 2021 (Clarivate, London) para estimar la calidad de las revistas y estimamos el índice H mediante SCImago. Analizamos estos datos de manera estadística y descriptiva para la obtención de resultados. Posteriormente elaboramos tablas y gráficas con el programa Microsoft Office Excel (2021, versión 18.0).

Análisis por mapeo

Realizamos un mapeo bibliográfico mediante la herramienta VOSViewer (Centre for Science and Technology Studies, Universiteit Leiden, Países Bajos), el cual nos permite exponer las áreas de investigación de mayor a menor frecuencia y/o importancia y el comportamiento de la tendencia en las palabras claves sobre nuestro tema de interés. En consecuencia, se evaluaron las correlaciones de palabras clave y de palabras clave en relación con título y resumen por técnicas de agrupamiento. Estimamos el Total Link Strength (TLS), que es la fuerza total de enlace, la cual establece cuánto se relaciona un ítem respecto a todos los demás. También se identificaron las interacciones de palabras clave de título y resumen con el objetivo de mapear el predominio de conocimiento científico. Finalmente, desarrollamos el análisis de coocurrencia para describir los campos y direcciones de la investigación.

En la figura 1 exponemos nuestra estrategia de búsqueda y elección de artículos incluyendo 309 relacionados con ChatGPT en el área de la salud desde el 2022. Como es un tema tan novedoso, identificamos que los artículos originales y las cartas al editor son los tipo de documentos más encontrados, como se ilustra en la figura 2.

Figura 1 Criterios de búsqueda. 

Figura 2 Tipo de documentos. 

En la tabla 1 observamos el top 10 de las revistas relacionadas con nuestro tema de interés, donde encontramos que la mayoría de ellas son estadounidenses, con el mayor número de publicaciones en total frente a otros países, sin embargo el factor de impacto más alto es de Nature (revista inglesa) y por consiguiente, tiene un mayor índice H.

Tabla 1 Top 10 de revistas relacionadas con la búsqueda 

Rango Revista País Publicaciones IF (2021) JCR (2021) indice H
1 medRxiv - 33 - - -
2 Cureus Estados Unidos 21 - Q3* -
3 Nature Inglaterra 18 69.504 Q1 1276
4 Annals of biomedical engineering Estados Unidos 11 4.219 Q2 141
5 Aesthetic surgery journal Estados Unidos 7 4.485 Q1 66
6 Accountability in research Estados Unidos 6 3.057 Q2 31
7 Radiology Estados Unidos 6 29.146 Q1 307
8 Journal of educational evaluation for health professions Corea del sur 5 - Q3 11
9 Medical teacher Reino Unido 5 4.277 Q1 119
10 Annals of surgical oncology Estados Unidos 4 4.339 Q1 184
•2020

La figura 3 representa el panorama actual de mayor número de publicaciones relacionadas con nuestro tema alrededor del mundo. A modo general, el continente con mayor número de publicaciones es América (especialmente América del norte) seguido de Europa y Asia respectivamente. EE.UU. encabeza el top 10 de los países con mayor número de publicaciones (126), seguido de Inglaterra (63) y Países Bajos (12). Los países asiáticos que registraron publicaciones en nuestra búsqueda tenían cinco o menos publicaciones. Particularmente, en el 2022 tan solo fueron publicados ocho artículos (2,5%) y la mayoría durante el primer periodo del 2023.

Figura 3 Mapa mundial basado en el total de publicaciones por país/región. 

Las palabras clave que fueron más frecuentemente encontradas por coocurrencia se exponen en la tabla 2. El top 3 en orden de mayor repetición se dispone así: «inteligencia artificial», «ChatGPT» y «humanos». Con una fuerza total de enlace de 129, 81 y 61 respectivamente.

Tabla 2 Top 17 coocurrencia de palabras clave 

Rango Palabras clave Frecuencia TLS Rango Palabras clave Frecuencia TLS
1 Inteligencia artificial (ai) 68 129 10 Medical Education 8 24
2 Chatgpt 64 81 11 Writing 8 21
3 Humans 42 61 12 Literary paternity 8 27
4 Machine Learning 18 35 13 Chatbots 7 12
5 Ethics 12 33 14 Large language models 6 13
6 Publication 12 29 15 Software 5 12
7 Chatbot 11 27 16 Education 5 »
8 Natural Language Processing 10 24 17 Communication 5 7
9 Language 10 14

A continuación en la figura 4, respecto al mapeo mediante VOSviewer, se describen los tres grupos principales (mayoría de ítems). Grupo 1 (rojo) «futuro e innovación», que incluye: inteligencia artificial, ChatGPT, educación, procesamiento natural del lenguaje, educación médica y grandes modelos de lenguaje. Grupo 2 (verde) «investigación/publicaciones», que se compone de: aprendizaje automático, escritura, publicación, chatbots, ética. Grupo 3 (azul) «acceso a información», abarca: humanos, lenguaje, software y comunicación.

Figura 4 Coocurrencia de palabras clave. 

En el siguiente mapa (Fig. 5) graficamos la coautoría. Es decir, el enlace entre autores que comparten publicaciones tomando en cuenta tres artículos, con una fuerza total de enlace entre estos de 12. Como se puede ver en la figura 6, se ilustra por grupos la coocurrencia que existe entre los términos incluidos en título y resumen, siendo las más importantes «modelo de lenguaje», «paciente», «importancia», «autor», «impacto» y «caso».

Figura 5 Relación entre coautoría.  

Figura 6 Coocurrencia de términos entre título y resumen. 

En nuestro análisis por mapeo también identificamos que dentro de los términos más empleados actualmente se encuentran la inteligencia artificial, ChatGPT, educación médica, y humanos, por lo que se está enfocando en la posible relación de la inteligencia artificial y su impacto en la educación en un futuro, el cual aún estamos en búsqueda de esta dirección.

Discusión

El ChatGPT es una herramienta de inteligencia artificial que si bien no es la primera, ha sido revolucionaria por sus amplias características, pues abarca respuestas desde entretenimiento hasta el área de investigación más avanzada. Se han descrito diferentes utilidades en medicina tanto en la academia, resolución de exámenes, interpretación de exámenes médicos y redacción de textos científicos, este último ha sido altamente controvertido. A pesar de ser tan reciente se dispone de bastante literatura en nuestra área de interés teniendo en cuenta que la mayoría de artículos obtenidos son del presente año. EE.UU. es el país que lidera este tipo de publicaciones, lo cual es consistente con que sea el país más avanzado en tecnología actualmente.

Encontramos que la tendencia actual de publicaciones sobre ChatGPT en medicina incluye: comparaciones entre el sistema y estudiantes en interpretación de resultados de laboratorio; análisis de su rendimiento en responder exámenes avanzados de admisión o exámenes de pregrado de medicina y su comparación con el rendimiento de los estudiantes, y algunos tienen como objetivo evaluar su capacidad de redacción científica. En pocas palabras, los objetivos son evaluar su utilidad en la educación, investigación y práctica médica6-8.

Abdel et al. evaluaron a Chat GPT en un caso clínico de toxicología, considerándose sencillo para ser resuelto por un clínico. Su respuesta en dos ocasiones preguntada arrojó dos propuestas de tratamiento que coincidían con los estándares de manejo indicados9. Por lo contrario, Balel en su artículo realizó 30 preguntas a Chat GPT, de las cuales la mitad de las preguntas fueron realizadas por pacientes y las restantes realizadas por especialistas (se empleó tecnicismo acerca de cirugía maxilofacial). ChatGPT proporcionó información razonable, precisa y útil para los pacientes, pero no tuvo buen desempeño cuando se trataban de las preguntas técnicas avanzadas10.

Por otra parte, algunas especialidades médicas y otros campos de la salud han contribuido con su publicación con el ánimo de evaluar el desempeño de este chatbot en sus campos, como lo son: cirugía plástica11, psiquiatría12, neurología13, medicina interna14, ginecología y obstetricia15, oncología16 y ortopedia17, entre otras. Encontramos tres revistas urológicas con alta calidad científica las cuales aportaron su artículo en este campo. Andrew et al. evaluaron la posibilidad de facilitar tareas de baja complejidad a los urólogos con el objetivo de impactar en su dinámica de trabajo y permitirles enfocarse en lo esencial18.

Adicionalmente, las revistas Annals of Biomedical Engineering, Radiology, Journal of Educational Evaluation for Health Profession y Annals of Surgical Oncology encabezan la investigación hacia una futura transformación de la práctica de la medicina. Sallam et al. en su artículo indican que la inteligencia artificial podría ayudar a la mejora de los diagnósticos y la predicción de riesgos8.

Aunque ChatGPT cumpla funciones de redacción y sean similares a la redacción científica realizada por el hombre, algunos autores creen que es muy pronto confiar en esta función, pues no supera a los científicos reales19,20. Es necesario precisar objetivamente la tasa de certeza que este sistema alcanza, así como su potencial margen de error, el cual en ocasiones es altamente detectable. Debido a que es una herramienta relativamente nueva, el periodo de búsqueda no abarca más allá de cinco meses, por lo cual nos limita a tener un amplio panorama del tema y por consiguiente no contamos con estudios de una alta jerarquía científica. Sin embargo creemos que es un buen comienzo para impulsar el conocimiento y motivar nuevas publicaciones. Adicionalmente, la tecnología siempre será la base de nuevos conocimientos que nos permitirá avanzar en la práctica y educación médica, sin embargo no debe dejarse a un lado el compromiso ético.

Conclusiones

ChatGPT es un nuevo sistema con potencial efecto benéfico en muchas áreas de la medicina. Este es el primer análisis bibliométrico colombiano acerca de este tema, desconocemos los alcances o compromisos éticos que pudieran generar las acciones de la inteligencia artificial, por lo que se encuentra esta herramienta en estudio. Por lo anterior, se esperan estudios de mayor peso científico para dar continuidad a la evaluación de este nuevo sistema y su aplicación en medicina.

Bibliografía

1. Salvagno M, Taccone FS, Gerli AG. Can artificial intelligence help for scientific writing? Crit Care. 2023;27(1):75. [ Links ]

2. Eke DO. ChatGPT and the rise of generative AI: Threat to academic integrity? J Responsible Technol. 2023;13:100060. [ Links ]

3. Sedaghat S. Early applications of ChatGPT in medical practice, education and research. Clin Med. 2023;23(3):278-9. [ Links ]

4. Strunga M, Urban R, Surovková J, Thurzo A. Artificial intelligence systems assisting in the assessment of the course and retention of orthodontic treatment. Healthcare. 2023;11(5):683. [ Links ]

5. Temsah O, Khan SA, Chaiah Y, Senjab A, Alhasan K, Jamal A, et al. Overview of early ChatGPT's presence in medical literature: insights from a hybrid literature review by ChatGPT and human experts. Cureus. 2023;15(4):e37281. [ Links ]

6. Hosseini M, Gao CA, Liebovitz D, Carvalho A, Ahmad FS, Luo Y, et al. An exploratory survey about using ChatGPT in education, healthcare, and research. medRxiv [Preprint]. 2023;2023.03.31.23287979. [ Links ]

7. Alkaissi H, McFarlane SI. Artificial hallucinations in ChatGPT: implications in scientific writing. Cureus. 15(2):e35179. [ Links ]

8. Sallam M. ChatGPT utility in healthcare education, research, and practice: systematic review on the promising perspectives and valid concerns. Healthcare. 2023;11(6):887. [ Links ]

9. Sabry Abdel-Messih M, Kamel Boulos MN. ChatGPT in clinical toxicology. JMIR Med Educ. 2023;9:e46876. [ Links ]

10. Balel Y. Can ChatGPT be used in oral and maxillofacial surgery? J Stomatol Oral Maxillofac Surg. 2023;124:101471. [ Links ]

11. Gupta R, Park JB, Bisht C, Herzog I, Weisberger J, Chao J, et al. Expanding cosmetic plastic surgery research using ChatGPT. Aesthet Surg J. 2023;43(8):930-7. [ Links ]

12. Zhong Y, Chen YJ, Zhou Y, Lyu YAH, Yin JJ, Gao YJ. The Artificial intelligence large language models and neuropsychiatry practice and research ethic. Asian J Psychiatry. 2023;84:103577. [ Links ]

13. Ros-Arlanzón P, Pérez-Sempere A. [ChatGPT: a novel tool for writing scientific articles, but not an author (for the time being)]. Rev Neurol. 2023;76(8):277. [ Links ]

14. Nguyen Y, Costedoat-Chalumeau N. [Artificial intelligence and internal medicine: The example of hydroxychloroquine according to ChatGPT]. Rev Med Intern. 2023;44(5):218-26. [ Links ]

15. Grünebaum A, Chervenak J, Pollet SL, Katz A, Chervenak FA. The exciting potential for ChatGPT in obstetrics and gynecology. Am J Obstet Gynecol. 2023;228(6):696-705. [ Links ]

16. Hopkins AM, Logan JM, Kichenadasse G, Sorich MJ. Artificial intelligence chatbots will revolutionize how cancer patients access information: ChatGPT represents a paradigm-shift. JNCI Cancer Spectr. 2023;7(2):pkad010. [ Links ]

17. Bernstein J. Not the last word: ChatGPT can't perform orthopaedic surgery. Clin Orthop. 2023;481(4):651-5. [ Links ]

18. Gabrielson AT, Odisho AY, Canes D. Harnessing generative artificial intelligence to improve efficiency among urologists: welcome ChatGPT. J Urol. 2023;209(5):827-9. [ Links ]

19. Gordijn B, Have H. ChatGPT: evolution or revolution? Med Health Care Philos. 2023;26(1):1-2. [ Links ]

20. Fulton JS. Authorship and ChatGPT. Clin Nurse Spec. 2023;37(3):109. [ Links ]

Financiamiento La presente investigación no ha recibido ninguna beca específica de agencias de los sectores públicos, comercial o con ánimo de lucro.

Responsabilidades éticas

Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.

Uso de inteligencia artificial para generar textos. Los autores declaran que no han utilizado ningún tipo de inteligencia artificial generativa en la redacción de este manuscrito ni para la creación de figuras, gráficos, tablas o sus correspondientes pies o leyendas.

Recibido: 26 de Septiembre de 2023; Aprobado: 23 de Febrero de 2024

*Correspondencia: Catalina Solano-Mendoza E-mail: catasolano84@gmail.com

Conflicto de intereses

Los autores declaran no tener ningún tipo de conflicto de interés.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons