¹ Psiquiatra, Msc. Profesor, Departamento de Psiquiatría, Universidad Nacional de Colombia. Bogotá, Colombia.
² Psiquiatra, Master. Profesora, Departamento de Psiquiatría, Universidad Nacional de Colombia. Psiquiatra, Grupo Salud Mental, INC, E. S. E. Bogotá, Colombia.

Correspondencia
Luis E. Jaramillo
Facultad de Medicina of. 202
Universidad Nacional
Carrera 45 No. 26-85
Bogotá, Colombia
lejaramillog@gmail.com.

Conflictos de interés: Los autores manifiestan que no tienen conflictos de interés en este artículo.

Recibido para evaluación: 15 de diciembre de 2011 - Aceptado para publicación: 18 de mayo de 2012

Resumen

La formación de especialistas médicos es un proceso largo y complejo, cuyo objetivo primordial es garantizarle a la sociedad que sean profesionales idóneos para atender las necesidades de salud de la población. El primer paso para garantizar este objetivo es el proceso de admisión. En psiquiatría, como en otras especialidades, este proceso, el seguimiento a los residentes y los criterios utilizados para cada uno, son diferentes en cada país. En Colombia la admisión es un proceso heterogéneo, no estandarizado, que varía de manera significativa de una universidad a otra, incluso entre las mismas instituciones pertenecientes al sector público y entre aquellas de carácter privado. En la Universidad Nacional de Colombia el proceso de admisión está centralizado en la Oficina de Admisiones e incluye un examen escrito, en el que se debe obtener la puntuación estipulada como punto de corte o más, la calificación de la hoja de vida y una entrevista. El Comité Docente del Departamento de Psiquiatría consideraba que el procedimiento de admisión en general era bueno, pero, al igual que todo proceso de selección, imperfecto. Con base en esta consideración, la experiencia de algunos docentes y apoyados en la normatividad vigente que exigía una "evaluación integral" para los estudiantes de maestría y doctorado, se decidió, a partir de 1996, establecer esta modalidad de evaluación para los admitidos a la especialización en Psiquiatría, con el objeto de servir como complemento al proceso de admisión. El artículo describe la experiencia del proceso y sus resultados, fortalezas y debilidades.

Palabras clave: Educación médica, evaluación educacional, internado y residencia, instituciones de enseñanza superior.

Abstract

The training of medical specialists is a long and complex process. Its purpose is to guarantee the society that they are the right professionals to meet the health needs of the population. The first step to ensure this objective is the admission process. In psychiatry this process, monitoring resident students and the criteria for each one are different in each country. Admission in Colombia is a heterogeneous process, not standardized, which varies greatly from one university to another, even between private and public universities. At the National University of Colombia, the admissions process is hand-led by the Admissions Office and includes: a written test for which you must obtain a minimum score, a resume rating and an interview. The Teaching Committee and the Department of Psychiatry considered the admission procedure in general to be good, but in need of refinement. Due to the experience of some teachers and given the current rules, a "comprehensive assessment" for master and doctoral students was required and in 1996 it was decided that this method of assessment for admission to a specialization in Psychiatry would serve to complement the admission process. The article describes the experience of the process and its outcomes, strengths and weaknesses.

Key words: Education, medical; education measurement, internship and residency, higher education institutions.

Introducción

La formación de especialistas médicos es un proceso largo y complejo, que implica una gran inversión de recursos para las entidades for madoras (universidades, instituciones de salud), así como grandes esfuerzos y dedicación de tiempo completo por parte de los residentes. El objetivo final de la formación es brindarle a la sociedad especialistas médicos idóneos e íntegros para atender las necesidades de salud de la población.

Los mecanismos y los criterios de admisión a una especialidad médica "residencia" son el primer paso para garantizar que se cumpla el propósito de formación. Sin embargo, con posterioridad a dicha primera etapa es necesario realizar procesos integrales y continuos de evaluación, en los que es importante incluir la capacidad de identificar de manera temprana a los individuos que no cumplan los criterios mínimos para continuar en el programa, y, de esta manera, evitar riesgos para los pacientes, así como pérdidas de grandes recursos a las instituciones y a los propios aspirantes.

En psiquiatría, como en otras especialidades, el proceso de admisión y seguimiento es diferente en cada país. Algunos centros univer sitarios cuentan con procesos organizados, sistematizados y centralizados, mientras que otros son bastante informales. Por ejemplo, en Estados Unidos parte del proceso se hace a través del National Resident Matching Program (NRMP) (1), el cual es administrado por una entidad privada sin ánimo de lucro; sin embargo, cada universidad tiene su propio modelo de evaluación y selección. Un proceso similar se realiza en Canadá. En Europa cada país tiene su propio proceso. En España se utiliza el MIR, una prueba que representa el 75% del puntaje para ingresar a un programa de residencia, sumado a las calificaciones del pregrado y otros elementos. En contraste, en Inglaterra el proceso incluye otras variables (laboral, investigación, docencia, personales) (2). En Colombia es un proceso heterogéneo, no estandarizado, que varía de manera significativa de una universidad a otra; incluso, entre las mismas instituciones pertenecientes al sector público y entre aquellas de carácter privado.

A pesar de esas diferencias, la mayoría de las instituciones en el mundo y en Colombia utilizan los siguientes elementos en sus procesos de selección: calificaciones de pregrado, entrevistas, examen de conocimientos, pruebas nacionales (ECAES en Colombia), cartas de recomendación, participación en proyectos de investigación, publicaciones, actividades extracurriculares, premios (3,4) y pruebas psicológicas. Sin embargo, el peso dado a cada uno de esos elementos es diferente en cada institución. Además, cada uno por sí mismo tiene limitaciones.

Los criterios de calificación en el pregrado son muy variables (5), y en el país existen escuelas donde las calificaciones de la gran mayoría de sus estudiantes están por encima de 4,0/5,0, mientras que en otras el porcentaje de los que obtienen un puntaje superior a 4,0 es muy bajo. Además, aquellas características que hacen que un estudiante tenga una buena calificación en el pregrado no necesariamente garantizan un buen desempeño durante la residencia, ni durante su vida profesional (6).

Las entrevistas consumen una gran cantidad de recurso humano y de tiempo, y pueden variar desde las muy informales hasta las altamente estructuradas; además, pueden hacerlas desde entrevistadores sin ningún entrenamiento hasta unos muy experimentados (7,8). Tampoco hay consenso acerca de los criterios con los que se califica al entrevistado, y en algunos casos hay quejas en el sentido de que algunas de las preguntas hechas a los aspirantes pueden no tener ninguna relevancia para efectos de la entrevista, reflejar sesgos o ser discriminatorias (9).

Los exámenes escritos, en general, tienden a evaluar solo conocimientos teóricos memorizados, y si no están construidos con las características técnicas y sicométricas adecuadas tienen muy poco valor, incluso para medir este tipo de conocimientos, lo cual puede generar sesgos en la selección (10).

¿Qué sucede después de que un aspirante ha sido admitido? En una encuesta realizada a los directores de programas de especialización en cirugía entre 1975 y 1985 en Estados Unidos se encontró que, aproximadamente, uno de cada 4 residentes no terminó su formación y un 56% se retiraron durante el primer año de especialidad. De quienes no terminaron sus formación, un tercio fue retirado del programa por faltas a la ética o por problemas interpersonales; los dos tercios restantes renunciaron, en su mayoría, para cambiar de especialidad; una cuarta parte, por consejo de un profesor, y otro porcentaje similar, por problemas familiares (11).

Así pues, los estudios y la experiencia de quienes trabajan en el área de educación médica muestran que los procedimientos utilizados en los procesos de selección tienen varias deficiencias; probablemente, la principal de ellas es el limitado valor predictivo de estos criterios para medir el desempeño futuro como residentes y luego como especialistas en la práctica diaria (12), o para predecir cuáles serán los "residentes problema" (13). Por ello es recomendable que, adicionalmente al proceso inicial de admisión, se realice durante los primeros meses un seguimiento estrecho, mediante una evaluación de conocimientos, destrezas, conductas y actitudes, con base en las actividades que desarrolla el residente en sus sitios de trabajo. De esta manera hay un filtro adicional, más confiable, que sirve como un segundo paso del proceso de selección.

El modelo de selección estándar es menos confiable en especialidades con baja demanda, como la psiquiatría, lo cual significa un menor número de aspirantes para hacer la selección, y donde, por tanto, cobra mayor relevancia la evaluación estrecha y continua del desempeño del residente en las diferentes actividades de su primer año de especialidad.

En este artículo se muestra la experiencia de una metodología denominada evaluación integral, utilizada en el Departamento de Psiquiatría de la Universidad Nacional, como parte del proceso de evaluación para decidir la continuidad o no de los residentes admitidos cada año.

La admisión a las especialidades médico-quirúrgicas

La Universidad Nacional de Colombia cuenta con una dependencia encargada de los procesos de admisión, que es independiente de las unidades académicas de cada facultad y asegura procedimientos equitativos y transparentes de selección. Por tanto, el proceso de admisión a las especialidades médico-quirúrgicas está a cargo de dicha dependencia, la cual los estructura y los lleva a cabo teniendo en cuenta las características genéricas de cada modalidad de formación de posgrado.

Durante muchos años la selección se basó en un examen escrito (con el mayor peso porcentual), donde se evaluaban conocimientos de medicina general, y en una entrevista. Tal proceso ha ido cambiando, y a lo largo de los últimos años en el examen, además de los conocimientos médicos generales, se incluyen aspectos tales como comprensión de lectura y de información grafica e interpretación de datos.

Más recientemente, se añadió al puntaje total una calificación para la hoja de vida, en la cual puntúan aspectos como el promedio académico de pregrado, las distinciones académicas, otros estudios realizados, las actividades de investigación realizadas y publicaciones. En la actualidad el proceso de selección incluye el examen escrito, en el que se debe obtener una puntuación mínima, la calificación de la hoja de vida y una entrevista con tres docentes y el jefe de residentes, como testigo, y quien tiene voz en el proceso, pero no califica a los aspirantes.

Experiencia con la evaluación integral

El reglamento de posgrado vigente en 1994 (Acuerdo Número 119 del CSU. Acta 31 del 22 de diciembre de 1987) establecía en su artículo 49 lo siguiente:

La permanencia en los programas de Magíster y Doctorado estará sujeta a un rendimiento académico satisfactorio, como se establece a continuación:
a. Los estudiantes de Magíster y Doctorado deben someterse a una EVALUACIÓN INTEGRAL al finalizar el primer año del programa. La aprobación de esta evaluación es requisito para continuar en el posgrado.

Aunque el mencionado artículo no incluía explícitamente a los estudiantes de posgrado de las especialidades médico-quirúrgicas, el comité docente del Departamento de Psiquiatría se acogió al espíritu de la norma (para varios efectos, en la universidad se hacen equivalentes las especialidades médico-quirúrgicas a las maestrías), con el fin de incorporar esta evaluación. Se consideró que si bien el proceso de selección realizado en la Universidad Nacional estaba bien diseñado, como todos los procesos de selección, era imperfecto, pues ni obtener un buen puntaje en un examen escrito y en la hoja de vida ni hacer una "buena" entrevista eran suficientes para garantizar que cada aspirante admitido tuviera un buen desempeño durante su residencia, o que fuera posteriormente un buen profesional.

Teniendo en cuenta lo enunciado y la experiencia de algunos de sus docentes en el exterior, se decidió implementar a partir de 1994 un mecanismo de "evaluación integral" para los residentes de primer año de psiquiatría. Buscando que este mecanismo permitiera obtener la información necesaria para la toma de una decisión determinante sobre el programa y sobre cada residente en específico, se decidió evaluar tanto el componente técnico-científico (el saber y el saber cómo) como los aspectos personales en el desempeño del residente. Ambos aspectos (técnico-científico y personal) pueden ser medibles de diferentes maneras, y una de ellas es la evaluación directa de habilidades y de competencias en el sitio de trabajo (14) y por distintos docentes. La evaluación integral no remplaza las apreciaciones ni las calificaciones que se hacen para cada actividad en particular, sino que las recoge, las contextualiza y las pondera.

Este modelo de evaluación incluye los dominios de competencia en medicina: conocimiento médico, cuidado y atención del paciente, profesionalismo, habilidades interpersonales y de comunicación, aprendizaje y mejoramiento basado en la practica, así como la práctica en el contexto del sistema de salud (15).

Aspectos operativos

Los residentes inician su periodo académico el 1º de febrero de cada año. Durante la semana de inducción se les informa que entre septiembre y octubre se realizará la reunión de evaluación integral. El día en que se realiza dicha evaluación integral se lleva a cabo el siguiente procedimiento:

Cada residente de primer año entrevista a un paciente en la Cámara de Gessell durante 30 minutos; al otro lado del espejo están los docentes del departamento. Posteriormente el entrevistador escribe la nota clínica de los datos obtenidos, incluyendo hipótesis diagnóstica y posibles tratamientos, la cual es presentada al grupo docente.

Con base en la entrevista y la nota clínica realizadas, los docentes le hacen al residente preguntas básicas sobre los aciertos y las dificultades durante el proceso de la entrevista y sobre conceptos básicos relacionados con la patología que presenta el paciente y los posibles tratamientos. A continuación, el comité docente discute el desempeño del residente desde el ingreso hasta el momento de la evaluación, incluyendo: apreciaciones sobre las rotaciones realizadas, seminarios cursados, presentaciones de casos y participación en actividades docentes con pregrado, así como su desempeño en la evaluación del paciente en Cámara de Gessell.

La calificación del desempeño se realiza teniendo en cuenta las competencias básicas propuestas por el Consejo de Acreditación para Educación Médica Graduada de Estados Unidos (ACGME, por sus siglas en inglés) y la Fuerza de Tarea del Consejo Americano de Especialidades Médicas (ABMS, por sus siglas en inglés): cuidado del paciente (análisis clínico); aprendizajes producto de la práctica; habilidades de comunicación y relaciones interpersonales; profesionalismo y conocimientos técnico-científicos (16).

El comité docente puede dar una de las siguientes recomendaciones, la cual le es transmitida al residente por parte de su docente tutor.

• El residente puede seguir en el programa, sin recomendaciones particulares adicionales; en casos particulares se les felicita por el buen desempeño que han mostrado y se les alienta a mantenerlo.
• El residente puede seguir en el programa de manera condicional, pues debe mejorar en aspectos particulares que son sensibles.
• El residente no debe continuar en el programa, porque su desempeño durante el periodo transcurrido ha mostrado serias deficiencias en alguno de los aspectos ya mencionados. En este caso, el residente puede retirarse de manera voluntaria, o, en caso de no hacerlo, se sigue el proceso académico-administrativo estipulado en la universidad.

Entre 1996 y 2011 han pasado por este proceso 75 residentes, admitidos en el programa, y de los cuales a un 16% se les ha hecho la recomendación de no continuar en el programa por su desempeño. De quienes recibieron esta recomendación y se han retirado por voluntad propia, un 20% han cambiado de especialidad, y reconocido que la evaluación les sirvió para evidenciar y decidir sobre su cambio de orientación vocacional; un 70% continuó la especialidad en otra universidad, y sobre los demás no se tiene información.

Quienes continúan en la residencia, pero se les ha señalado la necesidad de mejorar y cambiar en aspectos particulares, lo han hecho sin mayores contratiempos y han logrado su meta final de obtener su título de especialistas. Solo en dos o tres casos no han logrado los cambios propuestos y se han retirado definitivamente.

Después de 15 años de venirse realizando la evaluación integral esta ha ganado reconocimiento dentro y fuera de la universidad, y, de acuerdo con un estudio que desarrolla uno de los docentes del departamento, se la puede considerar uno de los "ritos de paso" (17) en la residencia. Hasta donde se tiene conocimiento, no hay en el país experiencias similares en los diferentes programas de psiquiatría. Se intentó implantar este modelo en los demás programas de especialización de la Facultad de Medicina de la Universidad Nacional, pero algunos departamentos plantearon objeciones al respecto y no pudo establecerse.

Aunque el proceso no ha sido sistematizado ni evaluado de manera formal, en opinión de un gran número de egresados es un proceso que ayuda a identificar, por un lado, las propias limitaciones y a encontrar maneras de resolverlas, y, por otro, a identificar a quienes no cumplen con las condiciones para seguir en la residencia; sin embargo, consideran que el periodo previo al proceso (y, especialmente, este en sí mismo) es estresante, por su carácter definitorio.

En opinión de la gran mayoría de integrantes del comité docente del departamento, la evaluación integral puede considerarse parte del proceso de admisión de los residentes de primer año. Igualmente, se han sugerido ajustes en la mecánica del procedimiento, como remplazar la entrevista en cámara de Gessell por una filmación del residente entrevistando a pacientes en su ámbito de trabajo natural, así como el uso de pacientes estandarizados, aunque en algunos casos se ha tenido a pacientes que están estables y voluntariamente aceptan ser entrevistados por los distintos residentes de una misma cohorte.

Algunos estudios han mostrado que aun este proceso de seguimiento es insuficiente para predecir cuáles residentes tendrán problemas de funcionamiento en su vida profesional, incluyendo el consumo de sustancias o conductas antiéticas (18). Por ello, sería interesante incluir dentro del proceso de evaluación integral las llamadas evaluaciones 360°, que se han propuesto en algunos países para evaluar a psiquiatras en ejercicio (14), y utilizar instrumentos estandarizados. Es importante enfatizar que la evaluación integral debe retroalimentar a los residentes y posibilitarles el cambio. Por tanto, esta debe ser explicita, diversa, continua y lo más objetiva posible; ello implica, indudablemente, esfuerzos para los estudiantes, pero, sobre todo, para los docentes.

Conclusiones

El proceso de selección de residentes en psiquiatría, como en otras especialidades, tiene limitaciones, lo que impide determinar cuál será el desempeño de los escogidos a lo largo de su entrenamiento y durante su vida profesional. La responsabilidad de los educadores médicos es entregar a la sociedad a un profesional de la salud mental no solo con un adecuado entrenamiento desde el punto de vista técnico, sino también, con adecuadas calidades humanas y éticas, así como sentido crítico, y cuyas conductas expresen su disposición, su compromiso y su responsabilidad en la relación de ayuda que los educadores médicos tienen como tarea. Por ello, es importante establecer procesos que permitan elegir a quienes cumplen con esos altos estándares de calidad. Cada vez más se están incorporando procesos de evaluación más completos en las diferentes etapas de formación de los profesionales médicos (19). El modelo de evaluación integral, que se desarrolla desde hace 15 años en el Departamento de Psiquiatría de la Universidad Nacional, apunta en esa dirección y ha tenido buenos resultados. Sin embargo, es necesario realizar ajustes para involucrar en él otros aspectos y metodologías y lograr una mejor estandarización. Por ejemplo, sería interesante, como parte de la retroalimentación de este modelo, conocer la opinión de los docentes de cada programa de formación acerca del desempeño de los residentes que terminaron su especialización en otra universidad.

Referencias

1. National Resident Matching Program (NRMP). Main residency match [internet]. 2012 [citado: 15 de junio de 2012]. Disponible en: http://www.nrmp.org/.         [ Links ]

2. Medical Specialty Training. Applicant Guide for application and recruitment to medical specialty training in England in 2012 2011[internet]. 2011 [citado: 15 de junio de 2012]. Disponible en: http://www.mmc.nhs.uk/default.aspx.         [ Links ]

3. Lopez-Ibor JJ, Okasa A. Core curriculum for postgraduate training in psychiatry. Yokohama, Japón: World Psychiatrc Assoc; 2002.         [ Links ]

4. Jefferis T. Selection for specialist training: what can we learn from other countries? BMJ. 2007;334:1302-4.         [ Links ]

5. Takayama H, Grinsell R, Brock D, et al. Is it appropriate to use core clerkship grades in the selection of residents? Curr Surg. 2006;63:391-6.         [ Links ]

6. Rober Adler KLG. The first-year resident selection process. En: Langsley DG, editor. How to select residents. Evanston, Illinois: American Board of medical specialities; 1988. p. 93-6.         [ Links ]

7. Goho J, Blackman A. The effectiveness of academic admission interviews: an exploratory meta-analysis. Med Teach. 2006;28:335-40.         [ Links ]

8. Dubovsky S, Gendel M, Dubovsky A, et al. Can admissions interviews predict performance in residency? Acad. Psychiatry. 2008;32:498-503.         [ Links ]

9. Santen SA, Davis KR, Brady DW, et al. Potentially discriminatory questions during residency interviews: frequency and effects on residents' ranking of programs in the national resident matching program. J Grad Med Educ. 2010;2:336-40.         [ Links ]

10. McGaghie WC, Cohen ER, Wayne DB. Are United States medical licensing exam step 1 and 2 scores valid measures for postgraduate medical residency selection decisions? Acad Med. 2011;86:48-52.         [ Links ]

11. King RB. Resident selection: What's the problem En: Langsley DG, editor. How to select residents. Evanston, Illinois: American Board of Medical Specialties; 1988. p. 25-35.         [ Links ]

12. Harfmann KL, Zirwas MJ. Can performance in medical school predict performance in residency? A compilation and review of correlative studies. J Am Acad Dermatol. 2011;65:1010-22.         [ Links ]

13. Brenner AM, Mathai S, Jain S, et al. Can we predict «problem residents»? Acad Med. 2010;85:1147-51.         [ Links ]

14. Lelliott P, Williams R, Mears A, et al. Questionnaires for 360-degree assessment of consultant psychiatrists: development and psychometric properties. Br J Psychiatry. 2008;193:156-60.         [ Links ]

15. Accreditation Council for Graduate Medical Education (ACGME). Program Requirements for Graduate Medical Education in Psychiatry. Chicago: The Accreditation Council for Graduate Medical Education; 2011.         [ Links ]

16. Adamowski SE. Toward the development of core competencies. En: Scheiber SC, Kramer T, Adamowski SE, editors. Core competencies for psychiatric practice: what clinicians need to know Washington: Amer Psychiatric Pub; 2003. p. 43-54.         [ Links ]

17. Rodríguez-Losada J. Los ritos de paso en Medicina. s. d. 2011.         [ Links ]

18. Dubovsky SL, Gendel M, Dubovsky AN, et al. Do data obtained from admissions interviews and resident evaluations predict later personal and practice problems? Acad Psychiatry. 2005;29:443-7.         [ Links ]

19. Epstein RM. Assessment in medical education. N Eng J Med. 2007;356:387-96.         [ Links ]