Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
Introducción
La evaluación hace parte integral del proceso de enseñanza-aprendizaje y es uno de los pilares de la coherencia curricular1. En general, esta se divide según sus propósitos en formativa y sumativa, la primera está enfocada en optimizar o reforzar los aprendizajes, la reflexión y favorecer la formación en valores o competencias personales, mientras que la segunda busca establecer el nivel de alcance de un resultado de aprendizaje previsto, dado por unos conocimientos en particular o la calificación correspondiente para asumir un mayor nivel de responsabilidad acorde a la supervisión definida2.
Teniendo esto en cuenta, la educación médica ha sufrido un proceso de transformación en los últimos anos, pues ha sido necesario incluir evaluaciones capaces de medir estructuradamente el desempeño del estudiante de Medicina, específicamente frente a la adquisición de competencias clínicas3. En este orden de ideas, hacia la década de los setenta, el neurólogo Harden introdujo por primera vez el Examen Clínico Objetivo Estructurado (ECOE), que consiste en la rotación a través de una serie de estaciones en las que hay un encuentro de aproximadamente 10-15 min con un paciente simulado, y permite la evaluación estandarizada y estructurada de las habilidades clínicas en un ambiente simulado, lo que favorece la observación directa de múltiples competencias en un tiempo corto. La principal utilidad del ECOE es la medición de habilidades como la obtención de una historia clínica, la realización del examen físico, plan de tratamiento, entrega de información, empatía, la comunicación, la relación médico-paciente y la capacidad de respuesta ante situaciones inesperadas4),(5.
Dicha transformación también ha permeado el proceso de enseñanza-aprendizaje en áreas específicas como la Salud Mental y la Psiquiatría6. Sin embargo, para estas áreas la literatura acerca del ECOE es menos extensa. En este campo, Famuyiwa et al.7 realizaron el primer reporte en 1991 para evaluación en pregrado, y encontraron que ofrece numerosas ventajas, como la sensibilidad para entender el conocimiento clínico de los estudiantes de diferentes áreas y niveles, la evaluación de habilidades profesionales, la resolución de problemas, el desarrollo en habilidades de comunicación y empatía con los pacientes, además de centrar la atención en los objetivos de los estudiantes y los docentes.
Además, los ECOE de salud mental demuestran cierta versatilidad, ya que pueden aplicarse a diferentes grupos de estudiantes como de pregrado, posgrado o enfermería planteándolos de acuerdo con las necesidades científicas y el alcance de la práctica de cada grupo determinado. Para el caso del pregrado de Medicina, se describe un modelo piramidal8)-(10 en el que los estudiantes deben sustentar no solo su conocimiento, sino también cómo lo aplican en la práctica clínica. Con este fin, se priorizan habilidades de comunicación, realización de historia clínica, relación médico-paciente, entrevista, plan de tratamiento, entrega de información y empatía. No obstante, sigue siendo un reto la heterogeneidad de las rúbricas utilizadas para evaluar a los estudiantes de pregrado entre las diferentes instituciones en el mundo, específicamente teniendo en cuenta la necesidad de extender los tiempos utilizados en cada estación debido a las características de la entrevista y la evaluación en salud mental8),(10),(11.
Con este panorama en Colombia, y particularmente en la Facultad de Medicina de la Universidad de La Sabana, se inició un proceso de transformación curricular en 2003, por el cual se definió un currículo basado en resultados medidos por la evaluación por competencias, y se definieron como ejes curriculares la semiología, la medicina familiar, la investigación y las humanidades12. Ante esta transición, los ajustes curriculares fueron transformando el modo de ensenar los componentes de salud mental y psiquiatría (previamente divididos en 3 materias: Psicología Evolutiva, Psicología Médica y Psicopatología), reagrupándolos en 2 materias integradas (Salud mental I y Salud mental II) y modificando las estrategias y metodologías de enseñanza de clases magistrales exclusivamente por otro tipo de estrategias más centradas en el estudiante2),(3),(6.
Considerando estos ajustes, se hizo necesario un cambio en la evaluación y que los conocimientos tradicionales teóricos, evaluados con exámenes de selección múltiple o respuesta abierta, pudieran ser complementados con la valoración formativa y sumativa de competencias del saber, el hacer y el ser; esto llevó a que en 2015-2 se adoptara por primer vez el ECOE como forma de evaluación en Salud Mental en la facultad, en concordancia con la formación humanística en el perfil definido por el programa13.
Dichas consideraciones, así como la demostración de su validez y confiabilidad en la evaluación de competencias14, han convertido al ECOE en un punto de referencia para la evaluación clínica. Sin embargo, ante la escasa literatura disponible frente a experiencias con este tipo de evaluaciones en nuestro medio que permitan el desarrollo de instrumentos de calidad como escalas o listas de verificación10),(15),(16,el presente artículo describe la implementación y la estructura utilizada para este examen en el Departamento de Salud Mental de la Universidad de La Sabana, así como el desempeño de los estudiantes y las apreciaciones de los docentes, con el fin de aportar en la implementación, la estructuración y la validación de exámenes objetivos en la región.
Métodos
Se describe la implementación del ECOE para los estudiantes de séptimo semestre de medicina, momento en el que desarrollan la rotación clínica de salud mental, así como la forma en que se lleva a cabo actualmente con base en los registros documentales de los exámenes desde su inicio.
Además, se recolectaron los datos de los temas evaluados y las notas obtenidas por todos los estudiantes de Medicina que estaban inscritos en el curso de Salud mental II (materia práctica de salud mental) en los periodos 2016-2 a 2019-2 (7 semestres) y que fueron evaluados al final de la rotación de salud mental utilizando el ECOE. Estos datos se obtuvieron a partir de las plantillas electrónicas originales utilizadas para su calificación, aunque se perdió el registro de 2 grupos (40 estudiantes aproximadamente). Los datos del primer año (2015-2 y 2016-1) no se incluyeron por un problema técnico que borró toda la información existente (virus).
Las percepciones de los docentes se obtuvieron por medio de un cuestionario de 3 preguntas enviado por correo a los 5 docentes del departamento que han realizado los ECOE.
Una vez extraídos y registrados los datos, se creó una base de datos y, mediante tablas dinámicas, se realizó un análisis estadístico descriptivo. Se obtuvieron medidas de tendencia central (medias) de las variables cuantitativas y se calcularon las frecuencias absolutas y relativas de las variables categóricas. Por último, se analizaron las consideraciones de los docentes involucrados en la implementación de este examen teniendo en cuenta 3 puntos: ventajas, desventajas y aspectos que mejorar.
Resultados
Implementación del ECOE en el Departamento de Salud Mental
Para la implementación del ECOE en salud mental, se realizó una formación con el National Board of Medical Education ( NBME) y se tuvo en cuenta la experiencia previa de la facultad en la implementación de este tipo de exámenes en el área de Medicina Interna.
El proceso utilizado para estructurar cada evaluación consiste en 3 fases que van más allá de la realización de este e incluyen una fase inicial previa o de preparación, una fase práctica o de realización y culmina con la calificación de los exámenes (Figura. 1).
Históricamente, las primeras implementaciones del ECOE en el Departamento (2015-2 hasta 2016-2) se llevaron a cabo bajo una estructura con 4 estaciones: entrevista, examen mental, diagnósticos y riesgos y plan de manejo. Los docentes de psiquiatría participaron como pacientes simulados en 2 líneas temáticas con diferentes casos clínicos. Posteriormente, a partir del periodo académico 2017-1, se planteó un examen de 5 estaciones, cada una de 7 min, el último día de la rotación en el Hospital Simulado. Se preparan 2 líneas, cada una con un paciente simulado y un caso clínico diferente. A continuación, se detalla cada fase del proceso de implementación del ECOE utilizado en el Departamento.
Preparación
En el Departamento de Salud Mental se ha definido como elemento transversal que evaluar en todos los estudiantes el proceso de atención completo a un paciente con síntomas mentales, con énfasis y punto de observación en entrevista, semiología, diagnóstico, tratamiento y aspectos éticos y de comunicación con la familia, motivo por el cual cada estación del ECOE corresponda a uno de estos énfasis. La primera parte del proceso consiste en determinar qué quiere evaluarse en relación con el contenido temático, es decir, qué aspecto de los Resultados Previstos de Aprendizaje de Salud Mental se va a evaluar y por medio de qué patología. Esto permite elegir uno del banco de casos o diseñar un nuevo caso.
Cada uno de los casos a su vez tiene un proceso en el cual la validación por pares, en este caso los profesores del departamento, permite que esté ajustada en claridad de la instrucción, tiempo, objetivo y alineación entre lo que se pide al estudiante y lo que debe saber y saber hacer. Por cada caso y cada estación, se prepara una rúbrica de evaluación, que también se revisa entre todos.
Los actores reciben los casos y los libretos con las respectivas rúbricas 1-2 semanas antes y se sigue un entrenamiento para asegurar la correcta ejemplificación y parametrización de los síntomas. La personificación y escenificación del contexto (urgencias, hospitalización, consulta externa) también son parte fundamental. Inicialmente el examen se realizaba en el Laboratorio de Simulación, y actualmente en el Hospital Simulado de la universidad. En este paso el trabajo de las auxiliares de simulación y la coordinación entre el Hospital Simulado y el departamento es fundamental y se facilita por medio de unos formatos específicos que describen el contexto del examen y las particularidades necesarias en personificación de los pacientes simulados (p. ej., ropa, aspecto) y escenificación del contexto (urgencias, con o sin acompañante, etc.).
Por último, se preparan las plantillas de evaluación, basadas en las rúbricas que utilizarán los docentes y los formularios para la resolución del caso por el estudiante. Actualmente son plantillas y formularios electrónicos.
Realización
Antes de iniciar el examen se explica de nuevo a los estudiantes las estaciones, la forma de rotación y lo que se espera en cada una de ellas. Como ya se mencionó, desde el 2017-2 se realizan 5 estaciones, la primera con paciente simulado, y en las demás desarrollan el caso con base en la estación 1.
Estación 1: entrevista. En esta estación deben realizar una entrevista a un paciente simulado que les permita llegar a un diagnóstico, diagnóstico diferencial y evaluar riesgos. En ella se evalúa la relación médico paciente (saluda, se presenta como su médico, establece contacto visual, etc.), la exploración del motivo de consulta, enfermedad actual, revisión por sistemas, antecedentes y preguntas orientadas a diagnóstico diferencial.
Estación 2: examen mental. Esta estación se realiza escrita y en ella, con base en la entrevista, deben completar todos los aspectos del examen mental del paciente.
Estación 3: diagnósticos. En esta estación deben realizar el diagnóstico sindrómico y el específico y plantear 3 diagnósticos diferenciales.
Estación 4: identificación de riesgos y plan de tratamiento. La identificación de los riesgos del paciente es un aspecto central en salud mental, por lo que en esta estación deben dejarlos consignados y generar un plan de tratamiento acorde con el diagnóstico principal y los riesgos encontrados.
Estación 5: dilema ético e información a la familia. Esta fue la última estación en implementarse y permite cerrar el ciclo de atención al paciente. En ella se evalúa cómo el estudiante da información a la familia y cómo responde ante un dilema bioético cotidiano (p. ej., salida voluntaria de un paciente con riesgo suicida).
Una vez todos los estudiantes pasan las 5 estaciones, se da una realimentación (debriefing) en la cual los actores, estudiantes y docentes evaluadores exponen en general los elementos favorables y por mejorar en la estación de entrevista, y las respuestas esperadas estipuladas en las rúbricas de las 4 estaciones restantes.
Calificación
Parte de la calificación inicia durante el momento de examen, en la estación 1 con actor simulado. Las otras 4 estaciones se califican más tarde por medio de un formulario electrónico y una plantilla dinámica que permite los cálculos correspondientes. Cada estación tiene un peso estimado en la puntuación final y cada aspecto de la rúbrica, un porcentaje en cada estación, que en principio depende del número de estaciones utilizadas. Finalmente, se entrega el resultado al estudiante, quien puede revisar el examen en cualquier momento.
Desempeño de los estudiantes según las calificaciones
Generalidades
Entre los periodos académicos comprendidos entre 2016-2 y 2019-2, 486 estudiantes realizaron el ECOE como parte de la evaluación práctica de la materia Salud Mental II, con una nota promedio de 3,85. Durante este tiempo, el 35% de los exámenes tuvieron como tema general los trastornos afectivos (n = 170), mientras que el 25,3% fue sobre los trastornos de ansiedad (n = 123) y el 39,7%, sobre trastornos psicóticos (n = 193). Al contrastar el desempeño de los estudiantes teniendo en cuenta estos temas, se observó que la nota obtenida al evaluarse trastornos de ansiedad estaba por debajo del promedio (3,72), mientras que la de trastornos psicóticos se ajustaba a este (3,88) y la de los trastornos afectivos estaba por encima (3,92).
Al revisar cada examen según el diagnóstico principal evaluado en cada ocasión, se encontró que se han utilizado 11 diferentes diagnósticos: distimia, fobia social específica (FSE), trastorno afectivo bipolar (TAB) con episodio depresivo o psicótico, trastorno de ansiedad generalizada (TAG), trastorno de pánico (TP), trastorno depresivo mayor (TDM), trastorno obsesivo compulsivo (TOC), trastorno psicótico breve y transitorio (TPB), trastorno psicótico secundario a condición médica general (TPCMG) y trastorno psicótico secundario a consumo de sustancias psicoactivas (TPSPA). La distribución puede verse en la Figura 2.
Esto permite contrastar las notas promedio obtenidas por cada diagnóstico; sin embargo, además de evaluar el promedio general obtenido, se dividen las notas en 2 periodos debido a la configuración del porcentaje que corresponde a cada estación del examen, así como la implementación de una quinta estación a partir del periodo 2017-1. Por este motivo se analizaron por separado los que presentaron el examen en el periodo de 2016-2 y los que lo realizaron entre 2017-1 y 2019-2 (Tabla 1).
Tabla 1 Notas según diagnóstico evaluado por periodo
| Diagnóstico evaluado | Nota promedio general | Nota promedio 2016-2 | Nota promedio 2017-1 a 2019-2 |
|---|---|---|---|
| Distimia, trastorno depresivo persistente | 3,59 | 3,90 | 3,38 |
| Fobia social específica | 3,09 | No evaluado | 3,09 |
| Trastorno afectivo bipolar: episodio actual depresivo grave con psicosis | 3,90 | 3,91 | 3,90 |
| Trastorno afectivo bipolar: episodio actual maniaco sin psicosis | 3,65 | No evaluado | 3,65 |
| Trastorno de ansiedad generalizada | 3,69 | 3,75 | 3,69 |
| Trastorno de pánico | 3,83 | No evaluado | 3,83 |
| Trastorno depresivo mayor | 4,18 | 3,82 | 4,26 |
| Trastorno obsesivo compulsivo | 3,87 | 3,87 | No evaluado |
| Trastorno psicótico breve y transitorio | 3,93 | 4,04 | 3,92 |
| Trastorno psicótico secundario a condición médica general | 3,80 | 3,66 | 3,83 |
| Trastorno psicótico secundario a SPA | 3,85 | No evaluado | 3,85 |
| Elaboración propia | |||
Periodo 2016-2
Para los 66 estudiantes que realizaron la prueba en 2016-2, se plantearon 4 estaciones: entrevista, examen mental, diagnóstico y plan de tratamiento, que representan en la nota final el 20, el 20, el 30 y el 30% respectivamente. Para este periodo, la nota promedio obtenida fue de 3,86.
Asimismo, al desglosar los exámenes de acuerdo con el tema general de estos, las notas obtenidas en exámenes que evaluaron trastornos afectivos estuvieron en línea con el promedio general (3,88); lo mismo ocurrió con los trastornos psicóticos (3,85) y los de ansiedad (3,82), discretamente por debajo del promedio. Por otra parte, al separarlos por diagnóstico principal, se encontró que el desempeño de los estudiantes al evaluarse los TAG y TPCMG estaban por debajo del promedio tanto general como del periodo. Mientras que las notas obtenidas al evaluar como diagnóstico principal distimia, TAB con episodio depresivo y TPB estuvieron por encima del promedio general.
Periodos entre 2017-1 y 2019-2
Durante este lapso, para las 420 evaluaciones realizadas se ajustó el formato utilizado. En primera instancia como resultado de la inclusión de una quinta estación que complementaba las 4 previamente planteadas. Esto llevó a la redistribución de los porcentajes representativos de cada estación en la nota final, que se ajustó a: 15% (entrevista), 25% (examen mental), 25% (diagnósticos), 25% (riesgos y plan de tratamiento) y 10% (dilema ético e información a la familia). Para este periodo, la nota promedio de los estudiantes fue 3,85.
En este caso, al revisar el rendimiento por cada uno de los temas generales, se encontró que la nota promedio más baja corresponde a la evaluación de temas relacionados con los trastornos de ansiedad (3,7), lo cual contrasta con el rendimiento por encima del promedio al evaluarse trastornos afectivos (3,95), mientras que la evaluación de trastornos psicóticos se ajustó al promedio (3,88). Al revisar cada diagnóstico principal, se encontró también un rendimiento por debajo del promedio al evaluarse diagnósticos como: distimia, FSE, TAG y TAB con episodio maniaco, mientras que la mejor nota obtenida se observó al evaluarse el diagnóstico de TDM.
Consideraciones de los docentes
En términos generales, los docentes del departamento concuerdan en que una de las principales ventajas de la implementación del ECOE radica en su versatilidad al momento de la evaluación de los estudiantes, haciendo énfasis en que permite una evaluación objetiva integral de los aspectos prácticos y teóricos esperados de los estudiantes. De esta manera, permite evaluar las competencias clínicas adquiridas durante la rotación y ofrece la oportunidad de comparar estos parámetros entre los diferentes grupos y dar retroalimentación específica. Al indagar sobre esto, algunos docentes comentan: «Se evalúan diferentes frentes de una condición médica psiquiátrica, que permite saber si el estudiante tiene la capacidad de observación, evaluación, diagnóstico y manejo»; «Se evalúa el componente práctico y teórico, equitativamente, involucrando varios aspectos del hacer y el saber hacer».
Además, los resultados de cada ECOE permiten una evaluación de la formación que se da a los estudiantes, es decir, permite una reflexión sobre los puntos que se han logrado y los específicos por mejorar: a qué dar énfasis, los aspectos que generan confusión o dificultad y de forma indirecta cómo ha sido el modelamiento y la supervisión.
Por otra parte, también se reconocen sus desventajas, se resalta que el desarrollo de este tipo de exámenes limita la evaluación de temas específicos/patologías del área de salud mental, puesto que, dado el tiempo requerido para cada caso planteado, solo se ha logrado evaluar una patología por estudiante, dando paso a que se involucre la fortuna también. Al respecto los docentes mencionan: «Aunque por el tiempo es complicado, sería bueno evaluar al menos dos temas para estar seguros de que no es suerte para el estudiante, que justo sea lo que no sabe o lo que sabe más»; «Se miden pocos conocimientos específicos. Es decir, si alguien maneja muy bien 10 temas, pero uno no y ese sale en el ECOE, puede verse afectado. O si alguien solo maneja un tema y este sale en el ECOE, puede ser no tan objetiva para los conocimientos».
Por último, otro aspecto que se resalta, a pesar del entrenamiento de los actores, son las posibles diferencias en representación e interpretación de los actores involucrados, particularmente al tener que representar afecciones con síntomas más discretos, como un patrón de preocupación constante.
Discusión
La implementación de exámenes como el ECOE en salud mental ha permitido evaluar a los estudiantes en varias dimensiones de la formación en un ambiente protegido. Estas dimensiones y componentes de una competencia se ejemplifican en el ser, en íntima relación con el profesionalismo, con elementos específicos como la empatía, la comunicación y retos bioéticos. El saber, en aspectos de semiología, aproximación diagnóstica, y tratamiento en una entidad particular, y el saber hacer en habilidades complejas como la realización de la entrevista, el manejo de la agitación o la explicación de la condición de salud a la familia4),(5.
Según la experiencia que se ha acumulado en estos años, para la correcta implementación del ECOE es necesario un trabajo previo que permita su adecuada preparación, realización y calificación, como se recomienda ampliamente en las guías para la realización de estos exámenes17)-(19.
Al revisar las evaluaciones realizadas a los estudiantes, las calificaciones obtenidas indican que, en la mayoría de las condiciones evaluadas, el desempeño corresponde al promedio general de todos los exámenes. Sin embargo, llama la atención un desempeño por debajo del promedio en entidades que, en términos generales, tienen una presentación clínica más sutil. Así pues, se hace necesario ahondar en las razones de que el grupo de enfermedades que hacen parte de los trastornos de ansiedad sean las que presentan el peor desempeño de los estudiantes.
En contraste, el mejor desempeño en casos de depresión mayor podría estar relacionado tanto con la familiaridad con los síntomas, dada su prevalencia y una mayor visibilidad en los últimos años, como con el énfasis específico que se realiza en el departamento con respecto a esta afección. Desafortunadamente no encontramos bibliografía donde quede explícito si estos hallazgos son también comunes en otras poblaciones de estudiantes.
Del mismo modo, la percepción de los docentes de psiquiatría es similar a otros estudios en cuanto al buen desempeño en el saber hacer para evaluar las habilidades en entrevista y ante retos específicos de la comunicación y del encuentro clínico con el paciente con síntomas mentales11),(14),(20)-(22.
A pesar de las bondades del ECOE, es fundamental reconocer que el instrumento tiene sus limitaciones y un espacio delimitado, y existen otros medios de evaluación que, por ejemplo, en conocimientos teóricos, tienen mejores desempeños1),(2),(6),(10.
Específicamente en salud mental, en comparación con otras especialidades médicas, la representación de los efectos emocionales, trastornos mentales y cognoscitivos implican un reto tanto para los actores como para los estudiantes, puesto que estos aspectos resultan difíciles para la enseñanza y la evaluación. Los pacientes simulados pueden no ser lo suficientemente realistas para el objetivo de evaluación, ya que en la representación del afecto y la respuesta a las preguntas abiertas existe variabilidad de rendimiento entre ellos, y es difícil representar una condición clínica que no hayan sufrido personalmente9),(10),(20),(23. Del otro lado, es necesario realizar una elección adecuada de los actores y estar atentos a su salud mental, ya que pueden presentar alteraciones emocionales en relación con los papeles que se representan16),(23.
Hasta el momento, cada examen se centra solo en una patología, lo cual permite una aproximación a conocimientos, habilidades y actitudes en un tema específico, pero no en varias enfermedades mentales. De forma que el siguiente reto es un ECOE que incluya diversos diagnósticos y casos (blue-print) y permita una visión más amplia de los conocimientos y las habilidades reales de los estudiantes.
Por último, desde la implementación del ECOE, se busca fortalecer otros aspectos académicos futuros. En primera medida, desde la perspectiva del interprofesionalismo y la transdisciplinariedad, se busca fomentar la inclusión de estudiantes de otras profesiones en el área de salud mental con el fin de evaluar y reforzar aspectos como el trabajo en equipo. Por otra parte, se plantea la posibilidad de incluir a estudiantes que ya han realizado este examen en el proceso de planeación, ejecución y calificación de sus pares que no han tenido esta experiencia, con el fin de fortalecer sus competencias y fomentar la responsabilidad en la formación de sus compañeros.
Conclusiones
La evaluación es una parte fundamental del proceso de enseñanza-aprendizaje. En medicina la base de un buen tratamiento es un buen diagnóstico, y este se deriva de una buena entrevista, examen físico y mental y el uso de las ayudas diagnósticas apropiadas. Es por esto que el paso de los estudiantes de pregrado por la psiquiatría implica la gran responsabilidad de garantizar que los estudiantes aprendan lo mínimo y lo aprendan bien, a la par que comprendan la importancia del respeto por la dignidad de los pacientes que sufren una enfermedad mental, por lo que es necesaria la implementación de mecanismos de formación y evaluación cada vez más objetivos. El ECOE aporta en esta línea, ya que permite una evaluación más completa y estandarizada de las competencias del estudiante y requiere considerar múltiples factores y elementos, así como la revisión continua del proceso, que redunde en una mejor formación de los futuros médicos, de manera tal que se puedan sentir ellos mismos tranquilos y confiables al momento de evaluar y tratar a pacientes con síntomas psiquiátricos como parte de una enfermedad mental primaria o como consecuencia de una condición médica general que implique la necesidad de un buen proceso de análisis para llegar a un diagnóstico diferencial
