Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
INTRODUCCIÓN
Los estudiantes de medicina desarrollan su práctica profesional en contextos físicos, sociales y culturales. Las interacciones entre estudiantes, profesores y otros miembros del entorno clínico, en las que se involucran componentes psicológicos y emocionales, representan el ambiente de aprendizaje 1-2. El ambiente es importante porque influye en el bienestar, satisfacción, rendimiento académico y futuro desempeño profesional de los estudiantes 2. La evaluación de las características y calidad del ambiente, por lo tanto, se ha convertido en centro de atención para la comunidad académica, y ha permitido explorar objetivamente un constructo complejo, al igual que planificar y orientar los procesos educativos. También ha abierto la puerta al diseño de estrategias pedagógicas, innovación e investigación educativa 1-5.
Durante las últimas décadas se han desarrollado diversos instrumentos con el propósito de evaluar el ambiente de aprendizaje en medicina 5. No obstante, la multiplicidad de instrumentos ha traído problemas y confusiones conceptuales, relacionados con la uniformidad de los constructos subyacentes, sobre posiciones e interrogantes en cuanto a su validez, fiabilidad y extrapolación en múltiples contextos. Aun así, y aunque parezca contradictorio, cada instrumento ha aportado perspectivas conceptuales únicas y novedosas. Sin embargo, aún se requiere investigación que informe sobre sus bases teóricas y dimensiones, así como su convergencia y divergencia conceptual. En otras palabras, aún es necesario explorar su contenido y fundamento teórico, así como sus similitudes y diferencias. Este problema puede tener implicaciones para la práctica, al momento de explorar y medir las dimensiones del ambiente y de iniciar intervenciones educativas específicas. Estas limitaciones se relacionan con la validez de contenido, definida desde la psicometría en términos de la magnitud en la que un instrumento muestra todos los contenidos relevantes, importantes o dominios del constructo teórico subyacente 28.
La evidencia psicométrica disponible sobre estos instrumentos, incluidos los que evalúan el ambiente de aprendizaje de postgrado, está focalizada especialmente en el análisis de su validez de constructo y confiabilidad. Adicionalmente, la mayoría de estos estudios se han diseñado para evaluar instrumentos de amplia difusión y uso frecuente como el Dundee Ready Education Environment Measure (DREEM) 6,7. Frente a estos vacíos, el propósito de este estudio es sintetizar la validez de contenido de los instrumentos disponibles para la evaluación del ambiente de aprendizaje en la carrera de medicina, articulando las intersecciones y diferencias entre las dimensiones que pretenden explorar, e identificando las oportunidades que se abren para la práctica educativa y la investigación futura. El estudio pretende responder la siguiente pregunta de investigación: ¿Cuál es la validez de contenido de los instrumentos disponibles para la medición del ambiente de aprendizaje en estudiantes de medicina?
MATERIALES Y MÉTODOS
Diseño del estudio
Se realizó una revisión sistemática de la literatura (RSL). Este tipo de diseño permite responder la pregunta de investigación de manera protocolizada y explícita, y proporciona estimaciones más precisas que las de estudios individuales, lo cual limita los sesgos de recopilación y análisis de la evidencia contenida en los criterios de inclusión y exclusión 8,9. Este enfoque nos ha permitido desarrollar revisiones sistemáticas sobre ambientes de aprendizaje en postgrado 10. Para aportar resultados confiables a partir de estudios primarios, seguimos los pasos propuestos por Cochrane Collaboration 11. Posterior a la formulación de la pregunta, desarrollamos criterios de inclusión y exclusión de fuentes primarias, al igual que la búsqueda y selección de estos estudios en diferentes bases de datos. Luego realizamos la extracción, análisis de la información y evaluación de posibles sesgos, y finalmente interpretamos los resultados para obtener conclusiones en relación con el propósito del estudio.
Criterios de inclusión y exclusión
Los criterios de inclusión de los estudios para esta revisión fueron: a) estudios originales, b) estudios publicados desde 1990 a 2018, c) estudios publicados en idioma inglés o español, y d) estudios en los que se describieran instrumentos desarrollados para la evaluación del ambiente de aprendizaje en la carrera de medicina (en ambiente clínico, comunitario o universitario). Los criterios de exclusión fueron: a) estudios que incluyeran instrumentos para evaluar el ambiente de aprendizaje postgrado o educación continuada, b) estudios que incluyeran instrumentos para evaluar el ambiente de aprendizaje en otras profesiones de la salud, diferentes a medicina, c) instrumentos diseñados para la evaluación de la calidad de rotaciones clínicas, desempeño de los docentes clínicos, atributos individuales de los estudiantes (por ejemplo, autoeficacia, autodeterminación y carga cognitiva), y e) otros tipos de estudios no originales, como cartas al editor, editoriales, revisiones narrativas, revisiones sistemáticas o tesis de grado disponibles en los repositorios de las instituciones académicas.
Búsqueda de la información
Inicialmente realizamos búsquedas independientes de estudios que cumplieran con los criterios de inclusión en las bases de datos electrónicas de Pubmed, ERIC, British Nursing Index , Google Scholar, Science Direct, Cochrane y CINALH y Scielo. También realizamos búsquedas manuales utilizando referencias cruzadas y operadores booleanos. Las palabras claves para la búsqueda en idioma inglés fueron: "medical students", "undergraduates", "medicine", "learning environment", "clinical education", "education", "instrument", "tool", "medical education", "scale", "survey", "psychometric properties", "validity", "reliability", "content". Las palabras clave en español fueron: "estudiantes de medicina", "medicina", "ambiente de aprendizaje", "pregrado", "educación clínica", "educación", "cuestionario", "instrumento", "educación médica", "encuesta" "propiedades psicométricas", "escala", "validez", "confiabilidad", "contenido".
Extracción y análisis de la información
Posterior a la búsqueda de la literatura realizamos una revisión individual de los resúmenes de estudios previamente identificados hasta que logramos un consenso entre autores. Este proceso nos permitió identificar estudios para incluir en el análisis y luego realizar la extracción de los datos de acuerdo con las siguientes categorías:
Aspectos generales del instrumento: nombre del instrumento, autor, país, año, población, idioma, ámbito de aplicación (hospitalario, comunitarios, quirúrgico o universitario), traducción en otros idiomas (diferentes al primario) y adaptaciones culturales.
Contenido del instrumento y aspectos metodológicos: propósito del estudio, teoría subyacente al instrumento, metodología para la validación de contenido, número y descripción de dominios.
Desenlaces principales en relación con la validez de contenido de los estudios incluidos:
Número instrumentos que cuentan con una teoría subyacente que lo respalde / número total de instrumentos.
Número de estudios que utilizan métodos específicos para validar el contenido del instrumento (por ejemplo, Método Delphi, grupos focales, entrevistas) / número total de instrumentos.
Número que utilizan índices estadísticos para evaluar el contenido del instrumento (por ejemplo, el CRV o razón de la validez de contenido) / número total de instrumentos.
Promedio de dominios por instrumento.
Número instrumentos que evalúan ambientes hospitalarios, quirúrgicos y comunitarios / número total de instrumentos.
RESULTADOS
Características generales de los estudios incluidos
Un total de 38 estudios cumplieron los criterios de inclusión y fueron analizados. Estos estudios evalúan la validez de contenido de 12 instrumentos diferentes:
DREEM: Dundee Ready Educational Environment Measure (n=21) 12
MEEM: Medical Education Environment Measure (n=1) 13
CVI: Course valuing inventory (n=1) 14
STEEM: Surgical Theatre Educational Environmental Measure (n=2) 15
MINI-STEEM: Mini- Surgical Theatre Educational Environmental Measure (n=1) 16
MCPI: Manchester Clinical Placement Index (n=3) 17
UCEEM: Undergraduate Clinical Education Environment Measure (n=2) 18
CLEQ: The Clinical Learning Evaluation Questionnaire (n=1) 19
JHLES: Johns Hopkins Learning Environment Scale (n=3) 20
AEQ: Assessment Environment Questionnaire (n=1) 21
CLES: Clinical Learning Environment and Supervision (n=1) 22
C-CHANGE: Changing the culture of academic medicine (n=1) 23
Estos instrumentos fueron desarrollados y validados en los siguientes países: Reino Unido (n=6), Arabia Saudita (n=3), Malasia (n=3), India (n=2), USA (n=2), Brasil (n=2), Suecia (n=2), Irlanda (n=2), Tailandia (n=1), Irán (n=1), Grecia (n=1), Chile (n=1), Pakistán (n=1), Corea (n=1), Ghana (n=1), España (n=1), Nigeria (n= 1), Aruba (n=1), Asia (n =1), Trinidad (n=1), Canadá (n=1).
Al momento de la revisión, el 100 % de estos instrumentos se encontraban disponibles en idioma inglés (n=12). El DREEM, desarrollado originalmente en inglés, cuenta con traducciones en siete idiomas diferentes (español, alemán, persa, árabe, griego, coreano, portugués). El CVI, originalmente desarrollado en idioma inglés, cuenta con traducción al portugués. Solo un instrumento ha sido validado al español (DREEM). Solo un instrumento cuenta con adaptaciones culturales en contexto no occidentales en Arabia Saudita e Irán (DREEM).
Ocho instrumentos permiten evaluar el ambiente hospitalario (MEEM, CVI, UCEEM, CLEQ, JHLES, AEQ, CLES, C-CHANGE), uno de ellos (CLES) fue desarrollado originalmente en enfermería y posteriormente fue validado en medicina. Dos instrumentos evalúan el ambiente quirúrgico (STEEM y el mini-STEEM), otro fue diseñado para evaluar el ambiente de aprendizaje a nivel comunitario (MCPI) y uno para el ambiente universitario (DREEM). Las características generales de los instrumentos se presentan en tabla incluida al final de este estudio.
Contenido del instrumento y aspectos metodológicos
Tres instrumentos cuentan con una teoría educativa (MCPI, JHLES, C-CHANGES), entre las que se incluyen teorías socioculturales, como la de Comunidades de Práctica (CoP), así como otras centradas en el aprendizaje social y experiencial, y teorías de cambio. Nueve incluyen extensas revisiones de la literatura para sustentar su contenido (DREEM, CVI, STEEM, Mini-STEEM, MCPI, JHLES, C-CHANGE, MEEM) y en tres se utilizaron grupos focales y entrevistas con estudiantes como método de validación de contenido (UCEEM, AEQ, CLES). En diez de los instrumentos se utilizó el Delphi y panel de expertos para el desarrollo de los ítems. Otros métodos descritos en la literatura para medir la validez de contenido, como el CVR, no fueron utilizados en ninguno de los estudios.
En cuanto al número de dominios (en su versión original), hubo variaciones que fueron desde tres en el Mini- STEEM hasta nueve en el C-CHANGE. Los dominios evaluados por los instrumentos fueron: 1) la atmósfera o ambiente del aprendizaje en 91,6 % (n=11); 2), la percepción social o humanidad en 58.3 % (n=7); 3), la percepción académica en 75 % (n=9); 4), la docencia en 75 % (n=9); 5), los docentes en 58.3 % (n=7) y; 6), el espacio físico donde se desarrollan las prácticas en 33 % (n=4). Los dominios incluidos en los instrumentos, así como otras características de los instrumentos, se presentan en tabla incluida al final de este estudio.
Desenlaces principales
Número instrumentos que cuentan con una teoría subyacente que respalda el contenido / número total de instrumentos = 25 % (n=3).
Número instrumentos que cuentan con revisión de la literatura que respalda el contenido / número total de instrumentos = 75 % (n=9).
Número de instrumentos que utilizan grupos focales / entrevistas para validar el contenido del instrumento / número total de instrumentos = 25 % (n=3).
Número de instrumentos que utilizan panel de expertos y Método Delphi para desarrollo de los ítems / número total de instrumentos = 83,3 % (n=10).
Número que utilizan índices estadísticos para evaluar el contenido del instrumento (por ejemplo, el CVR o razón de la validez de contenido) / número total de instrumentos = cero.
Promedio de dominios por instrumento = 5.58.
Número instrumentos que evalúan ambientes universitarios (versión original) / número total de instrumentos = 25 % (n=3).
Número instrumentos que evalúan ambientes hospitalarios (no quirúrgicos) en su versión original / número total de instrumentos = 75 % (n=9).
Número instrumentos que evalúan ambientes hospitalarios (quirúrgicos) en su versión original / número total de instrumentos = 16,6 % (n=2).
Número instrumentos que evalúan ambientes comunitarios en su versión original / número total de instrumentos = 8.3 % (n=1).
DISCUSIÓN
Esta investigación fue diseñada para sintetizar la validez de contenido de los instrumentos disponibles para evaluar el ambiente de aprendizaje en la carrera de medicina. Se identificaron doce instrumentos. El DREEM es el más utilizado. Está disponible en ocho idiomas y es el único validado en español con múltiples adaptaciones culturales en contextos no occidentales. No obstante, el DREEM está limitado al ambiente universitario. Por otra parte, la mayoría de los instrumentos permiten evaluar el ambiente hospitalario no quirúrgico. Identificamos que en su totalidad poseen algún tipo de método o evidencia que sustenta la validez de contenido. Sin embargo, el uso de la teoría educativa como marco conceptual es pobre. Finalmente, todos los instrumentos cuentan con dominios para evaluar la atmosfera de aprendizaje y la percepción social.
Estos hallazgos tienen varias explicaciones. El DREEM es un instrumento pionero para la evaluación del ambiente de aprendizaje desde 1997. Este aspecto puede explicar su gran difusión y disponibilidad en múltiples idiomas y contextos durante los últimos veinte años. Además, su extensa adopción obedece a que sintetiza el contenido de otros instrumentos desarrollados tempranamente, algunos desde los años sesenta (por ejemplo, The College and University Environment Scales (CUES), Classroom Environment Scales (CES), Inventory of College Characteristics (ICCS), Learning Environment Inventory (LEI), College and University Enviroment Inventory (CUCEI), Medial School Environment Index (MSEI), Insitutional Goals Index (IG) y el Institutional Functioning Inventory (IFI) 6,7. Como resultado, un centenar de estudios respaldan su validez en más de treinta países (76,4 % de los de estos estudios en Asia y Europa) en programas médicos, dentales y de enfermería (86,8 % de los estudios). Adicionalmente, cerca de tres cuartas partes de estos estudios, desarrollados a nivel de estudiantes de medicina, soportan su validez y confiabili-dad en diferentes idiomas y contextos culturales occidentales y no occidentales. También ha sido adaptado para evaluar los ambientes de aprendizaje en postgrado 6,7.
Por otra parte, la disponibilidad de instrumentos en idioma español es aún limitada. Precisamente, el DREEM ha sido el único traducido y validado 7. Este resultado puede explicarse porque la mayor proporción de instrumentos proviene del contexto europeo, en especial del Reino Unido, en el marco de la educación basada en competencia de la Declaración de Bolonia, la cual ha resaltado la relevancia de la evaluación de la calidad de los procesos educativos 24. Durante las últimas dos décadas, sin embargo, estos marcos conceptuales se han extendido a otros contextos que han incorporado progresivamente la medición del ambiente de aprendizaje (en especial en Estados Unidos y Asia). En otros contextos, como el latinoamericano, este proceso avanza de forma gradual y se espera la adopción progresiva de estos referentes conceptuales, así como un creciente número de instrumentos para estos propósitos en los próximos años 25. Este devenir histórico puede explicar además el ámbito de aplicación de los instrumentos. El ambiente hospitalario no quirúrgico, por ejemplo, sigue siendo de gran interés para la comunidad académica. Nueve instrumentos identificados en este estudio tienen este propósito. No obstante, pocos evalúan el ambiente quirúrgico (STEEM y Mini-STEEM) y comunitario (MCPI). Este déficit ha sido explicado por el mayor número y complejidad de variables y factores estructurales en la práctica quirúrgica, así como por las oportunidades limitadas de participación de los estudiantes de medicina en estos escenarios 15,16,17. No contamos con explicaciones relativas a la falta de instrumentos para evaluar el ambiente de aprendizaje a nivel comunitario.
Al mismo tiempo, la mayoría de estos instrumentos no están respaldados por una teoría educativa. La teoría es importante porque permite entender conceptualmente los componentes e interacciones que explican cómo funciona el ambiente de aprendizaje. Recientemente, por ejemplo, se ha conceptualizado que el ambiente de aprendizaje está compuesto por cinco componentes centrales (social, personal, organizacional, físico, virtual), superpuestos e interactivos, que forman dos dimensiones: psicosocial y material 26,27. La primera se relaciona con la atmosfera de aprendizaje (componentes personal y organizacional), en la que los estudiantes interactúan, crecen y desarrollan su identidad profesional. La dimensión material se refiere a los espacios físicos y virtuales en los cuales se desarrolla el componente psico-social 27. Estos fundamentos teóricos, desafortunadamente, no son explícitos en todos los instrumentos identificados y son piedra angular en la investigación educativa. Únicamente el MCPI, JHLES y el C-CHANGES cuentan con una teoría educativa subyacente. Sin embargo, vale la pena mencionar que instrumentos como el DREEM, aunque no poseen una teoría estructurada, se basan en fundamentos conceptuales de otros instrumentos desarrollados sobre bases teóricas explícitas, al igual que CVI, STEEM, AEQ 12,14,15,21. En último lugar, respecto a los métodos de validación, creemos que el panel de expertos y método Delphi en educación médica son métodos de uso creciente y apropiados, dadas las particularidades específicas del contexto de práctica médica, frente al cual puede ser limitado el uso de técnicas estadísticas propias de la psicometría (por ejemplo, CVR) 28.
Un hallazgo central de este estudio tiene que ver con los dominios que evalúan estos instrumentos. La atmosfera de aprendizaje constituye un elemento fundamental del ambiente de aprendizaje. Este constructo se fundamenta en la interacción de los actores y en las experiencias de aprendizaje en entornos físicos o virtuales, las cuales pueden influir en el conocimiento, la actitud y el patrón de práctica de un estudiante, así como en el rendimiento académico y profesional 29. La percepción social de esta atmosfera es importante porque permite entender y valorar la calidad de las interacciones en el ambiente, incluida la equidad, la inclusión, el bienestar y el trato hacia los estudiantes 29. El componente social tiene explicaciones desde los aspectos sociológicos y antropológicos, referentes a la forma en que los individuos interactúan entre sí y dentro de un sistema 29,30
Este estudio posee fortalezas y limitaciones. Las primeras están relacionadas con el diseño y la metodología utilizada (a la luz de recomendaciones universales), así como con el marco conceptual y análisis objetivo teniendo en cuenta principios de la teoría psicométrica. Algunas limitaciones radican en la falta de evaluación de otro tipo de validez (por ejemplo, constructo, predictiva, discriminante). Otras debilidades tienen que ver con la falta de inclusión de instrumentos utilizados para la evaluación de ambiente de aprendizaje de otras profesiones de la salud, así como la falta de evaluación del rendimiento de algunos de los instrumentos incluidos en otros niveles educativos (por ejemplo, DREEM en postgrado).
Este estudio tiene implicaciones prácticas, ya que puede contribuir como marco de referencia al momento de elegir un instrumento para la medición de ambientes de aprendizaje en estudiantes de medicina, así como dominios y constructos subyacentes. Al mismo tiempo, este estudio identifica vacíos de conocimiento y nuevas oportunidades de investigación futura, entre los que resaltan la necesidad de realizar estudios que busquen validar y traducir nuevos instrumentos al español, y otros que permitan comparar la efectividad de los diversos instrumentos en cuanto a sus tipos específicos de validez (en particular, concurrente). Igualmente, se deben realizar estudios que exploren la capacidad predictiva de los nuevos instrumentos (por ejemplo, JHLES, MPI) en el desempeño profesional y académico de los estudiantes.
En conclusión, esta RSL permitió explorar la validez de contenido de los instrumentos disponibles para medir el ambiente de aprendizaje en estudiantes de medicina. Finalmente, los múltiples instrumentos evaluados permiten explorar múltiples constructos teóricos, los cuales tienen implicaciones prácticas y abren la puerta a nuevos estudios.
