Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
INTRODUCCIÓN
El uso del feedback (retroalimentación) tiene por objetivo facilitar que las metas del aprendizaje sean alcanzadas, así como corregir o reforzar las conductas recién aprendidas, efectos educativos positivos reconocidos desde hace mucho tiempo (1) y que lo hacen un recurso utilizado comúnmente para la evaluación objetiva de los estudiantes en la educación médica. Además, no presenta solo una medición, sino también información que lo convierte en un proceso formativo (2,3). Se ha demostrado que si es adecuadamente aplicado con resultados exitosos, es un factor clave en el proceso de aprendizaje y un impulso para el perfeccionamiento y la adecuación del método de enseñanza en estudiantes de medicina de cursos clínicos y preclínicos (4).
Para los estudiantes, la transición de la fase teórica hacia la clínica es una etapa de adaptación que puede generar problemas en el aprendizaje (5). El feedback, en ese contexto, puede incrementar su motivación, esfuerzo y compromiso. Por ello, su práctica efectiva asegura el aprendizaje del estudiante y la seguridad del paciente, una vez que los conocimientos o habilidades clínicas que alcanzan los estándares requeridos se mantienen en la práctica clínica del médico.
A pesar de que se ha considerado como crucial para garantizar el adecuado proceso enseñanza-aprendizaje de la medicina, muchos informan constantemente que la provisión de feedback es insuficiente, particularmente durante las rotaciones clínicas (6). La baja calidad y la percepción de carencia de este aspecto, presentan un área de la educación médica y clínica donde las mejoras beneficiarán a la formación médica (7). Adicionalmente, se ha determinado que la percepción de quien recibe la retroalimentación acerca del proveedor del feedback, influye en la forma como estos aprecian esta herramienta y la convierten en un determinante clave del éxito de su aprendizaje (8).
El feedback es un proceso interactivo entre la persona que lo realiza y los estudiantes, por lo que es necesario que los maestros también reciban comentarios apropiados de sus estudiantes. En un abordaje verbal, se analizó que el discurso está muy enfocado en el profesor, validando lo positivo o neutro, pero sin enfatizar del lado de los que están aprendiendo, o dándoles apenas énfasis en lo positivo, lo que genera un problema de resistencia cuando estos mismos estudiantes reciben orientaciones enfocadas en sus errores, aunque sea para la mejora del desempeño académico. Esas situaciones no dejan espacio abierto suficiente para que ambos interactúen de igual para igual, recibiendo y dando información útil para la mejor construcción de ambas partes (9). Actualmente, existen pocos instrumentos en español que midan la percepción que los estudiantes o residentes de medicina tienen del proveedor del feedback durante sus rotaciones clínicas.
Un estudio del 2018 en los Estados Unidos culminó con la validación del cuestionario Feedback in Medical Education (FEEDME-Provider), instrumento que mide la interacción entre el estudiante o residente de medicina con el médico que le brinda el feedback. Cuenta con 13 ítems más uno general, divididos en 3 factores. Este instrumento se distingue de otros por ser útil en el desarrollo del profesorado, centrado en las habilidades del feedback, además de ser escrito y no solo verbal, lo que permite que los datos sean recopilados y puedan ser utilizados para mejorar las prácticas desarrolladas por los instructores. Adicionalmente, estos datos pueden ser utilizados para comparar los comentarios que reciben los rotantes entre diferentes instituciones o especialidades dentro de un mismo hospital (10).
En este contexto, el objetivo del presente estudio es traducir y adaptar culturalmente el cuestionario FEEDME-Provider al español latinoamericano, para evaluar su consistencia interna, validez de contenido y de constructo estructural, con el fin de ser aplicado en estudiantes de medicina durante sus rotaciones clínicas.
METODOLOGÍA
Diseño y participantes
Diseño observacional de corte transversal y de tipo instrumental. Se utilizó un muestreo no probabilístico de tipo intencional considerando como población accesible a 139 estudiantes de medicina que realizaban rotación hospitalaria o internado, en hospital o clínica en el momento del desarrollo del estudio.
Procedimiento
La presente investigación fue desarrollada en dos etapas: la traducción y validación del cuestionario FEEDME-Provider en español latinoamericano. Antes de comenzar, se obtuvo el permiso del autor corresponsal del instrumento original a través de un correo electrónico. El estudio fue revisado por el Comité de Ética de la Facultad de Ciencias de la Salud y se consiguió el permiso de la Escuela de Medicina de la Universidad Peruana Unión para aplicar el grupo focal como la prueba piloto con sus estudiantes.
El proceso de traducción se realizó en diferentes etapas según las recomendaciones de Guillemin et al. (11). Primeramente, una traducción inicial por un grupo de traductores, eguido de una traducción de vuelta (back-translation) por otros traductores sin conocimiento del cuestionario original. Finalmente, fue evaluado por un comité de revisión y un grupo focal como pre-testing antes de aplicar la prueba piloto.
Instrumento
El instrumento denominado FEEDME-Provider pretende medir la percepción que estudiantes e internos de carreras de medicina tienen hacia los médicos u otros profesionales que les supervisan y asesoran (10). Cuenta con 13 ítems divididos en 3 factores con uno general al final. En el estudio inicial de validación en inglés, los 3 factores alcanzaron un alfa de Cronbach de por lo menos 0,80 y 4 ítems de la versión preliminar fueron eliminados debido a sus bajas cargas factoriales o cargas hacia 2 o más factores (10). Los autores de la versión original en inglés fueron contactados antes de comenzar el estudio, ellos concedieron el permiso para el presente trabajo.
Traducción inicial
Tres estudiantes y un egresado de medicina fueron invitados para participar como traductores en este estudio. Los cuatro hablan inglés y español fluidamente, pero son nativos de países sudamericanos. Cada uno de ellos preparó una traducción independiente para luego reunirse los cuatro con un profesor peruano de medicina y un experto estadounidense en la traducción de instrumentos para formar el Comité de revisión. Los seis revisaron la traducción del cuestionario en una reunión presencial y prepararon una versión consolidada, dejando comentarios de las modificaciones que se consideraron necesarias.
Traducción de vuelta
La versión consolidada del cuestionario fue enviada a dos traductores registrados en el Colegio de Traductores del Perú. Ninguno tenía conocimiento previo del estudio. El experto estadounidense en traducción de instrumentos consolidó las variaciones. La versión consolidada del proceso de traducción de vuelta al inglés (back-translation) y el cuestionario traducido al español fueron enviados al autor corresponsal del documento original, este lo aprobó sin observaciones y con la sugerencia de pasarlo por un grupo focal.
Grupo focal
El profesor peruano de medicina aplicó el cuestionario en un salón (34 estudiantes de medicina: 13 varones y 21 mujeres.) Se les invitó a escribir sus comentarios en el cuestionario aplicado en papel. El grupo focal sugirió los siguientes cambios: “confortable” en vez de “cómodo(a)” en el ítem 2; “Tengo respeto al” en vez de “Respeto al” en el ítem 4; “me respetó como persona” en vez de “fue respetuoso conmigo como individuo” en el ítem 5; “tuvo en cuenta mis necesidades de aprendizaje” en vez de “tuvo mis mejores intereses en cuenta” en el ítem 9; “realizó un seguimiento” en vez de “dio seguimiento” en el ítem 12. Además, se eliminó la palabra que en “si tenía dudas que sobre el feedback que recibí” del ítem 10, incluida por un error tipográfico.
Validación del cuestionario
La validación del cuestionario consistió en una revisión por expertos y una prueba piloto. Los expertos fueron 7 médicos (6 con grado de magister y 1 de doctor), todos docentes universitarios. Su revisión analizó la validez del contenido, relevancia, representatividad y claridad en los ítems; se calculó el valor V de Aiken para cada ítem. En el Apéndice 1 (material suplementario) se observa la versión original del cuestionario FEEDME-Provider y la peruana traducida (Feedme-Proveedor).
Prueba piloto
Con el cuestionario traducido y validado por los expertos, se convocó a una reunión de estudiantes de medicina dentro del campus de la Universidad Peruana Unión. Se les explicó la naturaleza voluntaria de la actividad a los participantes, se les mostró un código QR y un enlace corto para que pudieran ingresar a través de sus teléfonos celulares y computadoras portátiles. Ambas opciones estaban vinculadas con el mismo formulario de Google, que incluía una página inicial con el consentimiento informado; luego se solicitaba el número de identificación del estudiante (para evitar que se repita) y el sexo antes de continuar con el instrumento.
Análisis estadístico
Inicialmente, se analizó la evidencia de la validez del contenido según el juicio de los expertos y, de acuerdo con los puntajes asignados a los ítems, se calculó el coeficiente V de Aiken (con valores significativos ≥ 0,70) y sus intervalos de confianza (IC) al 95 %.
Seguidamente, se analizó la media, la desviación estándar, asimetría y curtosis de la escala FEEDME-Proveedor. Luego se aplicó un análisis factorial exploratorio (AFE) teniendo en cuenta el test de Bartlett y el coeficiente Kaiser-Meyer-Olkin (KMO) con base en una matriz de correlación de Pearson. Se utilizó el método por mínimos cuadrados no ponderados con rotación oblicua PROMIN; asimismo, el análisis paralelo sugirió 3 factores, semejante a la propuesta original. Por último, se calculó la fiabilidad de la escala a través del coeficiente alfa de Cronbach.
Se utilizó el programa estadístico Factor Analysis (versión 10.1) para analizar los estadísticos descriptivos y el AFE. Para calcular la fiabilidad se utilizó SPSS Statistics (versión 25.0).
RESULTADOS
Se contó con la participación de 139 estudiantes universitarios de medicina: 57 fueron varones y 82 mujeres, con una edad promedio de 21,29 años (DE = 3,911). Asimismo, el apéndice 2 muestra los resultados de la evaluación de un grupo de expertos, quienes analizaron la validez del contenido, relevancia, representatividad y claridad de los ítems del cuestionario FEEDME-Proveedor. Se aprecia estos recibieron una evaluación favorable de parte de los expertos (V > 0,70). Respecto a la relevancia, se encontró que los ítems 11 y 12 son más importante que los demás (V = 1,00; IC 95 %: 0,85-1,00).
En cuanto a la representatividad, se observa que los números 6, 8, 9, y 12 son los más relevantes (V = 1,00; IC 95 %: 0,85-1,00), y la mayoría de estos fueron evaluados como claros (V = 1,00; IC 95 %: 0,85-1,00). Asimismo, se aprecia que todos los valores del límite inferior (Li) del IC 95 % son apropiados y todos los del coeficiente V fueron estadísticamente significativos. Por lo tanto, el cuestionario FEEDME-Proveedor reporta evidencia de la validez basada en el contenido.
Los estadísticos descriptivos de los 13 ítems del cuestionario FEEDME-Proveedor son mostrados en la Tabla 1. Se aprecia que el 5 tiene la mayor media (M = 3,96) y el 12 el más bajo (M = 3,24). Respecto a la variabilidad, el 2 (DE = 1,30) muestra la mayor dispersión. La asimetría y curtosis de todos ellos son inferiores a ± 1,5. Asimismo, se reportan comunalidades > 0,50, las correlaciones son moderadas y significativas entre ellos (> 0,70). Todos los ítems que configuran el cuestionario reportan un coeficiente α de Cronbach superior a 0,80.
Tabla 1 Análisis preliminar de los ítems del cuestionario FEEDME-Proveedor
| Ítems | M | DE | As | K | h | r itc | α |
|---|---|---|---|---|---|---|---|
| Item1 | 3 662 | 1 056 | -0,653 | -0,049 | 0,673 | 0,802 | 0,959 |
| Item2 | 3 568 | 1 093 | -0,575 | -0,187 | 0,728 | 0,835 | 0,958 |
| Item3 | 3 374 | 1 061 | -0,43 | -0,235 | 0,697 | 0,818 | 0,959 |
| Item4 | 3 935 | 1 067 | -0,835 | 0,005 | 0,591 | 0,753 | 0,960 |
| Item5 | 3 964 | 1 108 | -0,918 | 0,056 | 0,61 | 0,766 | 0,960 |
| Item6 | 3 597 | 1.13 | -0,515 | -0,481 | 0,715 | 0,827 | 0,958 |
| Item7 | 3 489 | 1 152 | -0,357 | -0,751 | 0,706 | 0,823 | 0,959 |
| Item8 | 3 914 | 1 069 | -0,858 | 0,163 | 0,585 | 0,750 | 0,960 |
| Item9 | 3 633 | 1 138 | -0,568 | -0,463 | 0,735 | 0,838 | 0,958 |
| Item10 | 3 554 | 1 194 | -0,613 | -0,472 | 0,564 | 0,737 | 0,961 |
| Item11 | 3 381 | 1 177 | -0,431 | -0,702 | 0,644 | 0,788 | 0,959 |
| Item12 | 3 245 | 1 174 | -0,218 | -0,857 | 0,655 | 0,793 | 0,959 |
| Item13 | 3 396 | 1 135 | -0,408 | -0,631 | 0,736 | 0,841 | 0,958 |
M = Media; DE = Desviación estándar; As = Coeficiente de asimetría; K = Coeficiente de curtosis; h = Comunalidades; r itc = Correlación ítem-test corregido. Fuente: creación propia
Se realizó un análisis factorial exploratorio (AFE), puesto que el test de Barlett (1521,8; gl = 120; p = 0,001) y la medida de adecuación muestra KMO (0,953) justificaron su realización. Para la determinación del número de factores se hizo el análisis paralelo, indicando la existencia de 3 factores que corresponden con la estructura teórica de la escala original y sus estudios previos. Todos los ítems presentaron valores de saturación > 0,30. Sin embargo se eliminaron el 1 y 3 (“El proveedor de feedback tuvo habilidades y/o conocimientos necesarios para proporcionarme el feedback” y “El proveedor de feedback ha trabajado conmigo el tiempo suficiente para evaluar mi desempeño”) porque no correspondían teóricamente con su factor (Tabla 2).
Tabla 2 Análisis factorial exploratorio del cuestionario FEEDME-Proveedor
| Ítems | Factor 1 (Intercambio de Feedback) | Factor 2 (Características del proveedor de Feedback) | Factor 3 (Calidad de Feedback) |
|---|---|---|---|
| Ítem 2. Me sentí confortable con el proveedor de feedback. | 0,485 | ||
| Ítem 4. Tengo respeto al proveedor de feedback. | 0,851 | ||
| Ítem 5. El proveedor de feedback me respetó como persona. | 0,994 | ||
| Ítem 8. El proveedor de feedback usó un tono de voz respetuoso. | 0,908 | ||
| Ítem 9. Creo que el proveedor de feedback tuvo en cuenta mis necesidades de aprendizaje. | 0,403 | ||
| Ítem 6. El feedback incluyó sugerencias sobre cómo mejorar mi desempeño. | 0,637 | ||
| Ítem 7. El feedback que recibí estuvo basado en comportamientos específicos de mi desempeño que fueron observados directamente. | 0,320 | ||
| Ítem 10. El proveedor de feedback me preguntó si tenía dudas sobre el feedback que recibí. | 0,914 | ||
| Ítem 11. La discusión del feedback fue bidireccional. | 1,000 | ||
| Ítem 12. El proveedor de feedback realizó un seguimiento para asesorar mi progreso. | 0,866 | ||
| Ítem 13. El proveedor de feedback tuvo en cuenta los retos circunstanciales que enfrenté durante mi desempeño. | 0,732 |
Fuente: creación propia
La carga interfactorial entre el intercambio de Feedback, características del proveedor de Feedback y Calidad de Feedback, fue directa, moderada y significativa (Tabla 3). El primer factor explica el 69,1 % de la varianza, el 2 aporta el 9,18 % de la varianza y, el 3, el 4,92 % de la varianza. Los análisis robustos (CFI = 1,00, GFI = 0,992, TLI = 1,00 y AGFI = 0,997), muestran que la estructura factorial es satisfactoria. Respecto a la confiabilidad de la escala total y sus factores, el coeficiente α de Cronbach es superior al 0,80, que indica que la escala presenta una consistencia interna.
Tabla 3 Correlaciones entre factores y fiabilidad del cuestionario FEEDME-Proveedor
| Factores | F1 | F2 | F3 | % VE | α | IC 95 % |
|---|---|---|---|---|---|---|
| Factor 1 (Intercambio de Feedback) | 1 | 69,1 | 0,94 | 0,91 - 0,95 | ||
| Factor 2 (Características del proveedor de Feedback) | 0,760* | 1 | 9,18 | 0,84 | 0,78 - 0,88 | |
| Factor 3 (Calidad de Feedback) | 0,882* | 0,642* | 1 | 4,92 | 0,91 | 0,87 - 0,93 |
| Total | 83,2 | 0,95 | 0,93 - 0,96 |
VE = Varianza explicada; α = Coeficiente de Cronbach; IC = Intervalos de confianza. * (p < 0,05). Fuente: creación propia.
DISCUSIÓN
El objetivo del trabajo fue realizar la traducción, adaptación cultural y validez de contenido y del constructo estructural, así como su confiabilidad y consistencia interna del cuestionario FEEDME-Proveedor en estudiantes peruanos de medicina humana. Los resultados concluyeron en un modelo re-especificado de 11 ítems divididos en tres factores, a diferencia del modelo original, el cual describe 13 (10). A pesar de ello, la estructura compuesta por los tres factores corresponde con el campo teórico, dado que la medición del feedback en relación con los 11 ítems informan del proceso de aprendizaje del estudiante y valoran cada competencia para las áreas determinadas (12). Por lo tanto, las adecuadas propiedades psicométricas de las puntuaciones del cuestionario guardan relación con las nociones teóricas y empíricas del modelo planteado por la investigación.
En relación con las directrices de la Comisión Internacional de los Test (2017), se realizó la traducción técnica de la escala mediante el método directo e inverso; no hubo cambios sintácticos de las palabras y el análisis del contenido de los ítems se desarrolló mediante grupos focales de expertos en ciencias de la salud. Estos últimos determinaron algunos cambios semánticos debido a la redundancia e idiosincrasia de la versión original, asegurando la claridad del constructo y de tal manera se verificó y comprobó su equivalencia en esta forma adaptada (13). Asimismo, el objetivo del cuestionario es evaluar solo la retroalimentación recibida por el alumno de forma verbal (10): por ello, la equivalencia psicométrica determinó la no existencia de cambios, debido al ritmo particular
de cada idioma al momento de la retroalimentación verbal al alumno (14).
Estos hallazgos fueron examinados mediante el AFE (Tabla 2) sugiriéndose la existencia de tres factores; como la versión original (10). Pese a ello, el modelo propuesto por el AFE sugirió la reorganización de los ítems, resultado que puede presentarse cuando las puntuaciones de un test cambian de contexto de aplicación (15). Pese a ello, la reorganización de los ítems dentro de los factores produjo la exclusión del ítem 1: “El proveedor de feedback tuvo habilidades y/o conocimientos necesarios para proporcionarme el feedback”; y del 3: “El proveedor de feedback ha trabajado conmigo el tiempo suficiente para evaluar mi desempeño”. De esa manera, se formaron tres factores, los dos primeros con cinco ítems y el último con dos; a pesar de que varios autores sustentan la presencia de tres como mínimo en cada factor (16). El modelo re-especificado mediante AFE con análisis robusto fue óptimo (CFI = 1,00, GFI = 0,992, TLI = 1,00 y AGFI = 0,997). Asimismo, la confiabilidad de la consistencia de las puntuaciones no se ha visto afectada por ello (Tabla 3). Por lo tanto, se encuentran fuertes razones teóricas y prácticas que sustentan la decisión. Estos resultados permitieron obtener una versión abreviada para medir el feedback en un menor tiempo y practicidad en futuras investigaciones.
Las puntuaciones de forma global y por dimensiones de los 11 reactivos en el análisis de la fiabilidad resultaron ser consistentes en conjunto, dado que, se obtuvo un valor adecuado (> 0,80); similar a investigaciones interculturales (17). Sin embargo, la representación de los ítems en el factor 3 (Tabla 2) solo contiene dos, ya que fue teóricamente incongruente con el modelo re-especificado. Además, se quiso minimizar el error en la medición de las percepciones de los estudiantes con base en la retroalimentación verbal proporcionada por sus mentores, por lo que se decidió excluir los ítems 1 y 3, ya que no mostraron una alta correlación con los otros y de ese modo de obtuvo un alto grado de homogeneidad (18,19).
Por otro lado, si se desea contar con profesionales competentes en las ciencias de la salud, se necesita de un monitoreo, evaluación y medición constante del aprendizaje. Por ello, la revisión del cuestionario FEEDME-Proveedor en estudiantes peruanos de medicina humana presenta algunas limitaciones. Primero, la medición de la evaluación educativa del aprendizaje en medicina es más consistente por medio de la teoría de respuesta al ítem multidimensional (20), en contraste con el modelo latente propuesto por el presente trabajo. Segundo, no se replicó la evidencia del proceso de respuesta por medio de entrevistas cognitivas que permitirían explorar la relación del formato del cuestionario y las reacciones, sobre el diseño y el tiempo para rellenar, ya que son factores que afectan las respuestas, dificultades y beneficios de uso del instrumento (10). Tercero, no se demostró la relación teórica del constructo con otras variables psicológicas o educativas. Cuarto, se recomienda realizar evidencias de invarianza métrica mediante grupos de sexo, ya que permitirá conocer la comparación entre varianzas factoriales y pendientes regresoras (21,22). Quinto, en el análisis de la fiabilidad de las puntuaciones de la prueba solo analizamos las consistencias entre ellas; sería adecuado analizar la estabilidad de las puntuaciones bajo el método de test-retest. Además, es necesario realizar estudios adicionales para evaluar la reproducibilidad y otras formas de validez del constructo.
A pesar de estas limitaciones, concluimos que la adecuada traducción y adaptación cultural del contenido de los ítems produjo consistentes propiedades psicométricas de confiabilidad, validez de contenido y constructo estructural en las puntuaciones de la escala de FEEDME-Proveedor en una muestra de estudiantes peruanos de medicina humana. Estudios adicionales de análisis factorial confirmatorio deberán realizarse, así como evaluar si esta escala puede usarse para ayudar a los estudiantes a recibir feedback y estimular su aprendizaje reflexivo.
