El compromiso académico se define como la participación y motivación de los estudiantes hacia las distintas actividades académicas, tales como asistir a las clases, estudiar las distintas asignaturas, entregar los trabajos a tiempo, adquirir habilidades y competencias esperadas por cada especialidad, y participar en clase interactuando con pares y docentes, entre otras cosas (Marôco et al., 2016; Sakurai & Pyhältö, 2018).
Los estudiantes con un mayor compromiso académico asumen un tipo de enfoque profundo con las actividades de aprendizaje, muestran una gran responsabilidad con estas y destinan más energía mental y emocional, que trasciende el aprendizaje superficial de los contenidos (Amerstorfer & Freiin von Münster-Kistner, 2021).
El compromiso académico ha demostrado ser de gran importancia durante el proceso de aprendizaje, siendo su estimulación al inicio del curso fundamental para que los estudiantes obtengan mejores resultados académicos (Ribeiro et al., 2019).
Varias investigaciones verifican el efecto positivo que tiene el compromiso académico en el rendimiento de los estudiantes universitarios (Acosta-Gonzaga & Ramírez-Arellano, 2020; Delfino, 2019; Kim et al., 2019). En este sentido, un estudio metaanalítico informó una fuerte relación tanto del compromiso general, como de cada uno de sus dominios -cognitivo, emocional y conductual- con el rendimiento académico de los estudiantes universitarios. Asimismo, el estudio muestra que esta relación se encuentra influenciada por la cultura y el género (Lei et al., 2018).
El compromiso académico, también se relaciona con otras variables psicológicas -enfoques de aprendizaje, motivación, autoeficacia, estrategias metacognitivas, metas académicas- y educativas -programas de acceso a la educación superior, sentido de pertenencia a la carrera, apoyo de pares- que además de predecir positivamente al rendimiento académico se vinculan con el adecuado ajuste del estudiante al contexto educativo, contribuyendo a la autorregulación de su aprendizaje (Lira-Munizaga & Pérez-Salas, 2022; Maluenda-Albornoz et al., 2021, 2022; Maricuțoiu & Sulea, 2019; Mohamed-Bayoumy & Alsayed, 2021; Taghani & Razavi, 2021). Por el contrario, el compromiso académico se relaciona negativamente con variables perjudiciales para el desempeño como el burnout y la procrastinación académica (Aspeé et al., 2021; Liebana-Presa et al., 2018; Morales-Rodríguez et al., 2019).
Distintas investigaciones destacan la importancia del compromiso académico en la permanencia y finalización de los estudios en tiempo y forma de los alumnos universitarios (Korhonen et al., 2019; Truta et al., 2018). Es en este sentido que la evaluación del compromiso académico cobra un papel central a la hora de planificar acciones orientadas hacia la mejora de los logros académicos. De acuerdo con algunos estudios, el compromiso de los alumnos puede incrementarse, si, por ejemplo, se les ayuda a mejorar la confianza en sí mismos, se estimula el trabajo activo y colaborativo entre pares, y se crean experiencias educativas desafiantes para los estudiantes que les permitan enriquecer y ampliar sus habilidades académicas, entre otras cosas (Alonso-Tapia et al., 2022; Khan et al., 2021).
Evaluación del compromiso académico
El compromiso académico se define, en términos generales, como el grado de participación que los estudiantes tienen en relación con las distintas actividades académicas (Skinner et al., 2009). Si bien existen múltiples definiciones operacionales del compromiso académico, hay tres de ellas que destacan por encima del resto (Chapman, 2002). La primera evalúa la participación de los estudiantes en las actividades educativas, principalmente mediante indicadores basados en el tiempo, como puede ser la cantidad de horas que dedican a la resolución de las tareas (Brophy, 1983). Una segunda definición estudia la participación a partir de indicadores relacionados con la voluntad de los alumnos para cumplir con las distintas actividades académicas -asistir a clases, entregar tareas, atender en clase, entre otras cosas- (Natriello, 1984). La tercera definición, que es la más difundida actualmente, considera el compromiso académico como un constructo multidimensional (Marôco et al., 2016). Desde esta perspectiva, una de las caracterizaciones actuales y más difundidas propone evaluar el grado de participación de los estudiantes mediante tres dimensiones de compromiso: emocional, comportamental y cognitivo (Fredricks et al., 2004). El compromiso emocional se refiere a reacciones positivas y/o negativas de los estudiantes hacia compañeros y docentes, entre otros. El compromiso comportamental alude a la participación en actividades académicas y no académicas que promuevan buenos resultados en el aula. El compromiso cognitivo implica el esfuerzo de los estudiantes por comprender el contenido académico. Estos tres componentes se encuentran en constante interacción, determinando el grado de intensidad y duración del compromiso de los estudiantes (Fredricks et al., 2004, 2015). Posteriormente, se incorporó una cuarta dimensión -menos investigada y operacionalizada- denominada compromiso agente, que se refiere a las conductas de los estudiantes -formular preguntas, realizar sugerencias, entre otras- que promueven una interacción positiva con el docente, favoreciendo el proceso de enseñanza-aprendizaje (Reeve & Tseng, 2011).
Las dimensiones cognitivas, conductuales y afectivas son operacionalizadas dentro del ámbito educativo por medio de múltiples instrumentos (Appleton et al., 2006; Doğan, 2014; Handelsman et al., 2005; Skinner, 2009; Wang et al., 2011). Específicamente, para el nivel universitario se han desarrollado varias herramientas (Doğan, 2014; Handelsman et al., 2005), siendo una de las más difundidas y actuales el University Student Engagement Inventory (USEI) (Marôco et al., 2016). El USEI tiene 15 ítems que evalúan tres dimensiones de compromiso: conductual, emocional y cognitivo, y una general de segundo orden. Los reactivos deben responderse mediante una escala Likert de cinco alternativas (1-nunca a 5-siempre). La brevedad de la escala evita el posible sesgo del evaluado debido a la fatiga y/o distracción durante la administración, lo que aumenta la tasa de respuestas y reduce las respuestas al azar (Robinson, 2018). Asimismo, el bajo número de ítems que presenta el instrumento, y el breve tiempo que demanda su administración, permite que sea incluido en una batería junto con otras herramientas de evaluación psicoeducativa. En relación con las características psicométricas del USEI sus autores informan: (1) adecuadas evidencias de validez de contenido de sus ítems (CVR > 0); (2) una estructura interna de segundo orden con óptimos índices de ajuste (CFI = .97; TLI = .97; RMSEA = .06); (3) adecuada consistencia interna (αConductual = .74; αEmocional = .88; αCognitivo = .82; αTotal = .88), (4) y evidencias de validez concurrente -con una herramienta que evalúa compromiso (r > .60)- y predictiva -positiva con el rendimiento académico (B = 1.02 ) y negativa con el fracaso en los cursos (B = -.64) y la intención de abandonar los estudios (B = -54)- (Marôco et al., 2016). La herramienta también ha sido adaptada a distintos países -Portugal, Brasil, Mozambique, Reino Unido, Estados Unidos, Finlandia, Serbia, Macao, Taiwán, Italia y Chile- e idiomas, verificando adecuadas características técnicas (Assunção et al., 2020; Maluenda-Albornoz et al., 2020; Sinval et al., 2021). Tales adaptaciones coinciden en que han conservado la totalidad de los ítems del USEI al replicar su estructura interna de segundo orden y obtener una adecuada consistencia interna en todas sus dimensiones. También registran adecuadas evidencias de validez externa, informado correlaciones entre moderadas fuertes (.60-.99) cuando se emplea un mismo criterio -otro instrumento que evalúa el mismo constructo- e índices moderados (.30-.70) cuando el criterio remite a un constructo teóricamente relacionado -abandono, rendimiento académico autopercibido, sentido de pertenencia a la carrera. Pese a estas similitudes, hay que mencionar que las distintas versiones difieren lingüísticamente en los ítems que refieren al contexto educativo escuela, carrera, universidad, lo que refleja diferencias entre las culturas educativas.
El USEI ha sido aplicado en múltiples estudios desarrollados en distintos países y ha demostrado su utilidad para indagar el compromiso académico en estudiantes universitarios (Arastman et al., 2019; Freda et al., 2021; Marôco et al., 2016; 2020; Tessema & Ananda, 2018).
Recientemente, el instrumento ha sido adaptado al idioma español en población chilena (Maluenda-Albornoz et al., 2020). Si bien el idioma español es el que predomina en Iberoamérica, este suele variar de un país a otro en cuanto a sus modismos y cultura (Sobrino-Triana, 2018). Por esta razón es que se vuelve importante adaptar y validar el USEI al español, contemplado las diferencias lingüísticas de las distintas culturas educativas de diversos países hispanohablantes (Dennehy, 2015). A partir de estas consideraciones se decidió para la presente investigación trabajar con estudiantes universitarios de dos países latinoamericanos, como Argentina y Uruguay, y uno europeo, como España. De esta manera, se busca diseñar una versión en español del USEI controlando el error de medición atribuible a diferencias lingüísticas y culturales entre países hispanohablantes (Krach et al., 2017; Vallejo-Medina et al., 2017). Se propone así: (1) adaptar lingüísticamente el USEI al idioma español, (2) examinar el contenido de sus ítems, (3) analizar su estructura interna análisis factorial confirmatorio, invarianza factorial, (4) estudiar la consistencia interna de sus dimensiones, y (5) analizar evidencias de validez de criterio concurrente.
Método
Participantes
Adaptación lingüística: participaron tres traductores expertos en educación y evaluación psicológica, uno por cada país -España, Argentina y Uruguay.
Análisis de evidencias de validez de contenido: colaboraron nueve jueces expertos del ámbito de la psicología educativa, tres por cada país -España, Argentina, Uruguay-.
Análisis psicométricos: los datos fueron recogidos durante el 2019. Participaron 921 estudiantes de Psicología (33.3% por país; n = 307), de entre 18 y 40 años (M edad = 23.52, DE = 5.74), de los cuales el 83.4% fueron mujeres. La desproporción de la muestra según el género refleja el predominio que las mujeres tienen dentro del sistema universitario, especialmente en las áreas de las Ciencias Humanas, Sociales y de la Salud (Unesco, 2022). El 84.7% de los estudiantes españoles fueron mujeres (M edad = 19.99, DE = 3.13). De los estudiantes argentinos el 87.6% fueron mujeres (M edad = 23.36, DE = 4.86). Respecto de los estudiantes uruguayos el 77.9% fueron mujeres (M edad = 23.69, DE = 6.51).
Instrumentos
Encuesta de datos sociodemográficos y académicos: recogió información sobre género, edad y país.
University Student Engagement Inventory (USEI) (Marôco et al., 2016). Se compone de 15 ítems que evalúan tres dimensiones de compromiso académico: conductual - ítems 1, 2, 3, 4, 5-; emocional -ítems 6, 7, 8, 9, 10-, y cognitivo -ítems, 11, 12, 13, 14, 15- y una dimensión general. Los evaluados deben responder mediante una escala Likert de cinco opciones. Los autores del instrumento han informado adecuadas características psicométricas.
Approaches and Study Skills Inventory for Students (ASSIST) (Tait et al., 1998). Se compone de 18 afirmaciones que deben ser respondidas mediante una escala Likert de cinco opciones. El instrumento mide tres enfoques de aprendizaje: profundo, superficial y estratégico. Se aplicó la versión validada en Argentina (Freiberg-Hoffmann & Romero- Medina, 2020). Sus propiedades psicométricas fueron testeadas en la muestra actual mediante un análisis factorial confirmatorio, del que se obtuvieron adecuados índices de ajuste para las submuestras de España (CFI = .91, TLI = .90, RMSEA (90%) = .07 (.06-.08)), Argentina (CFI = .94, TLI = .93, RMSEA (90%) = .06 (.05-.07)) y Uruguay (CFI = 95, TLI = 95, RMSEA (90%) = .05 (.04-.06)). También se estudió la consistencia interna de las tres dimensiones alcanzando índices adecuados para España (αOrdinal-Prof = .73, αOrdinal-Sup = .73, αOrdinal-Est = .77), Argentina (αOrdinal-Prof = .74, αOrdinal-Sup = .73, αOrdinal-Est = .77) y Uruguay (αOrdinal-Prof = .79, αOrdinal-Sup = .73, αOrdinal-Est = .72).
Procedimientos
La administración de los instrumentos se realizó en línea en los tres países. Se aplicó un consentimiento informado a los estudiantes universitarios en el que se les comunicó el propósito de la investigación. Se informó además sobre el carácter voluntario y anónimo de su participación. Se contó con avales de las instituciones participantes y del comité de ética de las universidades de Murcia, de Buenos Aires y de la República. Se siguió el protocolo ético elaborado por la American Psychological Association (2017).
Análisis de datos
Adaptación lingüística: se empleó un procedimiento de team approach para la traducción de la consigna y los ítems del instrumento (Ali, 2016).
Análisis de evidencias de validez de contenido: los jueces expertos convocados analizaron el contenido de los reactivos del instrumento. Para ello, cada experto recibió un documento en formato Word en el que se detallaba el modelo teórico del compromiso académico y se describía cada una de sus dimensiones: conductual, emocional y cognitiva.
A continuación, los jueces debían indicar para cada ítem su grado de adecuación en relación con la dimensión para la que fue formulado. Siguiendo las sugerencias de la literatura se empleó una escala Likert de cuatro alternativas de respuesta que van de 1-nada adecuado a 4-totalmente adecuado (Yusoff, 2019). La información obtenida del juicio experto se empleó para calcular el índice de validez de contenido para cada ítem (I-CVI) y para la escala (S-CVI). Los valores de este índice oscilan entre 0 -nulo acuerdo- y 1 -completo acuerdo-. Si bien varios autores sugieren adoptar como punto de corte para decidir la conservación de un ítem un valor de .78 (Polit et al., 2007), para el presente trabajo se siguió un criterio liberal que establece un punto de corte de .51 (Lawshe, 1975).
Análisis de la estructura interna: el ajuste de los datos empíricos al modelo teórico de segundo orden se estudió mediante un análisis factorial confirmatorio. Debido al carácter ordinal de los ítems se decidió emplear matrices de correlaciones policóricas y el método de estimación de Robust Maximum Likelihood (RML) (Li, 2016). El ajuste de los modelos se evaluó mediante los índices Comparative Fit Index (CFI), Tucker-Lewis Index (TLI) y Root Mean Square Error of Approximation (RMSEA), en los que guarismos superiores a .90 para CFI y TLI e inferiores a .08 para RMSEA son considerados aceptables (Jordan-Muiños, 2021; Wang & Wang, 2020).
Luego, para cada dimensión del modelo se estimó la consistencia interna mediante el coeficiente alfa de Cronbach para compararlo con el índice obtenido en el estudio transcultural de validación del USEI (Assunção et al., 2020), mediante el programa AlphaTest. El efecto de estas comparaciones se interpretó mediante el coeficiente q de Cohen, en el que valores inferiores a .10 indican un efecto nulo, entre .10 y .30 un efecto pequeño, entre .31 y .50 moderado y guarismos mayores a .51 corresponden a un efecto grande (Cohen, 1988). Adicionalmente se calculó el coeficiente alfa ordinal (Contreras-Espinoza & Novoa-Muñoz, 2018).
Más adelante, se analizó la estabilidad de la estructura interna del modelo de segundo orden según el país mediante análisis factorial confirmatorio. Se interpretaron los distintos índices de ajuste (CFI, TLI, RMSEA) y también el Expected Cross-Validation Index (ECVI). El ECVI brinda información sobre la validez cruzada del modelo entre países, en él se debe ubicar el valor del índice arrojado para la muestra de cada país dentro del intervalo de confianza informado para las muestras de los otros dos países (Rial-Boubeta et al., 2006).
A continuación, se realizó un análisis de invarianza factorial para examinar la equivalencia métrica del modelo entre países (España, Argentina y Uruguay). Para ello se testearon tres modelos anidados imponiendo distintos niveles de restricción de modo progresivo configural, métrico, escalar. Se emplearon los índices ΔCFI y ΔRMSEA para interpretar los resultados del análisis indicando valores inferiores a .01 y .015 respectivamente, equivalencia métrica del modelo entre las submuestras (Putnick & Bornstein, 2016).
Luego, se estimó el coeficiente alfa ordinal para las dimensiones del USEI para cada país y se los comparó mediante el programa AlphaTest. Se estimó el tamaño del efecto a través del coeficiente q.
Análisis de evidencias de validez concurrente: se correlacionaron los puntajes de las dimensiones del USEI con los del ASSIST. Se empleó el coeficiente de correlación rho de Spearman dado que no se cumplió el supuesto de normalidad.
Los análisis fueron realizados mediante los softwares LISREL 8.8 y SPSS 21.
Resultados
Adaptación lingüística
Primero, cada traductor trabajó de manera independiente sobre la consigna y los ítems del USEI hasta llegar, cada uno, a una versión en español del instrumento. Luego los tres traductores compararon sus versiones y discutieron sobre las diferencias hasta arribar a una única versión por consenso.
Análisis de evidencias de validez de contenido
Se conservó la totalidad de los ítems analizados ya que en todos los casos se superó el valor I-CVI de .51. Se obtuvieron I-CVI con valores óptimos (> .78) para todos los ítems, excepto para los reactivos 2 y 12 cuyos índices fueron iguales a .55. Para el caso de las escalas se obtuvo S-CVI de .88 para la dimensión conductual, .95 para la emocional, .88 para la cognitiva y .90 para la escala general.
Análisis de la estructura interna
Mediante un análisis factorial confirmatorio se testeó en la muestra total de estudiantes (españoles, argentinos y uruguayos) la estructura de segundo orden propuesta en el estudio original (Marôco et al., 2016) y replicada posteriormente en un estudio transcultural (Assunção et al., 2020). Se verificó un adecuado ajuste de los datos empíricos al modelo de segundo orden. Los parámetros estimados fueron todos estadísticamente significativos (tabla 1). Luego, se estimó para todas las dimensiones el coeficiente alfa de Cronbach y se lo comparó con el presentado en el estudio transcultural del USEI (Assunção et al., 2020). Los resultados verificaron solo una diferencia significativa en la consistencia interna para la dimensión conductual (tabla 1)
Para analizar la estabilidad de la estructura de segundo orden se procedió a testearla en las muestras de España, Argentina y Uruguay por separado. Se obtuvo un ajuste óptimo de los datos empíricos respecto del modelo puesto a prueba. Además, se observó una adecuada validez cruzada del modelo, dado que el valor del índice ECVI de cada submuestra se ubicó dentro del intervalo de confianza del valor ECVI de las otras dos submuestras (tabla 2).
La equivalencia métrica del modelo se analizó mediante un análisis de invarianza factorial imponiendo de modo progresivo distintos niveles de restricción. Se testearon tres modelos: configural sin imponer restricciones, métrico restringiendo cargas factoriales, escalar restringiendo cargas factoriales e interceptos. Se observó una adecuada invarianza métrica del modelo testeado (tabla 3).
Se comparó la consistencia interna de las dimensiones del USEI entre países para probar si esta permanecía invariante. No se verificaron diferencias estadísticamente significativas (p < .01) para ninguna de las dimensiones (tabla 4).
Análisis de evidencias de validez concurrente
Se analizaron evidencias de validez concurrente del USEI. Para ello, a partir de la muestra total, se correlacionó el puntaje de las dimensiones del USEI con las del ASSIST, que evalúa los enfoques de aprendizaje superficial, profundo y estratégico. Todas las asociaciones fueron estadísticamente significativas (p < .01), aunque varias de ellas presentaron magnitud medio-baja (tabla 5).
Discusión
Este trabajo tuvo como propósito adaptar el University Student Engagement Inventory al español y analizar sus propiedades psicométricas. Para ello se tradujeron los ítems y la consigna del instrumento mediante un procedimiento de team approach en el que participaron tres traductores de tres países de habla hispana. Esta instancia posibilitó arribar a una versión en español del instrumento que contemple diferencias de cada cultura educativa (Dennehy, 2015), como también discrepancia en los modismos lingüísticos de cada país. Se espera así haber conseguido una versión en español con mayor probabilidad de ser aplicada (previa validación psicométrica) en otros países hispanohablantes.
La versión en español del USEI fue sometida después a un estudio de contenido de sus ítems. Los expertos identificaron dos reactivos cuyo contenido podría no ser del todo representativo de la dimensión para la que fueron diseñados. Teniendo en cuenta que los valores no fueron óptimos, pero sí aceptables, se decidió conservarlos provisionalmente a fin de testearlos con el conjunto de los ítems del instrumento. Para ello, se realizó un análisis factorial confirmatorio que verificó la estructura de segundo orden propuesta por los autores del instrumento (Marôco et al., 2016) y verificada en distintos países (Assunção et al., 2020). Si bien todos los parámetros estimados fueron estadísticamente significativos, es importante señalar que dos de los ítems (ítem 2 e ítem 3) obtuvieron cargas por debajo de .40, reportando ambos a la dimensión conductual. Esto podría explicarse a partir del contenido de los ítems, ya que los reactivos 1 “Presto atención en clase”, 4 “Cuando tengo dudas hago preguntas y participo de los debates en clase” y 5 “Generalmente participo activamente en los trabajos en grupo”, que son los que obtuvieron mayor saturación, aluden a situaciones de participación en el aula de clases, mientras que los ítems con baja saturación presentan un contenido relacionado con el cumplimiento de reglas que difiere con los ítems 1, 4 y 5. Continuando con el análisis de los reactivos, se observa que el ítem 2, también ha arrojado el guarismo más bajo en estudios precedentes (Assunção et al., 2020; Marôco et al., 2016), mostrando un comportamiento constante entre distintos trabajos. A partir de este resultado se podría pensar en la posibilidad de dividir la dimensión comportamental en dos subdimensiones, una de participación y otra relacionada con conductas responsables y de apego a las normas institucionales.
El análisis de la consistencia interna de las dimensiones obtuvo valores óptimos. Estos índices fueron a su vez comparados con los informados por un estudio transcultural del instrumento (Assunção et al., 2020), mostrando solo una diferencia estadísticamente significativa para la dimensión conductual. Este resultado indica una mayor homogeneidad de los reactivos de la dimensión conductual a favor del presente estudio. Se puede hipotetizar que esta homogeneidad de las respuestas podría deberse a la heterogeneidad cultural y lingüística de la muestra que se empleó en el estudio transcultural. De ahí que es esperable que la actual muestra compuesta solo por participantes hispanohablantes obtenga mayor índice de homogeneidad.
Con respecto al análisis de validez externa del instrumento es importante destacar que todas las dimensiones de compromiso se asociaron con los enfoques de aprendizaje en la dirección teóricamente prevista, es decir, positivamente con los enfoques profundo y estratégico y negativamente con el superficial. Si bien todas las correlaciones fueron estadísticamente significativas (p < .01), debe mencionarse que sus valores son moderados (rho < .70), lo que coincide con hallazgos informados por trabajos anteriores que emplearon otras variables como criterio externo (Assunção et al., 2020; Maluenda-Albornoz et al., 2020; Sinval et al., 2021). La menor magnitud de estas correlaciones dentro del campo educativo suele atribuirse, en parte, al error de medición asociado a cada una de las dimensiones (Gitomer, 2018). También, estos valores podrían explicarse por la naturaleza de los constructos evaluados, ya que, si bien están teóricamente relacionadas, evalúan aspectos diferentes del aprendizaje de los estudiantes.
Como limitación debe destacarse que se trabajó solo con estudiantes de Psicología, predominantemente mujeres, debiéndose ampliar la heterogeneidad de la muestra en futuros trabajos. Por otro lado, solo participaron estudiantes de tres países de habla hispana, siendo interesante en próximas investigaciones incrementar la muestra con alumnos de otros países latinoamericanos. También se intentará en el futuro aportar evidencia de validez predictiva adoptando al rendimiento académico como criterio externo.
Concluyendo, esta investigación dio lugar a una versión en español del USEI con adecuadas propiedades psicométricas y que contempla diferencias lingüísticas y culturales de tres países hispanohablantes. La herramienta conserva la totalidad de los ítems y replica la estructura factorial propuesta originalmente. Estos hallazgos tienen implicancia para los ámbitos de investigación y aplicación. Para el ámbito de investigación, por un lado, aportan evidencias en favor del modelo teórico en el que se basa el instrumento y, por otro, permite disponer de una herramienta que posibilite comparar resultados con otros países. En lo que respecta al campo de aplicación, se espera que el USEI pueda ser empleado dentro del ámbito universitario para conocer el compromiso académico de los estudiantes y planificar acciones que promuevan su permanencia dentro del sistema universitario y faciliten la finalización de sus estudios en tiempo y forma (Korhonen et al., 2019; Truta et al., 2018)1.