Introducción
Debido a la incursión de las tecnologías de la información y la comunicación (TIC) en la educación superior se han diversificado las modalidades y se han potenciado las técnicas de aprendizaje apoyadas en TIC. Una de las modalidades pioneras es la denominada e-learning (modalidad de aprendizaje electrónico) que permite a los estudiantes apropiarse de nuevos conocimientos mediante el uso de la internet (Contreras et al., 2020). Así mismo se encuentra en la literatura el uso de dispositivos móviles (tabletas y teléfonos) y reproductores de música como medio de formación de los estudiantes, este es conocido como Mobile Learning (Olsen et al., 2020). Adicionalmente, el uso de las potencialidades del e-learning y de la enseñanza presencial dio origen al B-Learning que según Pineda y Tamayo (2016) y Jivet et al. (2020) puede definirse como una forma de aprendizaje para los estudiantes, que combina lo mejor de la enseñanza por medio de actividades presenciales con mejoras tecnológicas y estrategias pedagógicas introducidas a la educación por medio de la tecnología no presencial.
Entre tanto, el docente ha tenido que pasar de ser un orientador en el proceso de adquisición y aplicación de los conocimientos -generador y evaluador de contenidos que faciliten el proceso-, a ser analista de datos, debido a su interés por mejorar su propia acción docente y la formación académica de los estudiantes para mejorar sus resultados y poder obtener una formación profesional adecuada (Covadonga, 2019)
En efecto, a partir de cada una de las modalidades mencionadas, se ha generado una cantidad de datos producto de las iteraciones de los diferentes actores del proceso (docente, institución y estudiantes), los cuales son almacenados en plataformas y bases de datos (Schroeder, 2009) y pueden ser analizados con el fin de tratar de mejorar los procesos educativos, realizar seguimiento a indicadores del sistema y predecir dificultades estudiantiles y mejoras de los procesos institucionales (Estrada et al., 2015; Kuliya y Usman, 2020).
Precisamente, para desarrollar modelos por medio de la analítica de datos en la educación superior se han utilizado diferentes métodos, desde el área de la matemática, pasando por la estadística y la minería de datos, hasta llegar al Machine Learning o aprendizaje automático (Teo et al., 2020), que es un área perteneciente al campo de la inteligencia artificial, haciendo uso de datos de plataformas de aprendizaje en línea incorporadas por las universidades (Al-araibi et al., 2019a; Wang et al., 2018) o realizando análisis con base en los datos históricos (Fernández et al., 2020).
El propósito de la revisión referencial consiste en examinar la literatura de los últimos cinco años referente al campo de la analítica del aprendizaje aplicada en educación superior, con el fin de identificar aspectos relativos a su crecimiento y su aplicación a diversas modalidades de aprendizaje (Viberg et al., 2018), así como identificar las técnicas, los métodos y el software que se han estado utilizando.
Mediación tecnológica y analítica
En el campo educativo se ha surtido una serie de cambios en la búsqueda de mejorar el proceso de enseñanza-aprendizaje, así como el desarrollo y la mejora de los indicadores académicos con la incursión de las TIC. Un resumen de algunas de las diferentes modalidades de formación online es la presentada por Seoane (2014), que podrían ser considerado antecedente de la aplicación de la analítica en esta área del conocimiento (Figura 1)
Las TIC incursionaron con la ayuda de los gestores de aprendizaje (LMS) que permiten la interacción del estudiante a través de materiales, tareas, proyectos, blogs y foros entre otras muchas actividades posibles (Greller y Drachsler, 2012). Por ende, los docentes pueden tener información en línea sobre el seguimiento o el progreso de una actividad, pero solo puede tomar acciones cuando finaliza una actividad (análisis estadístico). La información capturada (por ejemplo: acceso, notas, tiempo de actividad, respuestas) puede ser usada para realizar un análisis más profundo (diagnóstico y predictivo) del progreso del proceso de enseñanza-aprendizaje de los estudiantes con el fin de planear los pasos a seguir para mejorarlo. Es aquí donde aparece la analítica en educación.
La incursión de la analítica en la educación según Murnion y Helfert (2013) puede mostrarse en diferentes niveles: analítica descriptiva (desempeño del total de las actividades), analítica diagnóstica (desempeño pasado para analizar la información) y analítica predictiva (anticiparse a los comportamientos basándose en relaciones históricas entre las variables), cada una de las cuales se realiza con herramientas diferentes, siendo para la primera el análisis por software general y hojas de cálculo, para la segunda: estadísticas y ciencias computacionales, y para la tercera: minería de datos y aprendizaje automático.
El uso de analítica en educación posee dos grandes opciones de aplicación. La analítica del aprendizaje (Learning Analytics - LA), que surgió a partir de varios aspectos que convergen, como la necesidad de informar sobre el uso de los sistemas de gestión educativa y los entornos virtuales de aprendizaje (Stewart, 2017) y la aplicación de nuevos algoritmos desarrollados por la ciencia de datos aplicados a las bases de datos de las universidades (Ferguson, 2012; Agudo-Peregrina et al., 2014). La otra opción, denominada analítica académica (Academic Analytics - AA), se centra en la escala institucional y los indicadores que permiten optimizar la labor social de la educación permitiendo comprar el desempeño de individuos, programas o instituciones (Daniel, 2015; Norris y Lefrere, 2011). Así pues, la analítica académica contiene a la analítica del aprendizaje (García Tinisaray, 2016). Por tanto, al predecir por ejemplo el rendimiento académico como una clase (variable) de tipo numérico o categórico se está inmerso en el campo de la analítica académica y cuando se intenta predecir cuál será el resultado de un estudiante antes de que curse una asignatura, se estaría incursionando en el campo de la analítica del aprendizaje (Figura 2).
Los resultados de la analítica en el campo de la educación pueden usarse para elaborar informes como el mapeo curricular, la predicción del comportamiento (por ejemplo: tasas de abandono o deserción), el diseño de acciones para mejorar el aprendizaje y la determinación de las competencias en tiempo real (Tenpipat y Akkarajitsakul, 2020; Medina et al., 2020; Urteaga et al., 2020; Castrillón et al., 2020; Kauffman et al., 2019) y no como se hace actualmente que se recopilan datos de un semestre y las acciones de mejora se realizan en un semestre posterior (Lonn et al., 2015).
Analítica del aprendizaje
Es un paradigma que consiste en medición, recopilación, análisis e informe de datos sobre los alumnos y sus contextos, con el fin de comprender y optimizar el aprendizaje y los entornos en los que se produce (Lonn et al., 2015). En este sentido, requiere un análisis de la información que según Agudo-Peregrina et al., 2014 se puede realizar mediante la aplicación de técnicas de minería de datos e inteligencia de negocios, cuyos resultados se pueden proporcionar como gráficos e informes que sean útiles para los docentes (actividades y progreso de los estudiantes), para los estudiantes (retroalimentación) y para los administradores (incremento de aulas de clase, tasa de graduación, etc.) (Brown, 2011).
Khalil y Ebner (2015) plantearon el ciclo de vida de la analítica del aprendizaje que consta de cuatro etapas (Figura 3). La primera, denominada entorno de aprendizaje, involucra los diferentes actores del proceso educativo que pueden generar datos. La segunda, denominada Big Data, comprende la recopilación de datos históricos y aquellos provenientes de la interacción entre los diferentes actores del proceso educativo. El análisis comprende estudiar el pasado, el presente y el futuro del comportamiento de los estudiantes por medio del uso de diferentes herramientas desde la estadística, pasando por la minería de datos, hasta el aprendizaje automático (Stewart, 2017). La última fase involucra la toma de decisiones a partir de la interpretación de los resultados arrojados por la etapa anterior.
Por otro lado, Greller y Drachsler, 2012 establecieron las dimensiones críticas que deben ser analizadas para establecer un modelo de analítica del aprendizaje, las cuales a partir de sus múltiples conexiones entre diferentes instancias de cada dimensión permiten construir diferentes casos de uso. La Figura 4 ilustra las instancias claves de cada dimensión, estas son: partes interesadas, métodos usados en los análisis, competencias, restricciones, objetivos y datos. Este análisis muestra que el hecho de vincular los conjuntos de datos (públicos o privados) disponibles facilitaría el desarrollo de aplicaciones combinadas que puedan conducir a servicios más orientados al alumno y, por tanto, una mejor personalización. Claro que hay que tener en cuenta una limitación importante para el desarrollo de modelos de analítica, la cual es la disponibilidad de datos, ya que muchas instituciones consideran la información personal de los estudiantes como un aspecto privado. Pero para hacer analítica de datos en educación, según la investigación referencial no es necesaria la información personal ni de estudiantes, ni de docentes, ni mucho menos de personal administrativo de las instituciones. Solo es necesaria información de actividades del estudiante en plataformas como LMS, acceso de consultas en sistemas como el de bibliotecas, registros de aspectos académicos de forma anónima e información sociodemográfica en el mejor de los casos.
Así pues, algunas de las potencialidades de la analítica del aprendizaje según Long y Siemens (2011), García Tinisaray (2016), Li et al. (2020), Rajak et al. (2018), Akçapınar et al. (2019) se muestran en la Figura 5:
Permiten reconocer cuáles estudiantes pueden requerir intervenciones por parte del docente o de la institución con el fin de mejorar su proceso y tratar de disminuir la deserción y mejorar la retención.
Ofrece diversas recomendaciones de tipo académico a los estudiantes, tales como recomendar un libro, una lectura, un curso, o una actividad que facilite o mejore su aprendizaje.
Evalúa los cursos ofertados, permitiendo evaluarlos y adaptarlos a las necesidades del entorno, ofertando nuevas estrategias pedagógicas que faciliten la entrega exitosa de la información.
A los docentes no solo les permite tener acceso a la información de primera mano que permita identificar estudiantes en riesgo, sino que ayuda tanto a ellos como a las instituciones a la identificación de docentes que poseen buen manejo de herramientas y didácticas del campo educativo, así como la identificación de aquellos docentes con deficiencias en la didáctica y el uso de mejores técnicas de enseñanza.
Metodología
La metodología empleada que se expone en los siguientes cuatro pasos: (1) fuentes de la información, (2) criterios de selección de la información, (3) análisis e interpretación de datos relevantes y (4) resultados, utilizó como guía el método para revisiones sistemáticas de literatura (RSL) planteado por la investigadora Barbara Kitchenham. Esta metodología tiene sus inicios en revisiones bibliográficas realizadas para Ciencias Humanas pero también ha sido utilizada en el campo de la ingeniería (Kitchenham, 2004; Kitchenham y Charters, 2007; Kitchenham et al., 2009).
Fuentes de la información
Se realiza una revisión en bases de datos tales como Springer Links, Proquest, IEEE Explorer, utilizando combinaciones de palabras clave como: learning analytics research, educational factors, academic analytics research, E-learning, M-learning, G-learning, academic performance prediction, prediction of student dropout. Se filtró la búsqueda teniendo en cuenta artículos científicos de los últimos cinco años.
Criterios de selección de la información
Inicialmente la búsqueda en las bases de datos acerca la temática principal “modelos de analítica del aprendizaje en educación superior” arroja 200 investigaciones que poseen dentro de sus palabras clave “analítica del aprendizaje”. Posteriormente se establecen pasos tendientes a filtrar información y normas de exclusión (se citan algunas):
Se excluyen aquellos estudios que no relacionen directamente la aplicación del paradigma de analítica del aprendizaje.
Se excluyen (para el estado del arte) aquellos trabajos que no manejen una estructura o metodología secuencial propia de una investigación cuantitativa.
Se excluyen aquellos estudios que son una revisión bibliográfica de otros trabajos.
Se excluyen aquellos artículos que no arrojan resultados específicos del rendimiento de modelos utilizados para predecir mejoras del aprendizaje.
Se excluyen aquellos estudios que no incluyan dentro del nombre o dentro del resumen las variables indicadas en la ecuación de búsqueda.
La recopilación se redujo aproximadamente a 90 artículos (muchos aplicados a la educación básica y media); sin embargo, dado nuestro interés en la aplicación de analítica académica en educación superior, solo se tuvieron en cuenta 60 artículos. El presente estado del arte busca determinar las publicaciones que pretenden establecer una predicción en cuanto al aprendizaje de los estudiantes a través de diversas metodologías. Se enfoca en tratar de resolver las siguientes preguntas:
¿Cuáles son las herramientas y los métodos utilizados para realizar analítica del aprendizaje en educación superior?
¿Cuáles son los campos de acción de la analítica del aprendizaje en la educación superior?
¿ Cómo se ha realizado la socialización de los trabajos realizados en torno a la analítica del aprendizaje en la educación superior?
Analizar e interpretar datos relevantes
Los 60 artículos analizados se centraron en aspectos relacionados con los métodos de analítica del aprendizaje: aplicación del aprendizaje online con plataformas LMS (E-Learning), ML - aplicación del aprendizaje mediante dispositivos móviles (M-Learning), combinación del aprendizaje online con clases presenciales (B-Learning) y aplicación del aprendizaje por medio de juegos (G-Learning). Por lo tanto, esta literatura puede no incluir fuentes no disponibles a través de los criterios y bases de datos no especificadas en este documento. Los documentos consultados en esta revisión bibliográfica corresponden a publicaciones que busquen establecer una predicción dentro del tema de búsqueda a través de diversos métodos; posteriormente a esto se clasificarán las publicaciones de diversas maneras y aspectos relevantes soportados en gráficas.
Resultados y discusión
Con base en la revisión de la literatura, en esta sección se proporcionan los resultados obtenidos para responder a las preguntas de investigación.
Métodos y herramientas de la analítica en educación
Al aplicar analítica a un conjunto de datos, se hace uso de diferentes métodos pertenecientes a variados campos como son el análisis estadístico, la minería de datos y el aprendizaje automático. A partir de la investigación referencial se han podido establecer los métodos usados en los trabajos sobre este tema (Tabla 1).
Esta revisión puede servir como insumo para investigadores que deseen profundizar en esta área de investigación, facilitándoles un poco la ardua tarea de una revisión bibliográfica para familiarizarse con los diferentes métodos. Los acrónimos presentados en la tabla en la columna de “Estudio” hacen referencia a la característica que se estudió en cada investigación a través de la analítica del aprendizaje, estos acrónimos específicamente se refieren a:
EL - aprendizaje online con plataformas LMS (E-Learning)
ML - aprendizaje mediante dispositivos móviles (M-Learning)
GL - aprendizaje por medio de juegos (G-Learning)
BL - combinación del aprendizaje online con clases presenciales (B-Learning)
A partir de la información de la tabla 1 es posible afirmar que en el campo educativo y especialmente dentro de la analítica del aprendizaje se están usando herramientas clásicas para análisis de datos que tienen sus fundamentos en el área estadística (por ejemplo, correlación estadística y regresión lineal), aunque empiezan a presentarse diversos análisis que podrían considerarse dentro del campo de la minería de datos (por ejemplo, K-Means y árboles de decisión).
En este sentido, con el avance de las ciencias de la computación y de la inteligencia artificial, se han generado tres grandes subdisciplinas: robótica (movimientos humanos), procesamiento por aprendizaje natural (texto y voz) y Machine Learning (datos). Esta última utiliza algoritmos que pueden predecir, prevenir o actuar para mejorar el proceso académico de los estudiantes (Al-Barrak y Al-Razgan, 2016), y también ser utilizada en educación, ya que da a los computadores la habilidad de aprender sin haber sido explícitamente programados (Hackeling, 2014), de tal manera que puedan utilizarse diferentes algoritmos como los de clasificación, las reglas de agrupación, regresión y asociación, entre otros, para predecir, por ejemplo, las calificaciones futuras de los estudiantes y por ende su rendimiento, partiendo de su rendimiento académico pasado y el de los estudiantes anteriores a él.
La industria está inundada con innumerables lenguajes de programación con el objetivo de resolver las complejidades de los problemas y traer innovaciones tecnológicas. Pero parece no ser el común denominador cuando se pretende analizar datos educativos relacionados con este tipo de analítica, en los que el software estadístico y las hojas de cálculo son las herramientas preferidas en los estudios revisados, dejando de lado herramientas poderosas para la analítica como Matlab, Python y R que ofrecen un abanico de numerosas posibilidades y de bibliotecas para la aplicación de métodos o algoritmos en inteligencia artificial.
Campos de aplicación de la analítica en educación superior
Los artículos fueron organizados en cuatro grandes categorías. Para cada uno de los campos se realizó una división, atendiendo al área de investigación en la que se usa la analítica, a saber: aplicación de aprendizaje online con plataformas LMS (E-Learning), aprendizaje mediante dispositivos móviles (M-Learning), aprendizaje por medio de juegos (G-Learning) y aprendizaje Bimodal o B-Learning (Figura 6). A partir de los resultados, se ofrece un panorama del uso de las herramientas de análisis en la solución de problemas en este campo. Puede afirmarse que hay una fuerte tendencia a la aplicación de métodos de analítica de datos al campo educativo, especialmente al análisis del aprendizaje de estudiantes con metodología E-Learning. De esta manera se corrobora que el problema es de interés actual. Cabe mencionar que en el estudio sobre el estado del arte de la analítica académica (Contreras et al., 2021), los autores encontraron que la analítica académica tiene una fuerte tendencia en la aplicación hacia la búsqueda de modelos que permitan explicar el rendimiento académico con herramientas de Machine Learning, un caso muy diferente a lo encontrado cuando se analiza información relacionada con modelos de aprendizaje automático en educación superior aplicados a analítica del aprendizaje.
Un aspecto interesante a analizar es determinar cuáles son los métodos o algoritmos que se han estado utilizando para estudiar o predecir algunos aspectos dentro del campo de la analítica del aprendizaje. En la Figura 7 se aprecia que las técnicas estadísticas son muy utilizadas pero su enfoque es más hacia la analítica descriptiva y no la predictiva. Se muestran algunos métodos clásicos de predicción tales como series de tiempo y regresión lineal. Los autores no están usando métodos que dan buenos resultados en el campo de la analítica académica para la predicción de indicadores como el rendimiento académico, la deserción y la tasa de graduación como los algoritmos de aprendizaje supervisado clásicos, tales como árboles de decisión, KNN, SVM (Tomasevic et al., 2020; Contreras et al., 2020; Adekitan y Noma-Osaghae, 2019; Wiyono y Tegal, 2019), o algoritmos más avanzados dentro del aprendizaje automático como los métodos híbridos o de ensamble y las redes neuronales (Zacharias y Athanasios, 2020; Hasan et al., 2020; Medina et al., 2020).
Socialización de la analítica en educación superior
En los últimos años se nota una creciente tendencia de los investigaciones en aspectos relacionados con la analítica del aprendizaje, ya que es un área que está influenciando y permeando diversos campos como el educativo para tratar de solucionar los inconvenientes presentes (Fernández et al., 2020). Esta fuerte tendencia a trabajar estos temas puede deberse, tal como lo manifiestan Campbell et al. (2007), a la aparición de técnicas que facilitan el análisis de datos académicos que buscan no solo estudiar la influencia de factores tecnológicos y de gestión en las instituciones, sino también la forma como aprenden y como se puede mejorar el proceso de enseñanza-aprendizaje dentro de las instituciones.
La investigación referencial arrojó que la cantidad de trabajos que aplican analítica del aprendizaje durante los últimos dos años ha aumentado significativamente (Figura 8a), luego de tener un comportamiento bastante estable durante los primeros años de la consulta (2015-2017). En nuestro criterio y tal como lo manifiestan las investigaciones consultadas, se puede deber a la necesidad de investigar modelos más acertados de predicción y al auge de los nuevos algoritmos dentro del área de la ciencia de datos.
Realizando un análisis sobre los países que están trabajando cada una de las temáticas relacionadas con analítica del aprendizaje (Figura 8b) y han producido documentos relacionados, Corea del Sur es el país en el que con mayor frecuencia se comparte autoría, seguido de China. De los 60 documentos obtenidos, 55% de estos fueron desarrollados en Asia, seguido de Oceanía y Europa. Hecho que permite suponer la en las universidades latinoamericanas una gran cantidad de software o plataformas almacenan muchos datos provenientes del estudiante, o almacenan datos generados durante su estadía en la universidad y estos no reciben ningún tratamiento en la búsqueda del mejoramiento de su proceso de aprendizaje. De tal manera que se hace necesaria la reutilización de la información, dando lugar a aplicaciones mucho más ricas que aporten mayor conocimiento o que complementen la información ya existente.
Conclusiones
De acuerdo con el trabajo presentado y los resultados obtenidos, se pueden plantear las siguientes conclusiones principales:
La analítica del aprendizaje es un campo que apenas está incursionando en la educación superior con algoritmos de minería de datos y Machine Learning, que busca aprovechar el alto volumen de información generado por los estudiantes en sus actividades académicas a la cual poco uso se le da, más allá de realizar estadísticas descriptivas y, en el mejor de los casos, una analítica diagnóstica (desempeño pasado para analizar la información).
Los resultados muestran que en educación superior la analítica del aprendizaje se está enfocando hacia la solución o el desempeño de los estudiantes que utilizan modalidad virtual (E-Learning). Este tipo de técnica puede enfocarse también hacia la aplicación en otro tipo de modalidad, ya que lo que se requiere es la información que muchos dispositivos, plataformas y bases de datos de las instituciones tienen almacenada o capturan en el quehacer académico.
A pesar de que los algoritmos de Machine Learning son ampliamente usados en el campo del comercio y las comunicaciones (Amazon, Netflix y Google) para el manejo del marketing y usuarios afiliados, entre otros (Johnson et al., 2015), no son usados para la búsqueda de problemas relacionados con el proceso enseñanza-aprendizaje para ayudar a transformar la educación, pasando de un sistema de estándar de tamaño único a un sistema flexible, diseñado para satisfacer necesidades e intereses académicos de los estudiantes.
El estudio del proceso de aprendizaje según la revisión no solo abarca los datos numéricos que se obtienen de las plataformas, que son analizados por medio de herramientas con el fin de ofrecer información relevante y útil para facilitar la toma de decisiones y acciones oportunas, sino que es necesario tener en cuenta diferentes enfoques desde otras áreas como la psicología y la pedagogía. Por ende, no existe un camino definido en el estudio del proceso de aprendizaje de los estudiantes. Es un camino que conduce tanto a valores positivos como a negativos (axiología).