Introducción
El proceso de enseñanza aprendizaje de la automática se adapta al actual contexto en el que las tecnologías de la información y las comunicaciones marcan una nueva forma de desarrollar las actividades en los sistemas educacionales. En la Universidad Central Martha Abreu de las Villas se implementan prácticas de laboratorios mediante un sistema de laboratorios a distancia (SLD), con las que es posible la aplicación del contenido recibido, ya sea presencial o a distancia para desarrollar habilidades profesionales. A partir de este proceso, el estudiante materializa los conocimientos adquiridos en laboratorios equipados en correspondencia con la asignatura o perfil que se requiera (Saenz, Chacon, De La Torre, Visioli y Dormido, 2015; Samuelsen y Graven, 2016).
En este contexto, el usuario puede realizar las prácticas en laboratorios físicos, con equipos afines a la materia recibida (variante altamente que resulta costosa para ser aplicada en el sistema educacional cubano) (Moody, Alonso, Barbosa y Morales, 2016; Ivanov, Pezzei, Plank, Pock y Leitgeb, 2016; Luthon y Larroque, 2015; Mar, Leyva y Santana, 2015).
Sin embargo, la evaluación de las habilidades de los usuarios que realizan las prácticas de laboratorios es un problema aún sin resolver. La presente investigación tiene como objetivo desarrollar un modelo útil para la evaluación de habilidades profesionales.
Materiales y métodos
El modelo muestra el comportamiento del razonamiento (Singh, 2011) en el que, identificadas las habilidades profesional, se gestionan las relaciones casuales (Bueno y Salmerón, 2009), permitiéndose modelar el sistema con retroalimentación causal de grados difusos (Leyva y Rosado, 2012). El modelo propuesto se basa en un enfoque multicriterio multiexperto (Grajales y Serrano, 2013) representado mediante mapas cognitivos difusos (Merigóy Gil, 2010), el cual cuenta con las siguientes actividades (Mar, Leyva y Santana, 2015; Mar y Gulín, 2017):
Actividad 1: identificar las habilidades profesionales.
Actividad 2: obtener y agregar los mapas cognitivos difusos.
Actividad 3: realizar el análisis estático.
Actividad 4: diagnosticar y determinar el control de acceso a las prácticas de laboratorios.
Actividad 5: generar el sistema de recomendaciones.
Actividad 6: realizar análisis de estabilidad.
A continuación, se presenta el flujo de trabajo propuesto para el diagnóstico de habilidades profesionales y se hace la descripción textual de cada actividad fundamentando el modelo matemático que sustente el proceso. El proceso tomó como base las propuestas referidas en la literatura basándose ensobre relaciones de preferencia lingüística (Calle, 2009). La figura 1 presenta el flujo de trabajo del modelo.
A continuación, se realiza una descripción de las actividades del modelo:
Identificar las habilidades profesionales
El componente para identificar las habilidades profesionales se define como la tupla donde:
Para el conjunto de expertos que intervienen en el proceso se debe cumplir como condición necesaria: que el dominio de valores que representa los expertos no sea nulo. Diferentes autores han teorizado sobre el número óptimo de expertos a utilizar en procesos de este tipo (Artola, 2002;Garza, 2012).Desde estos mismos autores se asume como umbral que el dominio de los expertos , se puede expresar mediante la ecuación (1) .
Para la identificación de las habilidades profesionales se utilizó el método Delphi, con el cual se pudo obtener el conocimiento de los expertos en condiciones de anonimato, garantizándose una dispersión geográfica de los participantes (González, 2013; Bouza, Castro, Garcia y Rueda, 2016).
Para aplicar el método Delphi se necesita la identificación de los expertos en el área del conocimiento de la automática y sistemas computacionales, para ello se consideraron un grupo de criterios como:
Que los candidatos ostenten las categorías docentes principales de profesor auxiliar o profesor titular.
Que los candidatos posean más de 10 años de trabajo como profesor universitario vinculado a la automática y sistemas computacionales.
Que los candidatos tengan publicadas sus experiencias sobre automática y sistemas computacionales.
Que se garantice participación de al menos tres instituciones nacionales y una extranjera.
Para la selección de los expertos se revisó la síntesis curricular de los candidatos, seleccionándose 11. A continuación, se enuncian las características de este grupo que avala la calidad de los mismos para la investigación:
El 81.8% proviene del sistema educacional cubano.
El 18.2% proviene de dos universidades extranjeras.
El 63.6% ha trabajado en procesos industriales.
El 100% ha publicado al menos cinco artículos sobre sus experiencias en automática y sistemas computacionales.
Para la identificación de las habilidades profesionales se realizó un estudio de la literatura científica sobre el tema, así como de las experiencias documentadas con la ayuda de expertos, esto a partir del método Delphi en su primera ronda. Los resultados obtenidos fueron sometidos al grupo focal exploratorio en el cual se enriqueció la propuesta.
Por último, se aplicó la segunda ronda de Delphi con las informaciones procesadas en el paso anterior. Como resultado, se obtuvo un grupo de habilidades profesionales y recomendaciones utilizadas para enriquecer la investigación.
Identificación de habilidades profesionales de la Ingeniería en Automática (Delphi ronda 1)
A partir de las habilidades profesionales rescatadas de la revisión bibliográfica, se tomó como punto de partida las propuestas por Santana (2012) en su investigación doctoral. Se realizó la primera ronda de consulta con los expertos para adaptar al contexto nacional. La encuesta aplicada fue abierta en su primera ronda para identificar los criterios de los expertos a incorporar.
Al realizar una comparación con los resultados se observa la correspondencia entre la votación de los expertos y la propuesta antes identificada.
El grupo de habilidades profesionales identificadas una vez concluida la primera ronda de Delphi tuvo un nivel de conformidad superior al 60%, por lo que se asumen estas habilidades como parámetros de entrada al modelo. Otros elementos a valorar son la identificación a partir de las preguntas abiertas realizadas a los expertos de nuevas habilidades profesionales que no estaban recogidas inicialmente.
Identificar habilidades profesionales mediante el método grupo focal
El grupo focal exploratorio se realizó con el objetivo de validar las habilidades identificadas en la consulta a expertos. Se incorporan para ello las nuevas habilidades propuestas en el proceso.
Para el desarrollo del grupo focal se conformaron dos equipos de cinco expertos y se realizaron dos sesiones de trabajo. En la primera, el moderador presentó las habilidades profesionales identificadas, así como las propuestas por los expertos. Durante la esta sesión los dos grupos validaron las habilidades y realizaron propuestas de recomendaciones.
En la segunda sesión se reunieron los dos grupos conformados para determinar el consenso de los elementos analizados y las propuestas generadas. Como resultado del análisis de la segunda sesión, se llegó al consenso de los siguientes elementos:
Mantener 9 de las 11 habilidades profesionales identificadas en el proceso.
Incorporar las dos habilidades propuestas por los expertos en la primera ronda de Delphi: capacidad para analizar el funcionamiento de un sistema de control y capacidad para determinar que una propuesta de solución es incorrecta.
Identificación de habilidades profesionales de la Ingeniería en Automática (Delphi ronda 2)
A partir de la conceptualización de las habilidades profesionales identificadas y la propuesta de recomendaciones resultantes del grupo focal exploratorio, se aplicó otra encuesta para la segunda ronda de expertos. Estos volvieron a dar su consideración sobre las habilidades profesionales y su obtuvo un consenso superior a la primera ronda. Así mismo, los expertos valoraron el uso de las recomendaciones para el diagnóstico de habilidades profesional; se observó también una alta concordancia con las valoraciones emitidas del grupo focal, que fueron en todos los casos por encima del 72%.
Del análisis antes realizado se pudo definir las habilidades profesionales que se utilizarán como entradas al modelo. Dichas entradas permitirán establecer las relaciones causales objeto de estudio para clasificar las diferentes alternativas en función del control de acceso a las prácticas de laboratorios. De igual manera, se determinó un conjunto de recomendaciones que orientan las diferentes alternativas hacia el crecimiento profesional.
Obtener y agregar los mapas cognitivos difusos
Esta actividad tiene como objetivo la representación del conocimiento causal expresado por los expertos sobre el conjunto de habilidades profesionales. Se basa en la utilización de un enfoque multiexperto con una participación recomendada de 7 a 15 expertos en el área de conocimiento del objeto de estudio (Garza y Salinas, 2005; Trujillo et al., 2015). La figura 2 muestra el flujo de trabajo para la obtención del modelo causal.
A continuación, se describe el flujo de trabajo para la obtención del modelo causal:
Determinar las relaciones causales: a partir de la valoración emitida por los expertos sobre los diferentes conceptos se establecen las relaciones causales y se precisa la influencia causal. La influencia puede ser representada positivamente o negativamente, así como el peso de las relaciones para lo cual se utiliza el método 2 tuplas lingüísticas en la representación propuesta por Pérez (2014), tal como muestra la tabla 1.
Comprobar la direccionalidad de las relaciones: la comprobación de la direccionalidad en la relación permite, a partir de las valoraciones emitidas por los expertos, conocer si un experto introdujo incorrectamente la dirección de la relación causal.
Determinar el grado de consenso: este es el paso previo a la agregación de los modelos mentales. Permite conocer si existe consenso para las relaciones causales propuestas entre el grupo de expertos.
Agregar los MCD: el proceso de agregación permite, una vez obtenido el consenso entre los expertos, agregar los modelos causales individuales propuestos en una única representación. La representación agregada constituye la idealización del conocimiento expresado en las relaciones causales de todos los expertos que intervinieron en el proceso.
Para expresar las relaciones causales se utiliza el enfoque lingüístico difuso con dos tuplas (Calle, 2009; Doña, 2008).Este enfoque facilita la forma de interactuar de los expertos para la representación del conocimiento causal.
Se puede formalizar la obtención de los mapas cognitivos difusos como un problema de toma de decisiones en grupo. El conjunto de expertos utiliza un contexto lingüístico para expresar la causalidad entre los diferentes conceptos, tal que:
Donde representa el dominio de expertos que intervienen en el proceso para expresar el grupo de modelos mentales individuales mediante un conjunto de términos lingüísticos difusos propuestos por Pérez (2014), tal como muestra la tabla 1,
En la anterior se expresan las correlaciones causales entre los conceptos que intervienen en el proceso (Leyva, Pérez, Febles y Gulín, 2013) y que representan la agrupación de las habilidades profesionales .
El peso de las conexiones de los conceptos que van desde hasta el concepto , expresado por los expertos , es representado mediante dos tuplas lingüísticas propuestas por (Espinilla, Jun y Martínez, 2011), tal como se expresa en la ecuación 5.
Donde:
wij: vector de correlación expresado por los expertos.
S u : valor del término lingüístico apuntados por definidos en la tabla 1.
α: una traslación simbólica.
La comprobación de la direccionalidad de las relaciones consiste en: validar si la relación causal expresada por el grupo de expertos E desde E1 hasta Ek poseen el mismo sentido causal. Las relaciones causales expresadas por los expertos E i sobre el concepto respecto al concepto tienen que poseer el mismo sentido de implicación.
Si, durante el proceso de comprobación de las direccionalidades, se identifican inconsistencias en las relaciones expresadas por un experto , con respecto al resto de los expertos , se pide que sea valorada la direccionalidad expresada por este.
Para determinar el grado de consenso en grupo se han realizado diversas investigaciones (Mendonça, Chrun, Finocchio y Mello, 2015).En esta investigación se asume la propuesta presentada por Pérez (2014).
El grado de consenso consiste en determinar para cada relación causal expresada por los expertos su correspondiente valor ; el dominio de valores definidos para este intervalo está comprendido cómo: . El grado de consenso puede expresarse como , y es calculado de la siguiente forma(Pérez, Leyva y Estrada, 2014):
Siendo la función de transformación.
Por cada par de expertos , , se determina la matriz de similaridad.
, calculada de la siguiente forma:
La matriz de consenso , que representa la similaridad entre todas las relaciones causales dadas por los expertos y que contiene la información a partir de la cual se va a calcular el grado de consenso, se obtiene de la siguiente forma:
Donde es un operador de agregación y representa la similaridad en las opiniones de los expertos con respecto a la relación causal existente entre y es el grado de consenso alcanzado por el grupo de expertos con respecto a la relación causal existente entre .
El grado de consenso con respecto a la influencia que ejerce el nodo (en caso de no permitirse la autoconexión) es calculado de la siguiente forma:
Finalmente, el grado de consenso general es calculado.
La agregación de los mapas cognitivos difusos consiste en la fusión del conocimiento causal expresado individualmente por el grupo de expertos para representar las relaciones entre los conceptos (Kosko, 1988).La agregación de conocimiento permite mejorar la fiabilidad del modelo final, al hacerlo menos susceptible a errores (Stach, Kurgan y Pedrycz, 2010).
Durante la determinación de las relaciones causales se obtiene un arreglo denominado matriz de adyacencia, la cual es representada a partir de los valores asignados a los arcos y puede ser expresada como:
La matriz de adyacencia representa el valor causal de la función del arco, el nodo que imparta representando un vértice. incrementa causalmente a y no imparta causalmente si .
El proceso de agregación tiene lugar a partir del establecimiento de una función promedio de las matrices que representan el conocimiento causal de los expertos, tal como muestra la siguiente expresión.
Donde:
Los valores agregados emitidos por los expertos agrupados mediante la matriz de adyacencia conforman las relaciones con los pesos de los nodos, a través del cual es generado el mapa cognitivo difuso resultante (White y Mazlack, 2011).
Diseño experimental
Con el objetivo de validar la investigación se realizó un experimento. La propuesta de diseño experimental está guiada por una secuencia de ocho pasos propuesto por Grau y Correo (2004).
A continuación, se describen los pasos propuestos para realizar un experimento:
Paso 1. Decidir cuántas y cuáles variables independientes y dependientes son incluidas en el experimento.
Para identificar las variables de la investigación se parte del planteamiento realizado en el diseño teórico, en el que se define como hipótesis: el desarrollo y validación de un modelo para el diagnóstico de habilidades profesionales que utilice mapas cognitivos difusos, contribuirá al control de acceso de las prácticas de control automático en un SLD. Así, es posible identificar en el contexto de la presente investigación las siguientes variables:
Variable independiente: modelo para el diagnóstico de habilidades profesionales.
Variable dependiente: contribución al control de acceso de las prácticas de control automático en un SLD.
Paso 2. Elegir los niveles de manipulación (nivel de medición) de las variables independientes y traducirlos en tratamientos experimentales (convertir variables teóricas a manipular en grupos o tratamientos).
Este paso no es aplicable en la investigación en cuestión, ya que no se desea la manipulación de la variable independiente.
Paso 3. Elegir o desarrollar un instrumento o los instrumentos para medir las variables dependientes.
Los instrumentos de medición utilizados para la medición en la preprueba y post prueba estuvieron soportados sobre el SPSS v13.0 y el Weka 3.7.10.
Paso 4. Seleccionar el diseño experimental a realizar. En el caso de experimentos verdaderos, decidir si los participantes se aleatorizan o aparean respecto a alguna(s) variable(s).
Se selecciona el pre experimento del tipo pre y post prueba con un solo grupo
Donde:
Para el diseño propuesto no se desea manipular la variable independiente, por lo que no es necesaria la introducción de un grupo de control. El resultado experimental expresará la variación de la variable dependiente en relación con su historial.
Paso 5. Seleccionar una muestra de personas para realizar el pre experimento.
: medición de la variable dependiente de la hipótesis sobre la aplicación del modelo.
: medición de la variable dependiente de la hipótesis después de la aplicación del modelo.
En el análisis de los resultados se utilizó como método estadístico la prueba no paramétrica de rango con signo de Wilconxon.
Paso 6. Si se trata de sujetos, reclutarlos. Ello implica tener contacto con ellos, dar las explicaciones necesarias y “citarlos”. Dar facilidades y motivarlos.
Paso 7. Aplicar las pre pruebas, tratamientos y post pruebas.
Paso 8. Recolectar los datos y analizar los mismos con las pruebas estadísticas pertinentes.
Resultados y discusiones
Declaración del pre experimento uno
El pre experimento está diseñado para comparar el control de acceso real y el control de acceso inferido por el modelo propuesto.
Objetivo: demostrar que el control de acceso real y el control de acceso inferido por el modelo difiere estadísticamente.
Método: determinar que hay diferencia estadística significativa entre el control de acceso real y el control de acceso inferido mediante la prueba no paramétrica de los rangos con signo Wilconxon.
De acuerdo al experimento realizado, se alcanzaron los siguientes resultados:
Se comprobó el control de acceso real y el control de acceso inferido por el modelo para 54 casos mediante la prueba no perimétrica de rango con signo Wilconxon.
Hipótesis de la prueba de Wilconxon
: nohay diferencia entre la medida del control de acceso real y el control de acceso inferido por el modelo.
: haydiferencia entre la medida del control de acceso real y el control de acceso inferido por el modelo.
Los resultados experimentales muestran un, a partir del p_valor obtenido, se rechaza la hipótesis nula, la cual indica que hay diferencia estadística significativa entre los valores del control de acceso real y el control de acceso inferido por el modelo. Z=1.25 p_valor 0.105. La diferencia estadística significativa que demuestra el experimento representa la inexistencia de un mecanismo de control de acceso para el SLD.
Declaración del pre experimento dos
El pre experimento está diseñado para comparar el resultado de las prácticas de laboratorios realizadas satisfactoriamente con respecto al control de acceso inferido por el modelo propuesto.
Objetivo: demostrar que el control de acceso inferido por el modelo no difiere estadísticamente respecto al desarrollo satisfactorio de las prácticas de laboratorios.
Método: determinar que no hay diferencia estadística significativa entre el control de acceso inferido por el modelo y el desarrollo satisfactorio de las prácticas de laboratorios mediante la prueba no paramétrica del rango con signo Wilconxon.
Del experimento realizado se obtuvieron los siguientes resultados:
Se comprobó que el control de acceso inferido por el modelo se corresponde con el desarrollo satisfactorio de las prácticas de laboratorios de 43 casos mediante la prueba no perimétrica de rango con signo Wilconxon.
Hipótesis de la prueba de Wilconxon
: no hay diferencia entre la medida del control de acceso inferido por el modelo y el desarrollo satisfactorio de las prácticas de laboratorios.
:hay diferencia entre la medida del control de acceso inferido por el modelo y el desarrollo satisfactorio de las prácticas de laboratorios.
Los resultados experimentales muestran un a partir del p_valor obtenido. No se rechaza la hipótesis nula, la cual indica que no hay diferencia estadística significativa entre los valores del control de acceso inferido por el modelo y el desarrollo satisfactorio de las prácticas de laboratorios. Z=1.2 p_valor = 0.00. La diferencia estadística no significativa demuestra que el mecanismo de control de acceso a las prácticas de laboratorios para el SLD respecto al desarrollo satisfactorio de las prácticas de laboratorios es correcto, o lo que es lo mismo, que las personas que acceden a las prácticas de laboratorios poseen el conjunto de habilidades profesionales para realizar las mismas.
Conclusiones
El modelo para el diagnóstico de habilidades profesionales se nutre del conocimiento de los expertos para representar el conocimiento causal de la base de inferencia del modelo para establecer el control de acceso a las prácticas de laboratorios.
A partir de la implementación del diseño experimental para validar la solución mediante la correlación existente entre las variables objeto de estudio, se obtuvieron los siguientes resultados:
Se identifica diferencia estadística entre el control de acceso real realizado y el control de acceso inferido por el modelo para el diagnóstico de habilidades, elemento que evidencia la necesidad de implementar mecanismos para el diagnóstico de habilidades.
Se constata que el control de acceso inferido por el modelo no difiere estadísticamente con el desarrollo exitoso de las prácticas de laboratorios, lo que demuestra que la utilización del modelo para el diagnóstico de habilidades garantiza la clasificación de las habilidades profesionales para el desarrollo de las prácticas de laboratorios.