1. Introducción
Los dispositivos hápticos son elementos físicos que permiten retroalimentar a un usuario, por medio de fuerzas o señales de tacto previamente programadas (León-Rodríguez & Murcia-Rivera, 2018). Su uso es común como elemento de interacción con algoritmos de realidad virtual y en algoritmos de teleoperación, siendo este último el tema de estudio del PRESENTE trabajo. La teleoperación consiste en la operación de elementos a distancia. Esta disciplina surgió por la necesidad de manipular elementos que son nocivos para los seres humanos, como los materiales radioactivos y los explosivos (Gómez-Monsalve & Durán-Acevedo, 2017). Con ella también se busca evitar ambientes hostiles, como las actividades a grandes profundidades (Aggravi et al., 2021), así como actividades de pintura o granallado, donde los usuarios quedan expuestos a respirar las partículas suspendidas en el aire (Lambraño-García et al., 2017).
En la realización de algoritmos de teleoperación, es muy útil extender las capacidades sensoriales del operador para facilitar la comprensión del entorno de trabajo, así como el desarrollo de la actividad objetivo (Khalili-Ardaly et al., 2019). Las retroalimentaciones más comunes, son: la visual, donde se proyectan las imágenes capturadas por las cámaras en la zona remota (Castro-Casadiego et al., 2020); señales de audio (Du et al., 2021); retroalimentación por medio de sensores de uso general, como: temperatura, humedad, radioactividad y narices electrónicas, entre otros (Gutiérrez et al., 2017; Cantillo-Maldonado et al., 2018; Rivera-Guerrero et al., 2020).
Gracias a los avances en computación, uno de los elementos emergentes en teleoperación son los dispositivos hápticos, que brindan a los usuarios la capacidad de sentir fuerzas de interacción con el elemento que se está manipulando remotamente (Rossi, 2020). Además de retroalimentar fuerzas del entorno, los dispositivos hápticos permiten recrear fuerzas que ayudan a los usuarios al desarrollo de las tareas: a este tipo de algoritmos se les denomina asistencias hápticas. Algunos ejemplos de este tipo de asistencia, son: la generación de fuerzas que restringen movimientos como el temblor de las manos de los cirujanos en procedimientos de laparoscopia robotizada, el movimiento del bisturí al ritmo de los latidos del corazón en intervenciones quirúrgicas, y la toma de muestras en procedimientos de neurocirugía evitando tocar zonas críticas del paciente (Chen et al., 2021; Hong et al., 2021; Zeng et al., 2021). Estas asistencias también se aplican a: la compensación de los movimientos producidos por las olas del mar o las corrientes marinas en la teleoperación de brazos submarinos (Ackerman, 2019); a fuerzas que impiden la realización de movimientos indebidos en la teleoperación de vehículos terrestres (Lee et al., 2021; Li et al., 2021); o en vehículos aéreos (Aggravi et al., 2021).
La teleoperación conlleva un problema extendido, denominado la paradoja de la teleoperación, que consiste en: Se plantea el uso de algoritmos de teleoperación para el desarrollo de actividades complejas que impiden el proceso de su automatización. Sin embargo, para la realización de teleoperaciones muy complejas, se requiere realizar algoritmos automatizados que ayuden al teleoperador a realizar su tarea (Jiménez-Moreno et al., 2013). La programación de asistencias hápticas se caracteriza porque si el dispositivo genera un gran número de fuerzas restrictivas, el usuario perderá gran parte del control y la tarea tenderá a realizarse de forma autónoma; pero, si por el contrario, las fuerzas generadas son mínimas, la realización de las actividades se le dificultarán al usuario (Peña-Cortés et al., 2014; Nakisa et al., 2018).
En este trabajo se propone el uso de una interfaz cerebro computador, que permite medir las neuroseñales correspondientes al nivel de compromiso en el desempeño del teleoperador al realizar la tarea. En caso que los niveles sean muy bajos, significa que la tarea se está realizando de forma casi autónoma dándole prioridad al sistema de control, por lo cual se deben disminuir las asistencias hápticas aumentando la prioridad a las órdenes del usuario. En contraste, si el nivel de compromiso es demasiado alto, se deberá aumentar el nivel de asistencias para ayudar al teleoperador y evitar que se fatigue rápidamente.
El resto de éste documento está organizado de la siguiente manera: en la Sección de metodología, se muestra la teoría del dominio, algunos trabajos previos y se describe la evaluación de los algoritmos de asistencia háptica. Los resultados experimentales se ilustran en la Sección 3, y las conclusiones se presentan en el último apartado.
2. Metodología
2.1 Teoría del dominio y trabajos previos
La programación de dispositivos hápticos ha extendido las aplicaciones de procesos que involucran teleoperación a diversos campos. Actualmente, los dispositivos hápticos se utilizan en: el entrenamiento de médicos para la realización de operaciones mínimamente invasivas, para el desarrollo de tareas en el mar, en aplicaciones de realidad virtual y procesos de soldadura (Lambraño-García et al., 2017). Estos dispositivos también se usan para el control de prótesis y en el manejo de maquinaria pesada (Alvernia-Acevedo & Rico-Bautista, 2017); en la teleoperación de robots (Fernández-Samacá et al., 2016), así como en el diseño de videojuegos, entre otros (Rico-Castrillo et al., 2020).
La háptica en el contexto de interacción humano-robot, mejora la sensación de presencia y provee información que no se puede describir completamente solo con realimentación visual o de audio, como la rigidez y la textura de los objetos. Por esto, la háptica permite al usuario manipular objetos en un entorno (ya sea virtual o real), de una forma efectiva y natural. Existen diferentes tipos de dispositivos hápticos. Una clasificación se basa en el componente que se realimenta al usuario, por ejemplo: vibración, temperatura o fuerza (Ferre et al., 2007).
Los dispositivos hápticos con realimentación de fuerza, componente empleado en este proyecto, se clasifican en controlados por admitancia o impedancia (Hashtrudi-Zaad & Salcudean, 2001). Generalmente, los controlados por admitancia poseen altas inercias y por esto se controlan basados en la regulación de la admitancia, a través de un sensor de fuerza. En contraste, los dispositivos controlados por impedancia poseen bajas inercias, donde generalmente no se dispone de un sensor de fuerza y se regula la impedancia a partir de la posición. En este caso se dispuso de un dispositivo háptico de impedancia, el Novint Falcon (Martin, 2009), que se puede controlar a través de librerías open source Chai-3D.
Respecto a las interfaces BCI (Brain Computer Interface, por sus siglas en inglés), en sus orígenes eran bastante costosas, pero con el paso del tiempo se han desarrollado diferentes instrumentos de éste tipo, tales como: MindFlex de Mattel (Katona et al., 2014), MindSet de NeuroSky (Eid, 2013), Muse de InteraXon (Dijk et al., 1995), Imec EEG headset (Ijjada et al., 2015).
Entre las BCI se destacan los dispositivos Emotiv (2017): Flex, EPOC e Insight, que disminuyen los costos de forma considerable. Esto ha generado aplicaciones en diversos ámbitos de las ciencias, como: la selección personalizada de música (Adamos et al., 2016); en pedagogía con la detección de problemas para mejorar los estilos de aprendizaje de los estudiantes (Córdova et al., 2015); procesamiento semántico para personas con síndrome de bloqueo total (Khalili-Ardali et al., 2019); en el marketing para el análisis de pautas publicitarias (Moreno et al., 2014; Trejos-Salazar et al., 2021); control de robots (Soler et al., 2014); en la estimación de la carga mental de trabajo (Arvaneh et al., 2015); así como en el análisis de material multimedia (Moreno-Cueva et al., 2014).
Estas interfaces han tenido gran acogida ya que permiten el registro de la actividad cerebral inconsciente de las personas, lo cual es importante puesto que allí surgen la gran mayoría de la toma de decisiones y de la determinación de las acciones (Acı et al., 2019). En la presente investigación se empleó el dispositivo Emotiv Insight (ver Figura 1) dado que: es cómodo para el individuo que se está evaluando, se calibra en un tiempo aproximado de cinco minutos, es de fácil adquisición y bajo costo (Nakisa et al., 2018). Además, posee cinco sensores de polímero hidrófilo, lo que significa que no debe ser humedecido para la conducción de las señales. Dos de los sensores son de referencia, lo que posibilita la medición de seis tipos de emociones, a saber: relajación, estrés, concentración, compromiso, entusiasmo e interés, en lapsos cortos y largos (Emotiv, 2017).
El dispositivo permite un uso continuo aproximado de 4 horas. No obstante, no es recomendable su uso por extensos periodos, ya que la presión que ejercen los sensores sobre la cabeza puede resultar molesta para algunos usuarios. Otro aspecto a tener en cuenta es que el dispositivo no puede estar alejado del puerto bluetooth, de lo contrario se pierde la conectividad. El Emotiv Insight captura las señales eléctricas que emite el cerebro, ante un actividad o pensamiento que desarrolla el sujeto evaluado (Peña et al., 2017). Entre sus funciones se encuentra el reconocimiento de gestos faciales, interfaz que identifica gestos, como: la sonrisa, guiños, movimientos de ojos, fruncir el seño y apretar dientes, entre otros (Peña-Cortés et al., 2014).
2.2 Evaluación de los algoritmos de asistencia háptica
La metodología usada para la determinación del nivel de asistencias hápticas, se ilustra en la Figura 2. Esta consta básicamente de 4 pasos: en el primero se seleccionó una aplicación de teleoperación, que consistía en mover a distancia un robot a lo largo de una trayectoria predefinida. En los pasos dos y tres, se ejecutaba la tarea planteada incluyendo o no la programación de asistencias hápticas. En este caso, la asistencia háptica se programó como una fuerza encargada de guiar la mano del teleoperador hacia la dirección planteada en la trayectoria predefinida, evitando que se alejara del rumbo objetivo. Esto permite mover el robot en el entorno de trabajo, evadiendo los obstáculos que se presenten. Mientras se realizan las tareas de teleoperación con el dispositivo háptico, se toman las neuroseñales correspondientes al compromiso por medio de la interfaz. En el paso 4, se analiza cada uno de los recorridos ejecutados por el robot teleoperado, con el fin de inspeccionar las zonas en las cuales el operador requería un nivel de asistencia mayor o menor.
3. Resultados y discusión
Para el desarrollo de los experimentos, se optó por teleoperar un robot simulado en el entorno de programación Vrep. Este entorno se puede enlazar fácilmente con las librerías Chai3D, las cuales permiten la programación de las asistencias hápticas. En la Figura 3, se observan los resultados experimentales obtenidos por medio de la interfaz cerebro computador, cuando el teleoperador mueve el robot por el entorno de trabajo sin activar las asistencias hápticas.
En la Figura 4 se aprecian los resultados experimentales obtenidos para la señal de compromiso, capturada por la interfaz cerebro computador, cuando el teleoperador mueve el robot y tiene activas las asistencias hápticas.
En la Tabla 1 se aprecian los datos estadísticos de los dos experimentos. Se observa claramente que al usuario le tomó un tiempo significativamente mayor el realizar el recorrido planteado por la trayectoria objetivo, cuando no tenía activas las asistencias hápticas.
Medidas Compromiso | Experimento sin asistencia | Experimento con asistencia |
---|---|---|
Tiempo (s) | 492 | 197 |
Promedio (0-100%) | 37.9959 | 42.6085 |
Desviación Std. | 8.4797 | 9.6647 |
Varianza | 71.9051 | 93.4071 |
Valor Máximo (0-100%) | 60.7219 | 78.9809 |
Valor Mínimo (0-100%) | 21.4437 | 25.2654 |
En la Figura 5 se aprecia como el teleoperador pierde el rumbo en varias ocasiones, realizando giros incluso consecutivos. En esta misma gráfica, se aprecian los niveles de compromiso en una escala de 0 a 1. Los círculos en verde representan obstáculos que se deben evadir. Se pueden apreciar los altos niveles de compromiso del usuario, en los momentos donde se pierde el rumbo y en otros donde se pasa cerca de algunos obstáculos.
Otro factor que debe tenerse en cuenta, es la diferencia que toma la vista del robot en la simulación con respecto a la teleoperación por medio del dispositivo háptico. Si el robot se mueve hacia arriba, coincidirá con el movimiento del dispositivo, pero si se mueve de forma lateral o hacia abajo, cambiará. En la Figura 6 se aprecia el resultado obtenido empleando las asistencias hápticas. En este caso, los errores de posición disminuyen drásticamente.
En la Tabla 2 se aprecian las medidas estadísticas que permite diferenciar numéricamente los resultados obtenidos.
Medidas Error en Posición [m] | Experimento sin asistencia | Experimento con asistencia |
---|---|---|
Promedio | 0.16242 | 0.035098 |
Desviación Std. | 0.12938 | 0.024703 |
Varianza | 0.01674 | 0.00061023 |
Valor Máximo | 0.70174 | 0.11027 |
Acumulado | 66.463 | 5.7769 |
Para mejorar la percepción de las zonas del entorno de trabajo donde deberían cambiarse (aumentar o disminuir las asistencias hápticas), se realizó una normalización de las neuroseñales. En este caso, se hizo que los valores máximos fueran 1, los mínimos 0, y los intermedios tomaran un valor proporcional. En las Figuras 7 y 8, se aprecian los resultados con mayor claridad.
4. Conclusiones
Los hallazgos evidencian que el uso de interfaces cerebro computador, permiten retroalimentar de forma adecuada la programación de las asistencias hápticas en los sistemas de teleoperación. Específicamente, permiten detectar las zonas donde estas ayudas se hacen más necesarias, y las zonas donde se pueden disminuir.
Los algoritmos de ayuda háptica sirven como punto de partida para generar reglas de control compartido, donde en algunos momentos la prioridad la mantenga el sistema de control autónomo y en otras ocasiones la prioridad la tenga el usuario. Esto permite tomar ventaja de las dos posibilidades, generando una solución sinérgica. Como trabajo futuro, se plantea involucrar otras neuroseñales, como la atención o la concentración, en el desarrollo de actividades de teleoperación.