Monitoreo de la actividad cerebral para la evaluación de la satisfacción

Brain Activity Monitoring for Assessing Satisfaction

Paola Johanna Rodríguez Carrillo ⁽¹⁾, Jovani Alberto Jiménez Builes ⁽²⁾, Fabio Paternò ⁽³⁾

⁽¹⁾ Magíster en Informática. Profesora Escuela de Ingeniería de Sistemas y Computación. Universidad del Valle. Cali, Colombia. Grupo de Investigación CAMALEON. paola.rodriguez@correounivalle.edu.co

⁽²⁾ Doctor en Ingeniería área Sistemas e Informática. Profesor Departamento de Ciencias de la Computación. Universidad Nacional de Colombia. Medellín, Colombia. Grupo de Investigación Inteligencia Artificial en Educación. jajimen1@unal.edu.co

⁽³⁾ PhD in Computer Science. Director de Investigación, Instituto di Scienza e Tecnologie dell"Informazione "A. Faedo" (CNR-ISTI). Human-Computer Interaction Group. Pisa, Italia. fabio.paterno@isti.cnr.it

Recibido 15 de noviembre de 2014. Modificado 4 de junio de 2015. Aprobado 17 de junio de 2015.

DOI: http://dx.doi.org/10.16924/riua.v0i42.750

Palabras clave

Evaluación de usabilidad, interfaz cerebro-computador, Mindwave, satisfacción.

Resumen

La satisfacción es una dimensión de la usabilidad que adolece de métricas cuantitativas, calculadas durante la interacción, y se limita a una valoración subjetiva dependiente de la habilidad de interpretación de cuestionarios y recordación del usuario. Por esta razón, en este trabajo se busca establecer una métrica cuantitativa y automática para la satisfacción. Para ello, se tomaron como base los estados mentales de atención/meditación del usuario, haciendo uso de una Interfaz cerebro-computador. Los resultados obtenidos muestran la correlación entre el estado de atención y el nivel de satisfacción del usuario.

Key words

Brain Computer Interface, Mindwave, satisfaction, usability evaluation.

Abstract

Satisfaction is a dimension of usability for which quantitative metrics cannot be calculated during user interactions. Measurement is subjective and depends on the ability to interpret questionnaires and on the memory of the user. This paper represents an attempt to develop an automatic quantitative metric of satisfaction, developed using a Brain Computer Interface to monitor the mental states (Attention/Meditation) of users. Based on these results, we are able to establish a correlation between the state of Attention and the users' level of satisfaction.

Introducción

Los gerentes y los profesionales de proyectos de desarrollo de software manifiestan que los tres criterios principales de calidad para el éxito de una aplicación web son: la confiabilidad, la usabilidad y la seguridad. Además, indican que los grandes fracasos en los negocios en línea se deben a que los clientes demuestran poca o ninguna fidelidad cuando sienten que el software es poco usable o amigable (Al-Kilidar, Cox, & Kitchenham, 2005; Becker & Mottay, 2001; Offutt, 2002; Raza, Capretz, & Ahmed, 2012). Dada la importancia de la usabilidad, desde principios de la década de los noventa, numerosos trabajos se han enfocado en su estudio y en su definición y han dado como resultado diversas perspectivas sobre qué es y cómo medirla (Mirel, 2000; Nielsen, 1991; Onventions & Norman, 1999; Zibell, 2000). El creciente interés de la comunidad y la pluralidad de definiciones y de características asociadas a este concepto ha motivado a organismos de estandarización como la International Organization for Standardization (ISO) y el Institute of Electrical and Electronics Engineers (IEEE) a unificar criterios por medio de la definición de estándares, de los cuales los de mayor aplicación son las normas (ISO/IEC-9126, 1994; ISO-9241-11, 1998).

A pesar de este esfuerzo, la necesidad de actualización de esos estándares ha generado algunas ambigüedades, dado que los grupos de trabajo se han enfocado en distintas perspectivas según su experticia (Human-Computer Interaction, HCI, Ingenieros de Software, etc.). Por ello, en la revisión de la literatura se encuentran varias propuestas que intentan consolidar el concepto de usabilidad y así mismo la forma de medirla (Abran, Khelifi, Suryn, & Seffah, 2003; Al-Kilidar et al., 2005; Bevan, 2009; Cheikhi, Abran, Suryn, Superieure, & Ouest, 2006).

En el marco de este trabajo, la usabilidad será entendida como una medida compuesta relativa a la calidad del producto software y determinada bajo un contexto de uso específico (usuarios, entorno), la cual debe contemplarse en todas las etapas de cualquier proceso de desarrollo de software. La definición aquí propuesta implica un carácter dimensional, en el cual la usabilidad es entendida como la medida de la eficacia, la eficiencia, la satisfacción y la aprendibilidad. De estas dimensiones, la satisfacción es entendida como el nivel de confort que suscita en el usuario el uso del sistema; sin embargo, esta dimensión adolece de medidas automatizadas y cuantitativas, ya que, pese a que existen numerosos métodos de evaluación de usabilidad, los que permiten establecer las métricas relativas a la satisfacción^1, son muy pocos (Reportes de Usuario) y parten de datos que se supeditan a la valoración subjetiva del usuario, dependiendo en gran medida de su habilidad de recordación o, en el mejor de los casos, de información proveniente de métodos observacionales condicionados al criterio del inspector (Fernández, Insfran, & Abrahao, 2011; Lindgaard & Chattratichart, 2007; Mahrin, Strooper, & Carrington, 2009; Nielsen, 1993; Schuller, Althoff, McGlaun, Lang, & Rigoll, 2002).

Por otra parte, los modelos motivacionales de aceptación tecnológica, propuestos desde la psicología social, han demostrado que existe una relación entre los estados mentales del usuario (ansiedad, frustración, diversión, aburrimiento, confusión) y la aceptación de una tecnología. Aquí, el nivel de aceptación es entendido como la suma de la utilidad percibida, la facilidad de uso y el grado de confort (Arhippainen, Pakanen, Hickey, & Mattila, 2011; Els & Gerrit, 2011; Saadé & Kira, 2009; Shen, Wang, & Shen, 2009). Según lo antes indicado, se cree que la satisfacción como dimensión de la usabilidad podría medirse por medio de variables asociadas al estado mental del usuario. De esta forma, la predicción del nivel de satisfacción resulta relevante no solo como medida de aceptación sino, como medio para establecer estrategias que permitan personalizar un producto software a partir de factores emocionales (estado mental) y así captar el interés del usuario y enriquecer su interacción.

En este sentido, el avance de las tecnologías interfaz cerebro-computador^2, permite contar hoy en día con dispositivos que pueden inferir variables asociadas al estado mental del usuario a partir de datos relativos a los rangos de frecuencia de la actividad cerebral (Berger et al., 2008; Dornhege, Hin-terberger, & Mcfarland, 2007; Nicolas-Alonso & Gomez-Gil, 2012; Wilson & Schalk, 2010).

2. Interfaces cerebro-computador

Una interfaz cerebro-computador es un sistema hardware y software que permite la interacción entre un individuo y su entorno por medio de la actividad cerebral. Estos sistemas definen un nuevo canal de comunicación (no muscular) para transmitir las intenciones del usuario a un dispositivo externo como un computador, un dispositivo móvil, una prótesis, una silla de ruedas, etc. En términos computacionales, estos sistemas reconocen un conjunto de patrones en las señales cerebrales y están en capacidad de capturar la señal y pre procesarla; extraer y clasificar información relevante y entregarla en un formato de fácil interpretación para la posterior generación de comandos u órdenes necesarias para la interacción (Fazel-Rezai, 2011; Laar, Hayrettin, Bos, Nijboer, & Nijholt, 2013; Marchesi & Riccó, 2013; Nicolas-Alonso & Gomez-Gil, 2012; Wilson & Schalk, 2010; Wolpaw & Bir- baumer, 2002).

Los dispositivos de mayor uso se basan en imágenes electroencefalográficas (EEG), ya que esta técnica permite una captura no invasiva de las señales, mediante el uso de sensores ubicados en el cuero cabelludo; asimismo, el sistema es portable, la calidad de las señales capturadas es aceptable, el costo es relativamente bajo y genera poco o ningún riesgo para los usuarios (Berger et al., 2008; Dornhege et al., 2007; Nicolas-Alonso & Gomez-Gil, 2012; Wilson & Schalk, 2010).

La información obtenida a partir de la técnica EEG es clasificada en cinco rangos de frecuencia (Delta, Teta, Alfa, Beta y Gama) de acuerdo a la posición del sensor y a su significado biológico. Este es el aspecto más importante para esta propuesta, ya que, estos dispositivos pueden inferir en tiempo real datos relativos al estado mental del sujeto como nivel de atención, frustración, relajación, entre otros.

De acuerdo con lo expuesto anteriormente, este trabajo presenta un estudio experimental encaminado a determinar métricas asociadas a la satisfacción. Para esto, se realiza la captura de datos en tiempo real de la interacción, a través de un dispositivo de monitoreo de la actividad cerebral.

3. Método

Esta sección describe la experimentación realizada para determinar la relación entre los estados mentales atención y meditación, y el nivel de satisfacción del usuario durante la interacción con un objeto de aprendizaje soportado por un sistema e-learning. La selección del sistema e-learning como contexto de uso se debe a los intereses particulares de los grupos de investigación participantes en este trabajo.

3.1. Participantes

La población objeto de estudio comprendió a estudiantes de pregrado matriculados en al menos un curso soportado por un sistema e-learning y para el cual existiera al menos un objeto de aprendizaje disponible para la interacción. En este contexto, el tamaño de la muestra poblacional (n=110) se calculó del conjunto de estudiantes de la Universidad del Valle que cumplió con las características enunciadas, y se tuvieron en cuenta niveles de 95% y 5% de confianza y de error respectivamente, los cuales son de común aceptación para este tipo de experimentación (Lazar, Feng, & Hoshheiser, 2010; Sampieri, Fernández-Collado, & Baptista, 2008). Adicionalmente, una vez realizada la selección aleatoria de los participantes, se observó que podrían agruparse en tres categorías, según su nivel de experticia (novato, intermedio y avanzado). Este nivel de experticia fue determinado fácilmente por el tiempo de uso de las tecnologías de la información y comunicación como motores de búsqueda, correo electrónico, redes sociales y campus virtual de la universidad, entre otros.

3.2. Dispositivos

Para la elección del dispositivo a usar para la captura de los datos asociados a la actividad cerebral, se realizó una prueba piloto con 50 usuarios aleatoriamente seleccionados de la población de estudio^3,. La finalidad de esta prueba fue observar el rendimiento de los dispositivos de mayor uso, su facilidad de adquisición (Mindwave, EPOC) y su facilidad de uso. Para el desarrollo de la prueba piloto se utilizaron las herramientas de práctica propias de cada dispositivo, además de la observación directa y entrevista a cada participante. Los participantes interactuaron durante tres minutos con cada aplicación tomando descansos de dos minutos. Como resultado de la experiencia se encontró que:

• Todos los usuarios mostraron preferencia por el dispositivo Mindwave debido a su facilidad de ubicación y, a que su sensor, al ser seco, no causaba incomodidad.

• 90% de los usuarios expresaron desagrado por el dispositivo EPOC dado el gran número de sensores y la incomodidad de éstos al ser húmedos.

• El cabello largo o abundante causa interferencia en el dispositivo EPOC, lo cual se evidencia en el funcionamiento intermitente o nulo de gran parte de sus sensores, particularmente, los localizados en los laterales y la parte posterior de la cabeza.

• La inferencia relativa a los niveles de atención y meditación es similar en los dos dispositivos. En este caso, la atención es entendida como el nivel de concentración mental durante la realización de una actividad y la meditación, como el nivel de calma o relajación mental. Estas dos variables se ven afectadas por manifestaciones de ansiedad, agitación, pensamientos errantes, entre otros.

En conclusión, se opta por usar el dispositivo Mindwave. Aunque las medidas de atención y meditación (de interés para el experimento final) presentan un nivel de confianza similar en los dos dispositivos, los usuarios mostraron mayor comodidad y preferencia con el uso de este último. Además, tiene un costo menor de adquisición.

Es importante resaltar que para la recolección y el análisis de los datos fue necesario el desarrollo de un componente software (EEG-Capturer), encargado de establecer comunicación vía socket con el dispositivo Mindwave. Su función consiste en capturar los datos que provee el dispositivo y crear y almacenar un archivo comma-separated values (CSV) en el servidor para cada participante.

3.3. Diseño Experimental

Se seleccionó el diseño "entre grupos" dado que permite un control efectivo de factores como fatiga y frustración, los cuales podrían causar sesgo en los datos de estudio (Lazar, 2013). En este sentido, cada participante fue expuesto a una condición experimental mediante asignación al azar. Los objetos de aprendizaje usados tenían igual contenido y nivel de dificultad pero, diferentes niveles de satisfacción (alto, bajo). Estos niveles se definieron a partir de un análisis heurístico (De Lera & Garreta, 2013; Hix, Hartson, & Nielsen, 1994), y el uso del cuestionario USE ^4, (Lund, 2001), actividades realizadas por un experto en usabilidad y, una prueba piloto con 20 estudiantes, diferentes a los involucrados en el experimento final.

Para terminar, con el objeto de controlar posibles errores sistemáticos, se consideraron los siguientes aspectos:

• Preparación de una guía con instrucciones detalladas para los participantes.

• Preparación de un instructivo con procedimientos detallados para los observadores auxiliares.

• Entrenamiento previo para los observadores auxiliares para garantizar que asumieran una actitud neutral y relajada durante la prueba final, así como para establecer una idea clara de los aspectos a observar en los participantes (señales corporales de confort/no-confort) y la correcta localización del dispositivo.

• Desarrollo del experimento en un espacio tranquilo, luminoso y sin interferencias notables.

• Interacción "participante - objeto de aprendizaje" de máximo 5 minutos.

4. Resultados y discusión

Para establecer la relación entre la atención/meditación y el nivel de satisfacción, se tomaron datos durante y después de la interacción. Durante la interacción, se usó el componente EEG-Capturer, el cual en tiempo real capturó los datos generados por el Mindwave (valores de atención/meditación y frecuencias alfa, beta, theta y gama). Adicionalmente, por observación directa, se registraron las señales corporales (asociadas con estados confort/noconfort) del participante. Después de la interacción, se utilizó el cuestionario USE el cual permite establecer:

• Escala de satisfacción según valoración dada por los participantes al conjunto de preguntas definidas en el instrumento.

• Porcentaje de comentarios favorables y desfavorables.

• Número de comentarios asociados a frustración.

El Mindwave entregó un promedio de 178 datos por interacción para cada participante y por cada variable estudiada (atención, meditación). Estos valores se definen en un intervalo de [1,100], donde los valores entre [1,40] se consideran bajos, (40,60) se consideran neutrales y [60,100] se consideran altos. Se debe tener presente que valores bajos para atención indican pérdida de concentración por parte del participante, lo cual se asocia a estados de agitación o ansiedad; y valores bajos para la meditación indican desconexión con la actividad causado por agitación o intranquilidad. De otra parte, los valores altos para atención indican enfoque total o concentración en la actividad, y valores altos para la meditación indican alto nivel de relajación o calma que puede ser entendido como disfrute o letargo. En el rango neutral no se puede establecer ninguna inferencia (NeuroSky, 2009).

Para describir la distribución de los datos capturados se eligió la media como medida de tendencia central para los valores de la atención y la meditación de cada participante y del conjunto global de datos, ya que el cálculo de los coeficientes de variación (rango [0,068, 0,058]) fue menor a 0,10, confirmando así la representatividad de la media. Adicionalmente, se realizó la prueba de significancia t para muestras independientes con nivel de confianza α = 0,05, obteniendo como resultado t=6,4479 y t=12,6382. Los valores obtenidos para el estadístico t en cada caso permiten interpretar, con una confianza del 95%, que los resultados de las variables estudiadas se deben a la condición de control (interfaz de usuario con bajo o alto nivel de satisfacción).

La Tabla 1 consolida los datos tomados durante y después de la interacción. La condición experimental hace referencia a la interfaz del objeto de aprendizaje, la cual fue alterada a fin de presentar un bajo nivel de satisfacción para el primer grupo y un alto nivel de satisfacción para el segundo grupo. El número de participantes fue distribuido uniformemente en los dos grupos. Las columnas atención y meditación muestran intervalos de datos que son promedios. Estos promedios fueron calculados a partir de los datos capturados del Mindwave. Adicionalmente, se presentan los intervalos para cada categoría de usuario (novato, intermedio y avanzado). Las columnas restantes resumen los resultados de la encuesta y de la observación de señales corporales para el total de participantes por grupo.

A partir de los datos consolidados en la Tabla 1 se puede determinar que existe una relación directa entre los niveles bajos de satisfacción y niveles bajos de atención y de meditación. Cuando los valores de atención/meditación fueron menores de 40, el cuestionario de USE reveló baja escala de satisfacción. Además, los usuarios consignaron mayor cantidad de comentarios negativos que positivos y los observadores documentaron prevalencia de señales corporales de malestar (inquietud, frustración, ansiedad).

De manera complementaria, un alto nivel de satisfacción se relaciona con valores altos de atención pero los niveles de meditación fluctúan en los rangos neutral a alto, por lo cual, no se pueden hacer aseveraciones con respecto a la meditación en particular. No obstante, el cuestionario muestra una alta escala de satisfacción y mayor cantidad de comentarios positivos; asimismo, los experimentadores documentaron señales corporales de concentración en la tarea y muy pocas o ninguna señal de incomodidad.

5. Conclusiones y Trabajo Futuro

La principal contribución de este estudio es explorar la relación existente entre los datos provenientes de la actividad cerebral (atención/meditación) y el nivel de satisfacción del usuario, de manera que se puedan establecer métricas para la medida de la satisfacción a partir de datos tomados en tiempo real de la interacción. En este sentido, este estudio permite concluir que:

• La variable atención, calculada a partir del monitoreo de la actividad cerebral del usuario durante el tiempo de la interacción, puede ser usada como métrica confiable para la medida de la satisfacción.

• Valores altos de atención [60,95] unidos a valores neutrales-altos de meditación [52,70], indican alto nivel de satisfacción con respecto al uso del sistema.

• Valores bajos de atención [7,40] y valores bajos de meditación [3,40], indican bajo nivel de satisfacción.

• Las relaciones antes citadas se mantienen independientemente de que el usuario sea novato, intermedio o avanzado en relación a su nivel de uso de las tecnologías de la información.

• Como resultado del análisis del cuestionario, se observó que los usuarios avanzados son más críticos frente al sistema y sus comentarios suelen estar relacionados con aspectos que podrían llegar a mejorar la funcionalidad. Este es un aspecto de gran valor en el proceso de desarrollo del software.

Como parte del trabajo futuro se plantea diseñar otro experimento con el fin de identificar relaciones entre el nivel de satisfacción y las frecuencias alfa, beta, teta y gama obtenidas por medio del Mindwave; definir un método de evaluación de la satisfacción que integre las métricas aquí identificadas e integrar este método en el contexto de un proceso ágil de desarrollo de software.

Agradecimientos

Los autores expresan sus agradecimientos a las universidades y centros de investigación a los que representan, así como a COLCIENCIAS por su apoyo financiero, de gran importancia para el avance de este estudio, el cual se enmarca en un proceso de formación doctoral.

1 En la literatura solo enuncian como métricas: escala de satisfacción (alta/baja) durante la realización de la tarea; porcentaje de comentarios favorables y desfavorables; y, número de veces que el usuario expresa su frustración.

2 BCI: Brain Computer Interface - sigla en inglés.

3 Estos individuos fueron distintos a los que conformaron el experimento final.

4 Usefulness, Satisfaction, and Ease of Use.

Referencias

Abran, A., Khelifi, A., Suryn, W., & Seffah, A. (2003). Consolidating the ISO Usability Models. Proceedings of 11th International Software Quality Management Conference, (pp. 23-25).         [ Links ]

Al-Kilidar, H., Cox, K., & Kitchenham, B. (2005). The use and usefulness of the ISO/IEC 9126 quality standard. Proceedings of2005 International Symposium on Empirical Software Engineering, 2005, 122-128. doi: http://dx.doi.org/10.1109/ ISESE.2005.1541821         [ Links ]

Arhippainen, L., Pakanen, M., Hickey, S., & Mattila, P. (2011). User experiences of 3D virtual learning environment. Proceedings of the 15th International Academic MindTrek Conference on Envisioning Future Media Environments - MindTrek '11, 222. doi: http://dx.doi.org/10.1145/2181037.2181075         [ Links ]

Becker, S. A., & Mottay, F. E. (2001). A Global Perspective on Web Site Usability. IEEE on Software,18(1), 54-61. doi: http://dx.doi.org/10.1109/52.903167         [ Links ]

Berger, T. W., John K Chapin, G. A. G., McFarland, D. J., Principe, J. C., Soussou, W., Taylor, D. M., & Tresco, P. A. (2008). Brain-Computer Interfaces. An International Assessment of Research and Development Trends. Springer Netherlands. doi: http://dx.doi.org/10.1007/978-1-4020-8705-9         [ Links ]

Bevan, N. (2009). Extending Quality in Use to Provide a Framework for Usability Measurement. In Kurosu, M. (Ed.). Human Centered Design, HCI (Vol. 11, pp. 13-22). Springer-Verlang Berlin Heidelberg.doi: http://dx.doi.org/10.1007/978-3-642-02806-9_2         [ Links ]

Cheikhi, L., Abran, A., Suryn, W., Superieure, E. D. T., & Ouest, N. (2006). Harmonization of usability measurements in software engineering standards. Proceedings of 2006 IEEE International Symposium on Industrial Electronics, 4, 3246-3251.         [ Links ]

De Lera, E., & Garreta, M. (2013). 10 Heurísticos Emocionales. Revista Faz, 6, 68-81.         [ Links ]

Dornhege, G., Hinterberger, T., & Mcfarland, D. J. (2007). Toward Brain-Computer Interfacing. Cambridge, Massachusetts: MIT Press.         [ Links ]

Els, R., & Gerrit, V. der V. (2011). Designing education for people's understanding and experience. Proceedings of ECCE 2011 Conference, 24-26.         [ Links ]

Fazel-Rezai, R. (Ed.). (2011). Recent advances in brain computer interface systems. Rijeka, Croatia: InTechOpen Access Publisher. doi: http://dx.doi.org/10.5772/579         [ Links ]

Fernandez, A., Insfran, E., & Abrahäo, S. (2011). Usability evaluation methods for the web: A systematic mapping study. Information and Software Technology, 53(8), 789-817. doi: http://dx.doi.org/10.1016/j.infsof.2011.02.007         [ Links ]

Hix, D., Hartson, H. R., & Nielsen, J. (1994). A taxonomy for developing high impact formative usability evaluation methods. Association of Computing Machinery (ACM) Special Interest Group on Computer Human Interaction (SIGCHI), 26(4), 20-22.         [ Links ]

ISO/IEC-9126. (1994). Software Product Evaluation - Quality Characteristics and Guidelines for the User.         [ Links ]

ISO-9241-11. (1998). INTERNATIONAL Ergonomic requirements for office work with visual display terminals ( VDTs ) - Part 11 : Guidance on usability.         [ Links ]

Laar, B. Van De, Hayrettin, G., Bos, D. P., Nijboer, F., & Nijholt, A. In B. Z. Allison, S. Dunne, R. Leeb, J. Del R. Millän, & A. Nijholt(2013). Towards Practical Brain-Computer Interfaces. (Eds.), Towards Practical Brain-Computer Interfaces, Biological and Medical Physics, Biomedical Engineering. Berlin, Heidelberg: Springer Berlin Heidelberg. doi: http://dx.doi.org/10.1007/978-3-642-29746-5        [ Links ]

Lazar, J. (2013). Designing Inclusive Systems. Special Issue of Journal of Usability Studies, 8(4), 90-92.         [ Links ]

Lazar, J., Feng, J.-H., & Hoshheiser, H. (2010). Research Methods in Human-Computer Interaction (1st ed.). UK: John Wiley & Sons.         [ Links ]

Lindgaard, G., & Chattratichart, J. (2007). Usability Testing : What Have We Overlooked ? In Proceedings in Usability Evaluation (pp. 1415-1424). San Jose, CA - USA: ACM.         [ Links ]

Lund, A. (2001). Measuring usability with the USE questionnaire. Usability and user experience newsletter of the STC Usability SIG. Retrieved from http://www.stcsigorg/usability/newsletter/0110_measuring_with_use.html.         [ Links ]

Mahrin, M. N., Strooper, P., & Carrington, D. (2009). Selecting Usability Evaluation Methods for Software Process Descriptions. 2009 16th Asia-Pacific Software Engineering Conference, 523-529. doi: http://dx.doi.org/10.1109/APSEC.2009.33        [ Links ]

Marchesi, M., & Riccò, B. (2013). BRAVO : A BRAin Virtual Operator For Education Exploiting Brain-Computer Interfaces. CHI 2013, 3091-3094.         [ Links ]

Mirel, B. (2000). Product, process, and profit: the politics of usability in a software venture. ACM Journal of Computer Documentation (JCD), 24(4), 185 - 203. doi:http://dx.doi.org/10.1145/353927.353928         [ Links ]

NeuroSky, I. (2009). Brain Wave Signal ( EEG ) of NeuroSky. NeuroSky Brain-Computer Interface Technologies.         [ Links ]

Nicolas-Alonso, L. F., & Gomez-Gil, J. (2012). Brain computer interfaces, a review. Sensors (Basel, Switzerland), 12(2), 1211-79. doi: http://dx.doi.org/110.3390/s120201211         [ Links ]

Nielsen, J. (1991). Usability metrics and methodologies. ACM SIGCHI, 23(2), 37 - 39.         [ Links ]

Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann Elsevier.         [ Links ]

Offutt, J. (2002). Quality Attributes of Web Software Applications. In Special Issue on Software Engineering of Internet Software - IEEE (pp. 25-32).         [ Links ]

Onventions, C., & Norman, D. A. (1999). Affordance, conventions, and design. Magazine Interactions, 38-42.         [ Links ]

Raza, A., Capretz, L. F., & Ahmed, F. (2012). An open source usability maturity model (OS-UMM). Computers in Human Behavior, 28(4), 1109-1121. doi: http://dx.doi.org/10.1016/j.chb.2012.01.018         [ Links ]

Saadé, G. R., & Kira, D. (2009). Computer Anxiety in E-Learning : The Effect of Computer Self-Efficacy Development of Research Hypotheses. Journal of Information Technology Education, 8, 1-15.         [ Links ]

Sampieri, R., Fernández-Collado, C., & Baptista, P. (2008). Metodología de la Investigación. (4th ed.). Mexico: Mc-Graw Hill.         [ Links ]

Schuller, B., Althoff, F., McGlaun, G., Lang, M., & Rigoll, G. (2002). Towards automation of usability studies. IEEE International Conference on Systems, Man and Cybernetics, vol.5, 6. doi: http://dx.doi.org/10.1109/ICSMC.2002.1176360        [ Links ]

Shen, L., Wang, M., & Shen, R. (2009). Affective e-Learning : Using "Emotional" Data to Improve Learning in Pervasive Learning Environment Related Work and the Pervasive e-Learning Platform. Educational Technology & Society, 12(2), 176-189.         [ Links ]

Wilson, A., & Schalk, G. (2010). Brain-Computer Interfaces. In D. S. Tan & A. Nijholt (Eds.), Brain-Computer Interfaces, Human. Computer Interaction Series (pp. 261-274). London: Springer London. doi: http://dx.doi.org/10.1007/978-1-84996-272-8        [ Links ]

Wixon, D., Jones, S., Tse, L., & Casaday, G. (1994). (n.d.). Inspections and design reviews: framework, history, and reflection en Usability Inspection Methods (NIELSEN J. y MACKR. L. eds.). (pp. 79-104). John Wiley & Sons, New York.         [ Links ]

Wolpaw, J.R, Birbaumer, N., et al. (2002). Brain-computer interfaces for communication and control. Clinical Neurophysiology: Official Journal of the International Federation of Clinical Neurophysiology, 133(6), 767-791.         [ Links ]

Zibell, K. (2000). Klare's "useful information" is useful for Web designers. ACM Journal of Computer Documentation (JCD), 24(3), 141-147.         [ Links ]