Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

cnológico
Subsecretaría de Educación Superior
Dirección General de Educación Superior Tecnológica
Coordinación Sectorial Académica
Dirección de Estudios de Posgrado e Investigación
Centro Nacional de Investigación
y Desarrollo Tecnológico
Subdirección Académica
Departamento de Ciencias Computacionales
TESIS DE MAESTRÍA EN CIENCIAS
Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en
Características de Efectividad, Confianza y Satisfacción Mediante
Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales
presentada por
Ing. Julia Yazmín Arana Llanes
como requisito para la obtención del grado de
Maestra en Ciencias de la Computación
Director de tesis
Dr. Juan Gabriel González Serna
Cuernavaca, Morelos, México. Junio de 2014.

Dedicatorias.
A mis abuelos que han sido un gran ejemplo y pilar en mi vida; sus
palabras de aliento siempre presentes durante esta etapa.
A mis padres que me han dado la oportunidad de vivir experiencias
maravillosas y siempre me han apoyado y guiado de la mejor manera
para lograr mis metas y sueños sin soltarme de la mano.
A toda mi amada familia que siempre ha estado presente impulsando
mis sueños, en especial a mis tías Lili y Peque.
A mis hermanas, Marycarmen (Bebe incluído) y Giovanna, que cada día
me han demostrado que las cosas grandes y todos los sueños son
posibles de alcanzar.
A mi novio y gran amigo Mario que me ha apoyado ayudandome a
alcanzar metas y a crear nuevos sueños.
A todos mis amigos y compañeros de CENIDET que siempre han
estado ahí en las buenas y en las malas intercambiando experiencias,
alegrias y crecimiento. A la gran generación 2012-2014 Juan Carlos e
Hiram.

AGRADECIMIENTOS
En primer lugar quiero agradecer al Consejo Nacional de Ciencia y
Tecnología (CONACYT) ya que sin el apoyo económico brindado no
hubieran sido posibles el desarrollo de esta tesis y una estancia de
investigación en el extranjero.
Agradezco también al Centro Nacional de Investigación y Desarrollo
Tecnológico (CENIDET) por haberme permitido realizar los estudios de
una Maestría en Ciencias. A su personal académico por su gran aporte
y experiencias que han influenciado en mi formación académica.
Deseo Agradecer también a mi Director de Tesis el Dr. Juan Gabriel
González Serna por el tiempo empleado para guiarme y apoyarme
durante todo el periodo de mi estancia en CENIDET. A mis revisores el
Dr. Máximo López Sánchez, el Dr. Javier Ortiz Hernández y la Dra.
Azucena Montes Rendón, quienes me regalaron su tiempo de
revisiones, correcciones, consejos y sugerencias acerca del trabajo
desarrollado.
A la UNIVERSITY OF CALIFORNIA, Irvine. En especial al Dr. Alfred
Kobsa y el estudiante de doctorado Bart Knijnenburg que me ofrecieron
una estancia muy provechosa en un ambiente de confianza y lleno de
conocimiento.
Al Gobierno del Estado de Querétaro y al Gobernador José Calzada
Rovirosa, por el apoyo económico brindado para la publicación de un
artículo y asistencia al congreso internacional CSCI’14 derivado del
trabajo de investigación de esta Tesis.
A todos, !Muchas Gracias!

Resumen
En este documento se habla acerca de la importancia de realizar evaluaciones centradas en
el usuario para conocer la experiencia de este durante la interacción con un Sistema de
Recomendación Sensible al Contexto (SRSC), operado desde un dispositivo móvil
multisensorial, considerando que la principal función de un sistema de recomendación es
facilitar la toma de decisiones a los usuarios.
Dentro de este documento podemos encontrar la definición de técnicas de evaluación
previamente aplicadas por los expertos y los instrumentos que conllevan cada una, así como
la adaptación y combinación para la aplicación dentro del estudio de las características de
efectividad, confianza y satisfacción percibidas por el usuario en uso de sistemas de
recomendación similares a Find-it!1.
Por otra parte, es definido el orden asignado a cada una de las técnicas para lograr la
depuración de aspectos negativos encontrados durante la evaluación; siendo posible con
esto observar como se realiza el acompañamiento mano a mano de la evaluación con el
diseño y desarrollo del SRSC, tomando en cuenta todas las recomendaciones brindadas en
cada etapa de la metodología propuesta.
Este trabajo de investigación fué aplicado directamente durante el diseño y desarrollo del
sistema Find-it! obteniendo como resultado la corrección de diversos aspectos negativos
encontrados que afectaban directamente la experencia de los usuarios.
Algunos de los aspectos encontrados fueron corregidos inmediatamente después de recibir
la recomendación logrando una mejoría notoria durante la siguiente etapa de evaluación.
La aplicación de otras de las recomendaciones han quedado pendientes para trabajos
futuros en el desarrollo del sistema Find-it!.
1" Find'it!" es" un" Sistema" de"Recomendación" Sensible" al" Contexto" (SRSC)" desarrollado" dentro" del" grupo" de"
CARS" (Contex'Aware"Recommender"System)"del"departamento"de"Sistemas"Distribuídos"en"CENIDET."Este"
Sistema" de"Recomendación" brinda" recomendaciones" sobre" ítems" encontrados" en" Institutos" de" Educación"
Superior"(IES)"basadas"en"el"contexto"del"usuario."
i

Abstract
This document discusses the importance of user-centered evaluation about the experience
during the interaction with a Context-Aware Recommender System (CARS), operated from
a multisensory mobile device, considering that the main function of a recommender system
is to facilitate the decision-making of the users.
Within this document we can find the definition of evaluation techniques that the experts
previously applied and the tools used, as well as the adaptation and combination of this
techniques and tools for their application in the study of the characteristics of effectiveness,
confidence and satisfaction perceived by the user in the use of similar Recommender
Systems to Find-it!2.
Moreover, it is defined the order assigned to each of the techniques to achieve the
purification of negatives aspects found during the evaluation; with the application of this
evaluation it is possible to see the performed design and the development of the CARS
considering all the recommendations provided in each stage of the proposed methodology.
This research was applied directly during the design and development of Find-it!, allowing
the corrections of various negatives aspects that affect directly the users experience (UX).
Some of the issues found were corrected immediately after receiving the recommendation
of the solution required to the bad aspects, this noticeable improvement has been perceived
during the next stage of the evaluation.
The implementation of other recommendations improvement, remain outstanding for future
work during the development of Find-it system!.
2" Find'it!" is" a" Context'Aware" Recommender" System" (CARS)" developed" within" the" group" of" CARS" at" the"
department" of"Distributed"Systems"at"CENIDET."This"Recommendation"System"provides" recommendations"
of"items"found"in"Higher"Education"Institutes"(HEIs)"based"on"the"user's"context."
i i

iii
Contenido
1" Introducción ........................................................................................................................ 2
1.1" Antecedentes .............................................................................................................. 3"
1.2" Planteamiento del Problema ...................................................................................... 5"
1.3" Objetivo ...................................................................................................................... 6"
1.4" Justificación ............................................................................................................... 6"
1.1.1" ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados? ............. 7"
1.5" Beneficios .................................................................................................................. 8"
1.6" Estructura del Documento .......................................................................................... 9"
2" Fundamento Teórico ....................................................................................................... 11"
2.1" Definición de Características a Evaluar ................................................................... 12"
2.2" Tipos de Test ............................................................................................................ 12"
2.3" Test de Evaluación Controlada ................................................................................ 13"
2.4" Test de Evaluación en Campo .................................................................................. 13"
2.5" Test de Evaluación Remota ..................................................................................... 13"
2.6" Tipos de Técnicas e Instrumentos ............................................................................ 13"
2.7" Técnicas de Evaluación Formativa .......................................................................... 14"
2.7.1" Técnica de Evaluación Heurística ..................................................................... 14"
2.7.2" Técnica de Think-Aloud o Pensando en voz alta .............................................. 14"
2.7.3" Técnica de Cognitive Walkthrough ................................................................... 15"
2.7.4" Técnica de Entrevistas ....................................................................................... 16"
2.8" Técnicas de Evaluación Sumativa ........................................................................... 17"
2.8.1" Técnica de Cuestionarios .................................................................................. 17"
2.9" Sistemas de Recomendación .................................................................................... 18"
2.10" Sistemas de Recomendación Sensibles al Contexto (SRSC) ................................... 19"
3" Estado del Arte ............................................................................................................... 22"
3.1" Características a Evaluar: Efectividad, Confianza y Satisfacción ........................... 22"
3.2" A Cross-Cultural User Evaluation of Product Recommender Interfaces (Pu L. C.,
2008) ................................................................................................................................. 23"

3.3" Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu,
Chen, & Pearl, 2011) ........................................................................................................ 23"
3.4" Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design
(Tsoi, 2011) ....................................................................................................................... 24"
3.5" Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para
Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking (Seix, 2012) ..... 25"
3.6" Arquitectura para la Evaluación de la Usabilidad de Interfaces Multimodales
(Hernández, 2005) ............................................................................................................. 26"
3.7" User Evaluation Framework of Recommender Systems (Chen & Pu, 2010) .......... 27"
3.8" Do We Really Need Traditional Usability Lab for UX Practice? (Sharma, 2013) .. 28"
3.9" Lost in Time: The Meaning of Temporal Aspects in User Experience (Kujala,
Vogel, Pohlmeyer, & Obrist, 2013) .................................................................................. 29"
3.10" Analysis in Practical Usability Evaluation: A Survey Study (Følstad, Law, &
Hornbæk, 2012) ................................................................................................................ 30"
3.11" Changing Perspectives on Evaluation in HCI: Past, Present, and Future
(MacDonald & Atwood, 2013) ......................................................................................... 30"
3.12" State of the Art on the Cognitive Walkthrough Method, Its Variants and Evolutions
(Thomas, Mouldi, & Christophe, 2010) ............................................................................ 32"
3.13" Designing and Evaluating Explanations for Recommender Systems (Tintarev &
Masthoff, 2011) ................................................................................................................. 32"
3.14" User-Centered Design of a Web Site for Library and Information Science Students:
Heuristic Evaluation and Usability Testing (Manzari & Trinidad-Christensen, 2013) .... 33"
3.15" Context Relevance Assessment and Exploitation in Mobile Recommender Systems
(Baltrunas, Ludwig, Peer, & Ricci, 2012) ........................................................................ 33"
3.16" Explaining the User Experience of Recommender Systems (Knijnenburg,
Willemsen, Gantner, Soncu, & Newell, 2011) ................................................................. 34"
3.17" Tabla Comparativa de Trabajos Relacionados ........................................................ 37"
4" Descripción de la Metodología ....................................................................................... 39"
4.1" Describiendo la Metodología ................................................................................... 40"
4.1.1" Etapa1.- Conociendo al Usuario ........................................................................ 40"
4.1.2" Etapa 2.- Aplicación de la Técnica de Evaluación Heurística .......................... 41"
4.1.3" Etapa 3.- Aplicación de la Técnica Think-Aloud .............................................. 42"
4.1.4" Etapa 4.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 43"
4.1.5" Etapa 5.- Aplicación de la Técnica de Walk Through + Think-Aloud ............. 43"
iv

4.1.6" Etapa 6.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 45"
4.1.7" Etapa 7.- Aplicación de la Técnica de Cuestionarios ........................................ 45"
4.1.8" Etapa 8.- Aplicación de la Técnica de Entrevista .............................................. 46"
4.2" Metodología Final Propuesta ................................................................................... 46"
5" Implementación de la Metodología ................................................................................ 49"
5.1" Framework de Uso de la Metodología ..................................................................... 50"
5.2" Planeación de Pruebas .............................................................................................. 53"
5.2.1" Evaluación Heurística de Nielsen ..................................................................... 53"
5.2.2" Evaluación Think – Aloud ................................................................................ 54"
5.2.3" Conociendo al Usuario ...................................................................................... 55"
5.2.4" Cognitive Walk Through + Think – Aloud ....................................................... 56"
5.2.5" Cuestionarios ..................................................................................................... 57"
5.2.6" Entrevista ........................................................................................................... 57"
5.3" Aplicación de Evaluaciones ..................................................................................... 58"
5.3.1" Aplicación de la Evaluación Heurística ............................................................ 58"
5.3.2" Aplicación de la Evaluación Think- Aloud ....................................................... 58"
5.3.4" Aplicación de la Evaluación Cognitive Walk Through + Think-Aloud ........... 60"
5.3.5" Aplicación de Cuestionarios .............................................................................. 63"
5.3.6" Aplicación de Entrevista ................................................................................... 64"
6" Pruebas y Resultados ...................................................................................................... 67"
6.1" Evaluación Heurística .............................................................................................. 67"
6.2" Evaluación Think-Aloud .......................................................................................... 68"
6.2.1" Conociendo al usuario ....................................................................................... 68"
6.3" Aplicación y Resultados de Think-Aloud ................................................................ 71"
6.4" Cognitive Walk Through + Think-Aloud ................................................................ 73"
6.5" Cuestionarios ............................................................................................................ 81"
6.5.1" Cuestionario de Entendimiento ......................................................................... 81"
6.5.2" Cuestionario de Esfuerzo Cognitivo Percibido ................................................. 82"
6.5.3" Cuestionario de Confianza ................................................................................ 83"
6.5.4" Cuestionario de Satisfacción ............................................................................. 84"
v

6.5.5" Cuestionario de Efectividad .............................................................................. 85"
6.5.6" Cuestionario de Calidad Percibida en las Recomendaciones ............................ 86"
6.6" Entrevista ................................................................................................................. 87"
7" Conclusiones ................................................................................................................... 93"
7.1" Conclusiones por Técnica Aplicada ......................................................................... 93"
7.1.1" Evaluación Heurística ....................................................................................... 93"
7.1.2" Evaluación Think-Aloud ................................................................................... 94"
7.1.4" Mejoras al Sistema ............................................................................................ 95"
7.1.5" Evaluación Cognitive Walk Through ................................................................ 95"
7.1.6" Evaluación con Cuestionarios ........................................................................... 95"
7.1.7" Evaluación con Entrevista ................................................................................. 96"
7.2" Conclusión General .................................................................................................. 96"
8" Anexos ............................................................................................................................ 99"
8.1" Plantilla para Reporte de Aspectos de Usabilidad (UAR) ....................................... 99"
8.2" Cuestionario “Conociendo al Usuario” .................................................................. 102"
8.3" Actividades Cognitive Walk Through Descritas ................................................... 104"
8.4" Lista de actividades Cognitive Walk Through ....................................................... 107"
8.5" Preguntas Cognitive Walk Through ....................................................................... 108"
8.6" Cuestionario ........................................................................................................... 109"
8.7" Entrevista ............................................................................................................... 111"
9" Referencias ................................................................................................................... 113"
vi

Índice de Tablas
Tabla 3-1Preguntas para medir aspectos subjetivos ............................................................. 28"
Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI .................. 31"
Tabla 3-3 Preguntas retomadas y adaptadas de (Knijnenburg, Willemsen, Gantner, Soncu,
& Newell, 2011) ................................................................................................................... 36"
Tabla 3-4 Tabla Comparativa de Trabajos relacionados ...................................................... 37"
Tabla 5-1 Características de Tablets con sistema Find-it! .................................................... 55"
Tabla 5-2 CWT Abrir aplicación .......................................................................................... 60"
Tabla 5-3 CWT Registro de usuario ..................................................................................... 60"
Tabla 5-4 CWT Inicio de sesión ........................................................................................... 60"
Tabla 5-5 CWT Ayuda ......................................................................................................... 61"
Tabla 5-6 CWT Más información ........................................................................................ 61"
Tabla 5-7 CWT Recomendaciones textuales ........................................................................ 61"
Tabla 5-8 CWT Realidad Aumentada .................................................................................. 61"
Tabla 5-9 CWT Mapas SVG ................................................................................................ 62"
Tabla 5-10 Preguntas de Entrevista ...................................................................................... 65"
Tabla 6-1 Resultados evaluación Heurística de Nielsen ...................................................... 68"
Tabla 6-2 Resultados de evaluación Think-Aloud ............................................................... 72"
Tabla 7-1 Aspectos encontrados y Heurística afectada ........................................................ 93"
Tabla 7-2 Aspectos que pudieron evitarse con las recomendaciones basadas en la Heurística
de Nielsen. Sección 6.1 ......................................................................................................... 94"
Tabla 7-3 Problemas persistentes ......................................................................................... 95"
vii

Índice de Gráficos
Gráfico 6-1 Sexo ................................................................................................................... 69"
Gráfico 6-2 Edad .................................................................................................................. 69"
Gráfico 6-3 Educación .......................................................................................................... 69"
Gráfico 6-4 Área de conocimiento ....................................................................................... 69
Gráfico 6‑5 Uso de dispositivos móviles……………………………………………………………..69
Gráfico 6-6 Uso de tablets……………………………………………………………………………….69
Gráfico 6-7 Conoce SR…………………………………………………………………….…………….70
Gráfico 6-8 SR conocidos……………………………………………………………………………….70
Gráfico 6-9 Estudio Científico……………………………………………………………...…………. 70
Gráfico 6-10 Abrir aplicación Find-it! ................................................................................. 73"
Gráfico 6-11 Registro de usuario .......................................................................................... 74"
Gráfico 6-12 Inicio de sesión ................................................................................................ 75"
Gráfico 6-13 Abrir, Leer ayuda y Cerrar ayuda ................................................................... 76"
Gráfico 6-14 Visualizar más información ............................................................................ 77"
Gráfico 6-15 Recomendaciones textuales ............................................................................ 78"
Gráfico 6-16 Realidad aumentada ........................................................................................ 79"
Gráfico 6-17 Mapas SVG ..................................................................................................... 80"
Gráfico 6-18 Entendimiento ................................................................................................. 81"
Gráfico 6-19 Esfuerzo cognitivo .......................................................................................... 82"
Gráfico 6-20 Confianza ........................................................................................................ 83"
Gráfico 6-21 Satisfacción ..................................................................................................... 84"
Gráfico 6-22 Efectividad ...................................................................................................... 85"
Gráfico 6-23 Calidad en las recomendaciones ..................................................................... 86"
Gráfico 6-24 Funcionalidad .................................................................................................. 87"
Gráfico 6-25 Ítems de interés ............................................................................................... 88"
Gráfico 6-26 Más información ............................................................................................. 88"
Gráfico 6-27 Problemas encontrados ................................................................................... 89"
Gráfico 6-28 Recomendación ............................................................................................... 90"
Gráfico 6-29 Usuario de Sistema Operativo ......................................................................... 91"
Gráfico 7-1 Porcentajes obtenidos ........................................................................................ 96"
viii

ix
Índice de Figuras
Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P.
Knijnenburg et al. ................................................................................................................... 8"
Figura 2-1 Ejemplos de escalas Likert ................................................................................. 17"
Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se
refiere a la posición de una recomendación) (Tsoi, 2011). .................................................. 24"
Figura 3-2 Modelo de continuidad de UX ............................................................................ 30"
Figura 3-3 Framework para evaluación centrada en el usuario de SR ................................. 35"
Figura 4-1 Conociendo al usuario ........................................................................................ 40"
Figura 4-2 Evaluación Heurística ......................................................................................... 42"
Figura 4-3 Think-Aloud ........................................................................................................ 43"
Figura 4-4 Aplicación de mejoras al sistema ........................................................................ 43"
Figura 4-5 Lentes espía SungLasses ..................................................................................... 44"
Figura 4-6 Cognitive Walkthrough + Think-Aloud ............................................................. 45"
Figura 4-7 Aplicación de mejoras al sistema ........................................................................ 45"
Figura 4-8 Cuestionarios ...................................................................................................... 46"
Figura 4-9 Entrevista ............................................................................................................ 46"
Figura 4-10 Metodología final propuesta ............................................................................. 47"
Figura 5-1 Metodología para evaluación de SRSC centrada en el usuario, basada en
características de efectividad, confianza y satisfacción mediante interfaces multimodales
sobre dispositivos móviles multisensoriales ......................................................................... 49"
Figura 5-2 ............................................................................................................................. 50"
Figura 5-3 ............................................................................................................................. 51"
Figura 5-4 ............................................................................................................................. 52"
Figura 5-5 Lentes espía SungLasses ..................................................................................... 56"
Figura 5-6 Cuestionario Conociendo al usuario ................................................................... 59"

Capítulo I. Introducción
1 Introducción
Actualmente la computación ubicua3 se ha convertido en algo indispensable para la vida diaria
de los seres humanos, los dispositivos móviles y sus aplicaciones han pasado a ser parte de las
actividades normalmente realizadas, desde el simple entretenimiento, hasta el control de
sistemas inteligentes dentro de las empresas o el hogar.
En este documento en particular hablaremos sobre la importancia de conocer la experiencia de
los usuarios ante la interacción con un sistema de recomendación manipulado desde un
dispositivo móvil; teniendo en cuenta que la función principal de un sistema de
recomendación es facilitar el proceso para la toma de decisiones del usuario.
Se ha observado dentro de la literatura, que los estudios acerca de las evaluaciones de sistemas
de recomendación en su gran mayoría son basadas únicamente en la evaluación a la calidad de
las recomendaciones y el funcionamiento del algoritmo de recomendación utilizado (Salazar
G. & Ortega L., 2010), En (HERLOCKER, KONSTAN, TERVEEN, & RIEDL, 2004) por
mencionar un ejemplo, son evaluadas las tareas realizadas por el usuario, la calidad de las
predicciones en las recomendaciones, los tipos de análisis y bases de datos que se utilizan,
dejando de lado la experiencia que el usuario ha tenido al interactuar con el sistema en busca
de ayuda para la toma de decisiones.
En el grupo de desarrollo de Context-Aware Recommender Systems, en adelante CARS,
dentro del Centro Nacional de Investigación y Desarrollo Tecnológico (CENIDET), se han
iniciado investigaciones relacionadas con este tipo de sistemas de recomendación.
Partiendo de diversos estudios ha sido creado un CARS que cuenta con distintas
características que lo hace un tanto diferente a lo existente en el mercado, consta de algoritmos
de recomendación de ítems heterogéneos, técnicas de explicación acerca de las
recomendaciones realizadas, servicios de mapas SVG e interfaces multimodales con realidad
aumentada, además de ser creado para el uso exclusivo en dispositivos móviles
multisensoriales permitiendo al usuario obtener recomendaciones justo en el momento y lugar
donde lo requiere el usuario.
Debido al desarrollo de este CARS actualmente llamado Find-it!, surgió la necesidad de
evaluar la experiencia del usuario durante la interacción con el sistema, dando lugar a esta
investigación.
3 Se"entiende"en"general"por"computación"ubicua"la"integración"de"la"informática"en"el"entorno"de"la"persona,"
de"forma"que"los"ordenadores"no"se"perciban"como"objetos"diferenciados."
2

El objetivo de esta investigación fue la combinación de diferentes técnicas existentes para
diseñar una metodología que se aplique en el estudio de las características de efectividad,
confianza y satisfacción percibida por los usuarios en el uso de sistemas de recomendación
similares.
1.1 Antecedentes
La evaluación centrada en el usuario del sistema de recomendación (SR) Find-it!, no ha sido
efectuada hasta el momento, por lo cual, no existe un antecedente relacionado con el tema de
esta tesis, es por ello que se mencionan como antecedentes los trabajos de tesis que se llevan a
cabo y se han realizado entorno al CARS Find-it! los cuales se mencionan a continuación.
Actualmente dentro de CENIDET existe un grupo dedicado al desarrollo de un CARS llamado
Find-it!, con el fin de recomendar personas, lugares, actividades, servicios, objetos de
conocimiento y cualquier otro elemento relacionado con las instituciones de educación
superior. Este proyecto se conforma de distintos bloques y etapas de desarrollo que se
describen a continuación:
El primer acercamiento al CARS fue realizado por (González, 2012), en esta tesis se
desarrolló un CARS para asociar personas, actividades, servicios, objetos de conocimiento,
instalaciones, localización geoespacial y ubicación temporal, de manera que se infieran
recomendaciones para un usuario, extrayendo sus atributos de una ontología de perfiles, para
asociarlos a los conceptos de una ontología de dominio, de tal manera que se identifiquen y
seleccionen los ítems que sean de su interés.
A la par del desarrollo del CARS de (González, 2012)se desarrolló un trabajo de tesis que
permitió identificar y ubicar a un usuario dentro del contexto de las instalaciones de una
organización, en esta tesis se utilizaron tecnologías como RFID, QRCODE, Wi-Fi y
Bluetooth. El objetivo del trabajo de tesis de (Yris P., 2012), fue desarrollar métodos de
localización en interiores basados en evaluación de señales electromagnéticas para
encapsularlos dentro de clases que a su vez formen librerías de programación API.
Otro elemento clave del sistema Find-it! fue la implementación de la tecnología de Realidad
Aumentada, dando al sistema un tipo de interactividad espacial del usuario con el sistema y los
puntos de interés que rodean al mismo, siendo estos mostrados en 10 orientaciones distintas,
es decir los 8 puntos cardinales más las alineaciones arriba y abajo (Morán, 2012).
La función de esta etapa permite al usuario activo posicionado en un punto cualquiera dentro
de las instalaciones de la institución, ubicar los puntos de interés de acuerdo a la dirección de
enfoque de la cámara del dispositivo multisensorial, visualizando en la pantalla íconos e
información relevante sobre dichos puntos.
3

Siendo los anteriores el comienzo del CARS creado por el grupo de desarrollo de CARS (por
sus siglas en inglés Context-Adware Recommender System) de CENIDET se han definido
nuevos aspectos a tomar en cuenta para aplicar el Find-it! con los siguientes trabajos:
En primer lugar se desarrolló una arquitectura basada en componentes reutilizables que integra
una serie de algoritmos de recomendación y un modelo heurístico que permite seleccionar, en
tiempo de ejecución, de un repositorio de algoritmos de recomendación el mejor o los mejores
con base en cada una de las clases de un repositorio de ítems heterogéneos tomando el tipo de
usuario hacia al que van dirigidas las recomendaciones y el contexto en el que se encuentre,
dentro de la tesis desarrollada por (Lozano R., 2012).La integración de este trabajo dentro del
CARS permitió la automatización de las recomendaciones de los ítems registrados dentro de la
institución que puedan ser recomendados según los parámetros contextuales brindados por el
usuario.
Se realizó la tesis por (Galán M., 2014)en la que se desarrolló un repositorio de algoritmos de
explicación, para cada uno de estos algoritmos se diseñaron plantillas de texto con campos
variables que se complementan automáticamente para generar texto argumentativo para cada
clase de ítem contenido en el repositorio heterogéneo organizacional.
Otro trabajo de tesis relacionado es el de (Rodríguez Maldonado, 2014), en el que se
desarrolló e implementó una metodología para el desarrollo de aplicaciones multimodales
adaptativas aplicadas a CARS, con el fin de adaptar el CARS a un conjunto de interfaces o
vistas que presenten y combinen diferentes técnicas de presentación e interacción centradas en
el usuario, esta tesis evaluó técnicas de Interacción Humano-Computadora (IHC) y las adaptó
a un CARS.
La última de las etapas y la que concierne a esta tesis “Metodología para evaluación de CARS
centrada en el usuario, basada en características de efectividad, confianza y satisfacción
mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, con la que se
pretende evaluar tres aspectos que definirán la percepción del usuario ante el CARS,
realizando la investigación acerca de las mejores técnicas conocidas para evaluar aspectos
subjetivos y transformarlos en aspectos cuantificables para determinar el grado de satisfacción
logrado en el usuario, evaluando la conjunción de todas las etapas anteriores. Cabe mencionar
que las evaluaciones a sistemas de recomendación actuales caen en la valoración de los
algoritmos utilizados para la realización de recomendaciones y no en la percepción del
usuario, que al final del proceso es quien toma o no en cuenta la recomendación para su propio
beneficio.
4

1.2 Planteamiento del Problema
De acuerdo a la revisión de la literatura, los trabajos que se encargan de realizar la evaluación
de sistemas de recomendación (SR) se basan en dos paradigmas: evaluación centrada en el
algoritmo de recomendación y evaluación centrada en el usuario.
El paradigma predominante es el centrado en el algoritmo de recomendación, donde se supone
que a mayor eficiencia del algoritmo, mejor experiencia del usuario. Sin embargo, la
evaluación de la eficiencia del algoritmo sólo corresponde a una pequeña fracción de la
experiencia del usuario. Bajo este paradigma, no se contemplan características como la
confianza que el usuario tiene con respecto a una recomendación, la utilidad de la
recomendación, la satisfacción del usuario con el sistema, entre otras. De esta forma, se
presenta la falta de evaluación de la retroalimentación del usuario (Alejandres S., 2013)
Por ejemplo, en (Martin, 2009) Strands Inc. presenta una distribución del impacto de los
elementos de un SR (base de conocimiento, aplicación de procesamiento del conocimiento,
reglas de negocio e interfaz de usuario) sobre su rendimiento general y apreciación de utilidad
para el usuario. Inicialmente, el paradigma de evaluación centrado en algoritmos distribuye
equitativamente el porcentaje de impacto sobre cada componente (25% para cada aspecto).
Después de un análisis a lo largo de 9 años de desarrollo de productos, se concluye que esta
distribución de impacto debe modificarse. Como resultado, se obtiene que el componente con
mayor impacto es la interfaz de usuario, ya que de acuerdo a este estudio representa el 50% de
la experiencia del usuario sobre el SR, mientras que el algoritmo de recomendación
(aplicación de procesamiento de conocimiento) tan solo es relevante en un 5%.
Los trabajos basados en el paradigma centrado en el usuario, que se encargan de evaluar la
retroalimentación, representan la minoría en el campo de los SR (Knijnenburg, Willemsen,
Gantner, Soncu, & Newell, 2011). Dado que la mayoría de los SR que se utilizan hoy en día
pertenecen al dominio del comercio electrónico, los trabajos existentes bajo este paradigma se
enfocan en una sola característica de la experiencia del usuario: persuasión (Swearingen &
Sinha, 2002) y (Jones & Pu, 2007). Esto se debe a que, dada la naturaleza del SR de comercio
electrónico, es necesario persuadir al usuario para que regrese a comprar, observar, descargar
los productos que maneja el sistema con el fin de incrementar el beneficio económico. Sin
embargo, estos trabajos aún omiten el resto de los aspectos subjetivos de la experiencia del
usuario: confianza, satisfacción, efectividad, utilidad, escrutabilidad, eficacia y transparencia.
En este contexto, el problema del presente trabajo de investigación pretende solventar la falta
de evaluación en la retroalimentación del usuario mediante la creación de una metodología de
evaluación centrada en el usuario.
5

1.3 Objetivo
Desarrollar una metodología de evaluación basada en las mejores técnicas existentes,
adaptándolas para el caso de estudio Find-it!, estas técnicas serán analizadas y adaptadas
según las necesidades propias del estudio, determinando las mayormente funcionales y con
resultados exitosos, cabe mencionar que existe la posibilidad del desarrollo de nuevas técnicas
que permitan la obtención de resultados más precisos para fines de la investigación.
Al conocer que el CARS Find-it!, cuenta con distintas secciones, perfiles de usuario,
interfaces, algoritmos de recomendación y explicación, deberán ser evaluadas cada una de
estas intentando determinar, en caso de ser necesario, cuál de ellas es la que causa problemas y
reportarlo a los creadores del SRSC (Sistema de recomendación Sensible al Contexto) para ser
corregido y así finalmente tener un CARS de total agrado y ayuda para los usuarios finales.
1.4 Justificación
La literatura estudiada demuestra que las evaluaciones a Sistemas de Recomendación (SR)
centradas en el usuario se basan en una evaluación establecida en el criterio de persuasión y
principalmente o en su mayoría a SR destinados al comercio electrónico.
Dada la necesidad de evaluar el Sistema de Recomendación Sensible al Contexto (SRSC)
Find-it! elaborado dentro de CENIDET, este trabajo de investigación propone la creación de
una metodología para definir un modelo de evaluación centrada en el usuario, enfocada a las
características del SRSC Find'it! como lo son, las interfaces multimodales, la valoración del
contexto para realizar las recomendaciones y explicaciones, así como la recomendación de
ítems heterogéneos sobre los tres criterios definidos como efectividad, confianza y
satisfacción.
En lo que compete a esta “Metodología para evaluación de SRSC centrada en el usuario,
basada en características de efectividad, confianza y satisfacción mediante interfaces
multimodales sobre dispositivos móviles multisensoriales”, permite realizar una evaluación
tal, que arroje datos de información totalmente relevante para los desarrolladores del SR. Es
necesario mencionar que el SRSC consta de distintos tipos de usuario los cuales deben ser
caracterizados o contextualizados antes de realizar la evaluación, predefiniendo que aquellos
que compartan el mismo perfil de usuario compartirán también intenciones, necesidades,
intereses, entre otros, ante el uso del Find-it! y a pesar de ser usuarios distintos, existirán
aspectos en común entre ellos, al compartir ciertas características, logrando así que la
evaluación no se limite al estudio de un caso particular, si no que pueda hacer diferencia del
comportamiento según el Perfil de Usuario-SRSC.
El llevar a cabo una evaluación implementando la metodología propuesta, permite dar a
conocer a los creadores, programadores y diseñadores de los SR y SRSC aquellos puntos
6

débiles que afectan las expectativas de los usuarios durante su uso para así realizar las
modificaciones pertinentes y lograr que el sistema sea aceptado en un grado elevado por todos
los usuarios que lo utilicen e interactuén con el.
Al mencionar la baja de expectativas del usuario se hace referencia a la falta de efectividad,
confianza y/o satisfacción brindada hacia el mismo usuario por parte del uso del SRSC. Cabe
mencionar que este trabajo de investigación se basará totalmente en el enfoque centrado en el
usuario, para determinar si se cumplen estos tres elementos de usabilidad identificando cuáles
son de ayuda para el usuario final.
La creación de esta metodología permitirá definir la estructura de procedimientos que se
aplicarán para realizar la evaluación centrada en el usuario, así como el orden y conjunto de
herramientas e instrumentos que permitirán obtener información acerca de la experiencia
obtenida por cada usuario en la interacción entre el mundo real a través del dispositivo móvil
multisensorial y el conjunto de interfaces multimodales del SRSC.
Este trabajo de tesis pretende ir más allá de una evaluación convencional, que como ya se ha
mencionado se centran en función del algoritmo de recomendación utilizado, y enfrentarse a
las expectativas que tiene el usuario sobre el uso del sistema y las recomendaciones obtenidas
así como la experiencia del uso del sistema en un dispositivo móvil multisensorial.
1.1.1 ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados?
Particularmente la evaluación de los aspectos de efectividad, confianza y satisfacción han sido
elegidos debido al tipo de SRSC (Sistemas de Recomendación Sensibles al Contexto) que se
evaluarán con esta metodología y el enfoque que tiene la misma, ya que la literatura nos ha
presentado datos como que el componente más relevante es la interfaz de usuario, ya que de
acuerdo a (Martin, 2009)representa el 50% de la experiencia del usuario sobre el SR. Por otra
parte se ha detectado dentro de la mayor parte de la literatura que las evaluaciones realizadas
son enfocadas principalmente al estudio de la métrica de persuasión originado por la
naturaleza de los SR, que han sido aplicados a comercio electrónico; haciendo esto la
diferencia de lo que se quiere evaluar con la metodología propuesta y lo que es evaluado
actualmente.
Es por ello, que esta evaluación se enfoca a los tres criterios mencionados con anterioridad, los
cuales se encuentran directamente relacionados con la experiencia del usuario y arrojan
información relevante sobre cómo se ha sentido el usuario al interactuar con el SRSC y cuáles
son los aspectos que habrá que mejorar y tomar en cuenta para la creación de los mismos. Por
otra parte, la literatura se enfoca generalmente a la evaluación de cada aspecto de manera
individual, y para este estudio se tomaron en cuenta los tres criterios en forma conjunta.
7

Cabe mencionar que para realizar las pruebas a este trabajo se evaluó un SRSC (Sistema de
Recomendación Sensible al Contexto) llamado Find-it!, para poder realizar las mejoras
necesarias y que éste tenga el grado de usabilidad necesario para sus usuarios, manteniendo el
proceso de mejora continua de su servicio.
1.5 Beneficios
Los beneficios que se pretenden lograr con esta tesis son los siguientes. Enfocar la evaluación
totalmente a la experiencia del usuario, dándole la importancia que realmente requiere. Como
es sabido, los SR son creados para la interacción de los usuarios, brindándoles ayuda en la
toma de decisiones, más no para complicar el entendimiento del uso del sistema generando
una pérdida de tiempo en el usuario sin obtener buenos resultados. Al evaluar aquellos
aspectos que pueden generar frustración en los usuarios durante la interacción con las
interfaces del sistema en etapas tempranas del desarrollo del mismo, se puede prevenir la
existencia de insatisfacción en el usuario, que el sistema no brinde la confianza requerida para
regresar a su uso y la percepcion de inefectividad, situaciones muy comunes en el uso de
sistemas computacionales actuales, ya que no es suficiente evaluar el sistema desde el punto
de vista del programador debido a que la mayoría de las veces solo se siguen requerimientos
técnicos y no de uso real del usuario final.
La creación de la metodología propuesta se ha realizado partir de la investigación previa
relacionada a los Frameworks que existen para evaluaciones de SRSC, lo cual proporcionó
sensatez y fundamentos para el inicio de este trabajo, intentando mejorar lo ya existente. Por
otra parte, la metodología se desarrolló para el caso de estudio del SRSC Find-it!, pero
adaptable a otros Sistemas de Recomendación Sensibles al Contexto y a otro tipo de sistemas,
sin sufrir de adaptaciones complejas. Como ejemplo se puede observar la Figura 1-1 que
muestra el Framework para la evaluación centrada en el usuario de sistemas de recomendación
propuesta en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011)
Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P.
Knijnenburg et al.
8

1.6 Estructura del Documento
El presente documento se encuentra organizado en siete capítulos, los cuales describen el
trabajo de investigación en sus diversas etapas como se indica a continuación:
En el capítulo II: Fundamento Teórico, se abordan los temas relevantes para la presente
investigación.
En el capítulo III: Estado del Arte, se presenta la información obtenida de la investigación
sobre los enfoques actuales en la existencia de técnicas de evaluación centradas en el usuario.
En el capítulo IV: Metodología para evaluación de SRSC centrada en el usuario, basada en
características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre
dispositivos móviles multisensoriales
En el capítulo V: Implementación de la Metodología para evaluación de SRSC centrada en el
usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces
multimodales sobre dispositivos móviles multisensoriales, tomando como base las fases
presentados en el capítulo anterior.
En el capítulo VI: Pruebas y Resultados, se muestran las pruebas realizadas y los resultados
obtenidos. Con la finalidad de brindar resultados confiables, se realizaron pruebas con la
metodología definida al SRSC Find-it!.
Finalmente en el capítulo VII, se presentan las conclusiones, se identifican las contribuciones
realizadas y los trabajos futuros de la presente investigación.
9

CAPÍTULO II
Fundamento teórico

Capítulo II. Fundamento teórico
2 Fundamento Teórico
Buscando la elaboración de la metodología que nos permita realizar evaluaciones centradas
en el usuario de CARS, se han estudiado distintas técnicas que ayudan a obtener
información referente a la percepción del usuario durante la interacción con el sistema.
Se ha encontrado información basada en el comportamiento del usuario ante el modelo de
presentación de las recomendaciones en un sistema de recomendación (SR), en el trabajo de
(Chen & Tsoi, Users’ Decision Behavior in Recommender Interfaces: Impact of Layout
Design, 2011), se realizó un estudio relacionado a las decisiones tomadas por los usuarios
dentro de un sistema de recomendación influenciadas por el tipo de interfaces en que las
recomendaciones son mostradas.
En el trabajo de (Alva Obeso, 2005), se realizó una evaluación centrada en el usuario a
sistemas web, con ayuda de instrumentos, como lo son los cuestionarios SUMI, WAMMI y
QUIS, que serán retomados y adaptados para el propósito de nuestra investigación.
En la búsqueda del estado del arte sobre evaluaciones a sistemas de recomendación nos
hemos encontrado con distintos especialistas en el tema, en (Knijnenburg, Willemsen,
Gantner, Soncu, & Newell, 2011) se propone un framework para realizar evaluaciones
centradas en el usuario de sistemas de recomendación, donde expone los 4 pasos
principales para realizar evaluaciones centradas en el usuario de sistemas de
recomendación.
• Decidir que se evaluará, después asignar aleatoriamente las condiciones a los
11
usuarios.
• Durante la interacción, registrar el comportamiento del usuario.
• Después de la interacción, preguntar a los usuarios acerca de su experiencia.
• Analizar los datos obtenidos para conocer la influencia de los aspectos del sistema
en la experiencia del usuario.
Por otra parte, se ha encontrado que en la actualidad es difícil de evaluar la usabilidad en
dispositivos móviles por las características específicas que estos conllevan, como lo son el
tamaño y resolución de la pantalla, la movilidad para la cual han sido creados, la cantidad y
tipo de sensores que puedan incluir estos dispositivos.
Se han realizado pocos estudios en usabilidad móvil hasta el momento (Cuadrat Seix, 2012)
en “Estudio sobre evaluación de la usabilidad móvil y propuesta de un método para tests de
usabilidad cuantitativos basado en técnicas de eye-tracking” presenta soluciones durante la
aplicación de evaluaciones en dispositivos móviles utilizando una computadora de
escritorio como medio para mostrar la interfaz del dispositivo móvil.

Para la elaboración de nuestra metodología se han encontrado distintos instrumentos y
técnicas que nos permitirán conocer y obtener datos con cada uno de ellos, sobre la
evaluación del CARS Find-it!.
También se ha concluido que cada una de las técnicas debe ser establecida en un tipo de
test específico: controlado, en campo o remoto (Cuadrat Seix, 2012), es decir existen
distintas etapas durante la evaluación de un sistema computacional ejecutado en
dispositivos móviles, de los cuales se obtendrán distintos tipos de datos, formativos o
sumativos.
2.1 Definición de Características a Evaluar
Partiendo de la definición de usabilidad por el ISO/IEC 9241, se define Usabilidad como la
efectividad, eficiencia y satisfacción con la que un producto permite alcanzar objetivos
específicos a usuarios específicos en un contexto de uso específico" citado en (Rodríguez,
2008), a continuación se definirán los conceptos a evaluar dentro del desarrollo de esta
tesis.
En lo que refiere a la Efectividad se define como la precisión y la plenitud con las que los
usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en la
medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la
disposición del sistema para recordar las funcionalidades y los procedimientos.
Para definir Confianza retomaremos las reglas de oro de usabilidad (UNIVERSIDAD
AUTONOMA DE CIUDAD JUAREZ, 2011), donde se menciona que “la confianza es
algo que cuesta mucho ganar y se pierde con un mal enlace”. Lo anterior se explica
definiendo que no es posible perder ni un solo usuario debido a que algún componente del
SR no se encuentre correctamente definido. Es mejor comenzar con componentes sencillos
e irlos complicando poco a poco, que especular en que pudiera suceder. También se hace
mención de que versiones 1.0 son buenas mientras lo que sea propuesto esté bien asentado
y genere confianza. Poco a poco y con el feedback de los usuarios, se podrá ir mejorando.
Se menciona que es mejor asegurar el buen funcionamiento antes de arriesgar a una mala
experiencia en el usuario.
Con respecto a la Satisfacción debemos definir que este aspecto es de clase subjetiva, ya
que se refiere a la opinión que tiene el usuario acerca del uso del sistema, es decir, las
reacciones y sentimientos que en la manipulación del mismo puedan generarse.
2.2 Tipos de Test
Existen algunas variantes en los test de usabilidad, los test de usabilidad controlados, los
test remotos y los test en campo. Los test remotos y los test en campo pueden considerarse
una especialización de los test de usabilidad.
12

A continuación se describe cada uno de los tipos de test aplicables a evaluaciones en un
dispositivo móvil.
2.3 Test de Evaluación Controlada
Este tipo de test se aplica en ambientes controlados y/o dentro de laboratorios, ofrecen la
posibilidad de obtener datos tanto cualitativos como cuantitativos. Pero no permiten evaluar
la usabilidad en un contexto real de uso del dispositivo móvil.
2.4 Test de Evaluación en Campo
En (Cuadrat Seix, 2012) se menciona que la mayoría de las investigaciones realizadas en el
tema llegan a la conclusión de que casi en todos los casos de la aplicación de los test en
campo se obtienen únicamente datos cualitativos.
También, se concluye que existen problemas directamente relacionados con el dispositivo
utilizado, como por ejemplo, falta de visibilidad de la pantalla debido a la exposición a la
luz natural o la dificultad de poder manejar con una sola mano el dispositivo.
2.5 Test de Evaluación Remota
Este tipo de test es considerado buenos para conocer la satisfacción y las dificultades de uso
por parte del usuario final. Evitan la sensación de ser observados teniendo la libertad de
desenvolverse en el uso del sistema, ya que en la mayoría de estos test el observador no se
encuentra presente.
2.6 Tipos de Técnicas e Instrumentos
A continuación se describen las diferencias entre las técnicas analizadas así como a qué tipo
de evaluación corresponden, formativa o sumativa.
En (Paramythis, Weibelzahl, & Masthoff, 2010) se define el objetivo de la evaluación
formativa como el identificar las deficiencias o errores en un sistema con el fin de
mejorarlo y también como medio de orientación en el diseño y desarrollo del sistema. Por
otra parte, la evaluación sumativa tiene como objetivo determinar el valor o el impacto de
un sistema.
La evaluación formativa va mano a mano con el principio de HCI, con la participación de
los usuarios tan pronto como sea posible en el proceso de diseño, y es vital para descubrir
qué y cómo mejorar un sistema interactivo. En la siguiente sección se muestra una breve
descripción de las técnicas estudiadas.
13

2.7 Técnicas de Evaluación Formativa
2.7.1 Técnica de Evaluación Heurística
En (Nielsen & Molich, Heuristic Evaluation of User Interfaces, 1990) se describe la
evaluación Heurística como un método informal para realizar análisis de usabilidad, donde
una serie de evaluadores visualizan una serie de interfaces diseñadas y se les pide comentar
acerca de ellas.
La evaluación Heurística se basa en observar la interfaz y comentar acerca de los aspectos
buenos y malos encontrados en ella, estos comentarios son acordes a la existencia de las 10
reglas de usabilidad diseñadas por Jakob Nielsen en (Nielsen, 10 Heuristics for User
Interface Design: Article by Jakob Nielsen, 1995), estos aspectos encontrados deben ser
reportados dentro de un formato conocido como Usability Aspect Report (UAR).
Instrumentos Necesarios para Realizar una Evaluación Heurística
Dentro de la investigación realizada se encontró un formato utilizado para reportar los
problemas identificados en una evaluación heurística.
El usability aspect report (UAR) es un documento donde son descritos los aspectos buenos
y malos encontrados en la evaluación Heurística, basados en el conocimiento de la
Heurística de usabilidad de Jakob Nielsen, los expertos observan las interfaces y
determinan si la interfaz cumple con la heurística, si encuentras aspectos buenos deben
describir cuáles son y porqué son buenos y deben permanecer, en caso contrario además de
explicar cuáles son los aspectos que no cumplen la heurística, en qué escala y cómo el
diseñador o desarrollador pudiera resolverlos (Myers & Jhon).
2.7.2 Técnica de Think-Aloud o Pensando en voz alta
Esta técnica es usada para obtener datos para una evaluación formativa, Jakob Nielsen
menciona que el Thinking-Aloud es la herramienta #1 dentro de la evaluación de
usabilidad.
Esta técnica se describe en (Nielsen, Usability Engineering, 1993) como “En un test de
think-aloud se pide al usuario que utilice el sistema mientras habla en voz alta
continuamente, esto es, simple verbalización de sus pensamientos mientras navega por la
interfaz del sistema”.
Instrumentos Necesarios para Realizar una Evaluación Think-Aloud
Para el caso del reporte de Think-Aloud los aspectos descritos son comentados dentro del
formato UAR; la diferencia reside en que se debe identificar al formato con las iniciales
“TA” mientras que para la evaluación Heurística debe ser con “HE”.
14

Para esta técnica dentro del reporte UAR son descritos los aspectos encontrados dentro de
los comentarios de los usuarios mientras se ha dado la interacción con el sistema durante la
evaluación.
2.7.3 Técnica de Cognitive Walkthrough
El Cognitive Walkthrough o recorrido cognitivo ha sido desarrollado como una técnica
adicional dentro la ingeniería de usabilidad, esto con el fin de dar al equipo de evaluación la
oportunidad de evaluar mockups (“bocetos”) en etapas tempranas y de diseño rápido. Para
esta técnica no se requiere un prototipo funcional por lo tanto ayuda a identificar problemas
ligados con la interacción con el sistema (Rieman, Franzke, & Redmiles, 1995).
En (Jacobsen & John, 2000) es mencionado que el Cognitive Walkthrough consiste en dos
fases: Preparación y Ejecución.
Dentro de la etapa de preparación el analista debe seleccionar las tareas que serán usadas
durante la evaluación, así como definir el conocimiento, experiencia y habilidades que se
espera que tenga el usuario que desarrollará la tarea. Para cada tarea se debe especificar la
forma correcta de realizar la tarea y el feedback que brinda el sistema tras realizar la tarea.
En la etapa de ejecución el evaluador debe examinar de manera cercana la secuencia de
desarrollo de la tarea y contestar las 4 preguntas siguientes:
• ¿El usuario trató de lograr el efecto deseado?
• ¿El usuario notó que la acción se encontraba disponible?
• ¿El usuario asoció correctamente la acción con el efecto que intentaba obtener?
• Si se realiza la acción correcta, ¿el usuario puede ver que se está avanzando hacia la
solución de la tarea? (Wharton et al., 1994, p. 112)
Instrumentos Necesarios para Realizar una Evaluación Cognitive Walkthrough
El instrumento para esta técnica es un reporte a base de 4 preguntas que deben ser
respondidas con un “Si” o un “No” y de la descripción de lo sucedido, ya sea un caso de
éxito o sucedido durante la interacción usuario-interface al intentar realizar la tarea
solicitada.
Cuando todas las preguntas han sido respondidas con historias de éxito, se considera que el
usuario no tuvo ninguna dificultad para completar las acciones o tareas indicadas. Por otro
lado, si para cualquiera de las preguntas la respuesta del evaluador es negativa, además de
una descripción de la etapa de fracaso al intentar realizar la tarea, es razón para indicar que
un problema ha sido identificado (Jacobsen & John, 2000).
15

2.7.4 Técnica de Entrevistas
En el libro “Usability Engineering” de Jakob Nielsen (Nielsen, Usability Engineering,
1993), se dice que las entrevistas son usadas correctamente para estudios exploratorios
donde aún no se sabe qué es lo que se busca.
Las entrevistas son desarrolladas de forma tal que el entrevistador lee las preguntas al
entrevistado, el entrevistado responde las preguntas y el entrevistador registra las
respuestas.
Nielsen menciona que las entrevistas tienen la ventaja de ser flexibles, debido a que el
entrevistador puede explicar las preguntas difíciles que no han sido entendidas o que han
generado dudas en el entrevistado, por otra parte, la entrevista puede ser adaptada según la
situación que se está desarrollando.
Las entrevistas incluyen muchas preguntas abiertas y cerradas donde los usuarios son
animados a explicar a profundidad sus respuestas.
Con las preguntas abiertas es recomendable pedirle al usuario los incidentes existentes en el
uso del sistema (Nielsen, Usability Engineering, 1993).
Por otra parte, Nielsen dice “Para diseñar una interfaz fácil de usar, se debe prestar atención
a lo que los usuarios hacen, no a lo que los usuarios dicen. Los reportes previos al uso no
son confiables, ya que el usuario comienza a especular en las acciones que se pueden
realizar durante la interacción.”, entonces ¿Cuándo es preferible recolectar datos brindados
por el usuario?, la respuesta es que sólo después de que el usuario haya usado el diseño y
después haber tenido una experiencia real que dé fundamento a sus comentarios (Nielsen,
First Rule of Usability? Don't Listen to Users, 2001).
Instrumentos Necesarios para Realizar una Evaluación de Entrevistas
Para esta técnica son necesarios los formatos con las preguntas a realizar que se aplicarán a
los usuarios durante la entrevista.
Es importante definir que es lo que se quiere obtener realmente de la experiencia del
usuario a través de las entrevistas; las preguntas deben ser escritas en una forma simple, de
tal manera que el usuario las comprenda.
Por ninguna razón se debe intentar influir en las respuestas del usuario, esto solo afectará
los resultados finales.
16

2.8 Técnicas de Evaluación Sumativa
2.8.1 Técnica de Cuestionarios
Dentro de los cuestionarios existen preguntas de tipo abierto en donde los usuarios son
invitados a responder con sus propias palabras, pero a menudo los usuarios no se molestan
en hacerlo.
Por lo tanto, los cuestionarios son basados, en gran medida, en preguntas cerradas, donde
los usuarios tienen que suministrar un solo hecho (como el número de horas trabajadas con
el sistema a la semana), algunas listas de verificación (como indicación de los tipos de
tareas que cada usuario realiza con el sistema) o el expresar su opinión en una escala de
calificación.
Las escalas de calificación, conocidas como escalas Likert, son normalmente usadas para
preguntar a los usuarios qué tanto les gustan algunos aspectos del sistema o qué tan usables
encuentran las distintas características del sistema (Nielsen, Usability Engineering, 1993).
Es importante destacar que para esta técnica es necesario determinar qué preguntas son
realmente relevantes y en qué grado las respuestas harán una diferencia en el desarrollo del
proyecto.
Instrumentos Necesarios para Realizar una Evaluación Basada en Cuestionarios
Los instrumentos que esta técnica ocupa, son cuestionarios para solicitar a los usuarios sus
respuestas con relación a la experiencia que tuvieron en el uso o interacción con el sistema.
Dentro de [ (Chin, Diehl, & Norman, 1988) citado en (Nielsen, Usability Engineering,
1993)] se hace mención de que los cuestionarios para la medición de la satisfacción del
usuario “pueden ser muy sofisticados, tal es el caso del método QUIS (Questionnaire for
User Interface Satisfaction)”, también se hace mención de la importancia de determinar las
preguntas que realmente sean relevantes para el estudio de experiencia del usuario. Para
que los cuestionarios puedan arrojar datos estadísticos, las preguntas deben ser de tipo
cerrado, es decir, brindando una serie de opciones posibles donde únicamente se elija una
de ellas; para evaluar estas respuestas es necesario solicitar al usuario que responda con
ayuda de alguna escala Likert de 5, 7 o 10 valores. Estas escalas son determinadas con
valores como los ejemplos presentados en la Figura 2-1:
Figura 2-1 Ejemplos de escalas Likert
17

Cabe mencionar que en la actualidad existen algunos cuestionarios elaborados para realizar
evaluaciones centradas en el usuario con el fin de determinar la satisfacción de los usuarios
en el uso de sistemas computacionales. Los cuestionarios que se han tomado en cuenta
dentro de este trabajo son SUMI, WAMMI y QUIS.
A continuación se describen brevemente cada uno de los cuestionarios mencionados.
2.8.1.1 Cuestionario SUMI
El cuestionario SUMI es un cuestionario pre-elaborado utilizado para medir la satisfacción
y valorar la percepción del usuario de la calidad del software. Este cuestionario esta
realizado tomando en cuenta los estándares ISO 9241-10 dialogue principles y el ISO 9126
Software product evaluation (Kirakowski).
2.8.1.2 Cuestionario QUIS
El QUIS es un cuestionario cuyo objetivo es medir el grado de satisfacción de los usuarios
en relación con la usabilidad de sistemas informáticos. Trata de obtener información acerca
de la percepción que los usuarios tienen de la usabilidad de la interfaz (Human-Computer
Interaction Lab (HCIL) at the University of Maryland at College Park).
2.8.1.3 Cuestionario WAMMI
WAMMI significa Website Analysis and Measurement Inventory (Análisis de Sitio Web e
Inventario de medición). Se basa en la experiencia adquirida en la evaluación de software
para los estándares de usabilidad y software internacional. (Claridge & Kirakowski)
Para ayudar a lograr sus objetivos, WAMMI:
• Mide la experiencia web del usuario en función de las reacciones de los visitantes.
• Los puntos de referencia de su sitio web con respecto a otros sitios web en nuestra
base de datos estandarizada internacional.
• Genera datos objetivos para su gestión en un informe digital de fácil lectura.
• Los análisis cualitativos comentarios y reacciones hacia su página web los
18
visitantes.
• Interpreta los datos cuantitativos y cualitativos para determinar lo que debe mejorar
y cuánto invertir.
2.9 Sistemas de Recomendación
Los sistemas de recomendación (SR) son herramientas de software que proveen un
mecanismo útil para sugerir ítems que son de interés para el usuario (Burke, Hybrid web
recommender systems, 2007) (Mahmood & Ricci, 2009) (Resnik & Varian, 1997). Estas
recomendaciones se relacionan con varios procesos para la toma de decisiones como: ¿qué
ítems comprar?, ¿qué música escuchar? o ¿qué noticias leer? Ítem, es el termino general
utilizado para nombrar los elementos que el sistema recomienda al usuario.

Generalmente, un SR se enfoca a un determinado tipo de ítem (música, películas, noticias,
etc.) y, de acuerdo al diseño del mismo, la interfaz de usuario y la técnica de
recomendación utilizada para la emisión de recomendaciones se personalizan para ofrecer
recomendaciones útiles y efectivas para cada tipo de ítem.
En (Rodríguez Maldonado, 2014) se menciona que las recomendaciones se ofrecen
normalmente como una lista ordenada de ítems, también conocida como ranking. Cada ítem
dentro de la lista obtiene una valoración o rating de acuerdo a la técnica utilizada por el
recomendador. La asignación del rating es un proceso en el cual el SR trata de predecir
cuales son los elementos más adecuados con base en las preferencias y restricciones del
usuario. Con este fin, el SR recolecta las preferencias de los usuarios de manera explícita,
como valoraciones de productos, o implícita, mediante el análisis de las acciones del
usuario. Por ejemplo, un SR puede considerar el tiempo que un usuario permanece
visualizando la descripción de un ítem, interpretando este tiempo como una señal implícita
de preferencia o rechazo hacia el ítem descrito.
Los SR son subconjunto de los sistemas expertos, por lo que heredan sus características y
componentes básicos. De esta forma, un SR se compone de cinco elementos:
• Base de conocimientos (Knowledge base): Conocimiento extraído del diálogo con
19
un experto.
• Base de hechos: Información explícita sobre una entidad o problema que se ha
descubierto durante el análisis.
• Motor de inferencia: Modela el proceso de razonamiento humano.
• Módulos de argumentación: Explica el razonamiento utilizado por el sistema para
llegar a una determinada conclusión.
• Interfaz de usuario: Interacción entre el SR y el usuario.
2.10 Sistemas de Recomendación Sensibles al Contexto (SRSC)
Dentro de (Galán M., 2014) se menciona que los sistemas de recomendación semánticos
basan su proceso de recomendación sobre una base de hechos, normalmente definida a
través de un esquema de conceptos (como una taxonomía o un tesauro) o una ontología, y
además, para ser considerados como adaptables al contexto, este tipo de sistemas deben
tomar en consideración diferentes factores (temporales, de lugar, nivel de experiencia del
usuario, dispositivo que se está utilizando en el momento de recibir la recomendación, etc.)
para inferir el contexto en que se encuentra el usuario y adaptar las recomendaciones a esas
circunstancias, facilitando el acceso de los usuarios a la información que necesitan (Peis,
Morales del Catillo, & Delgado Lopez, 2008).
Para realizar este proceso de inferencia, las técnicas utilizadas por los SRSC usan lo que en
(Burke, «Hybrid Recommender Systems: Survey and Experiments,» User Modeling and
User-Adapted Interaction, 2002) se considera conocimiento funcional, es decir, se tiene

conocimiento acerca de cómo un elemento en particular responde a una necesidad
particular del usuario, y por lo tanto, se puede razonar sobre la relación entre una necesidad
y una posible recomendación.
En un sistema de recomendación, el contexto del usuario puede tomar diversas acepciones
como la localización del usuario, identidad de las personas y objetos alrededor del usuario
(Theimer & Schilit, 1994), fecha, estación del año, temperatura (Brown, Bovey, & Chen,
1997), información que puede caracterizar la interacción entre un usuario y una aplicación
(Dey, Abowd, & Salber, 2001) o bien el nivel de experiencia del usuario, dispositivos
utilizados y sus características (Peis, Morales del Catillo, & Delgado Lopez, 2008).
En un sistema de recomendación la información que puede obtenerse de las acciones del
usuario puede ser explícita o implícita. La información explicita hace referencia a la
información que el usuario proporciona de forma directa como votar o contestar una
pregunta y la información implícita es aquella que se obtiene del usuario de forma indirecta
a través de la interacción del usuario con un objeto (Ferran & Minguillon, 2005), por
ejemplo, cuando el usuario visita una página el SR puede obtener información sobre qué
ítems o enlaces ha visitado y cuáles no, durante cuánto tiempo, además de que puede
comparar esa información con el resto de la información obtenida de los diferentes
usuarios. Por otra parte, considerando la información contextual se puede obtener
información adicional como la disponibilidad de algún ítem con respecto al horario, los
ítems a recomendar dependiendo al tipo de usuario, etc.
La inclusión del contexto permite mejorar la calidad de las recomendaciones entregadas al
usuario (Adomavicius & Tuzhilin, 2011) ya que se realiza una ponderación del contexto
específico en el cual, se encuentra inmerso el usuario y a partir de la información contextual
es posible descubrir información implícita no contenida en un perfil de usuario.
20

Capítulo III. Trabajos relacionados
3 Estado del Arte
La recopilación de los trabajos documentados para el desarrollo de la tesis: “Metodología
para evaluación de SRSC centrada en el usuario, basada en características de
efectividad, confianza y satisfacción mediante interfaces multimodales sobre
dispositivos móviles multisensoriales”, se ha basado a partir de la investigación de
técnicas para realizar interfaces para la presentación de ítems recomendados dentro de un
Sistema de Recomendación (SR), esto con el fin de obtener el conocimiento de las mejores
técnicas existentes para presentar la información. Una vez teniendo como base el
conocimiento obtenido es posible observar las interfaces de usuario e interactuar con el SR
por primera ocasión para fines de este trabajo intentando predecir los resultados que se
obtendrán sobre las ventajas o deficiencias del diseño establecido dentro del SRSC a
evaluar y sobre qué fortalezas del diseño será necesario recomendar que no se aplique
ningún cambio.
3.1 Características a Evaluar: Efectividad, Confianza y Satisfacción
Resumen
Dentro de (Barros, 2008), Efectividad se define como la precisión y la plenitud con las que
los usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en
la medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la
disposición del sistema para recordar las funcionalidades y los procedimientos.
Para definir Confianza, en (Corritore, Kracher, & Wiedenbeck, 2003) se identifican tres
factores perceptivos que repercuten en la Confianza del usuario en los sistemas On-line: la
percepción de la credibilidad, la facilidad de uso y el riesgo. También se menciona que la
confianza On-line puede surgir en numerosas relaciones fideicomitente / fideicomisario.
Sin embargo, no es obvio que todas las formas de relaciones de confianza en línea se puede
entender a través de una definición. Por lo tanto, restringen la definición de la confianza
On-line a una forma de relación, es decir, la confianza que se produce por una persona
individual hacia un sitio web transaccional o informativo específico.
En (Barros, 2008) se hace mención de que por satisfacción, siendo esta un factor de
naturaleza subjetivo, se entiende la ausencia de incomodidad y la actitud positiva en el uso
del producto, se valoriza el concepto de calidad en el uso en tanto que se refiere a cómo el
usuario realiza tareas específicas en escenarios específicos con efectividad.
22
Similitud
De estos trabajos han sido tomadas las definiciones de cada una de las características que se
han de tomar en cuenta durante la aplicación de la evaluacion. En la sección 1.4.1 se define
la razón por la cual se han elegido estas tres características para realizar la evaluación.

3.2 A Cross-Cultural User Evaluation of Product Recommender
Interfaces (Pu L. C., 2008)
23
Resumen
Este documento plasma un estudio realizado para determinar si la diferencia cultural de las
personas puede influir en cómo perciben los usuarios al sistema, proponiendo 2 tipos de
presentación de ítems, organizado y en lista, así como qué tanto es de su agrado.
Esta publicación habla sobre sistemas de recomendación de e-commerce y principalmente
evalúa cómo reaccionan los usuarios sobre la muestra de recomendaciones.
Al final del trabajo se concluye que la presentación de ítems no causa diferencia de acuerdo
a los aspectos culturales.
Similitud
Este trabajo se ha tomado en cuenta para conocer que tipo de aspectos es necesario evaluar,
así como para intentar predecir la reacción de los usuarios en cuanto a los diferentes
perfiles existentes dentro del sistema Find-it!. Por medio de este trabajo, se pudo conocer
que este tipo de organización de ítems no causa mayor impacto nos cuestionamos si influye
de la misma manera dentro de Find-it!, ya que los ítems mostrados son de tipo heterogéneo,
es decir, no son de la misma clase, se recomiendan ítems del tipo persona, objetos de
conocimiento, edificios, puntos de interés, actividades, etc. lo que pudiera modificar
totalmente la conclusión del trabajo previo y por lo cual consideraremos estos aspectos
utilizando una clasificación de usuarios similar a la de la publicación.
3.3 Users’ Eye Gaze Pattern in Organization-based Recommender
Interfaces (Pu, Chen, & Pearl, 2011)
Resumen
En este trabajo se presenta un análisis acerca del patrón visual de los usuarios dentro de los
sistemas de recomendación, el estudio se realizó en 3 diferentes tipos de organización de
ítems recomendados, LIST, ORG-V y ORG-Q. También muestra un estudio Hotspot sobre
los 3 tipos de organización con el fin de descubrir desde cuál de ellas el campo visual del
usuario es más amplio pudiendo visualizar mayor cantidad de ítems recomendados.
Similitud
Este trabajo es tomado como referencia al igual que el artículo “A Cross-Cultural User
Evaluation of Product Recommender Interfaces”, para conocer aspectos relacionados con la
posible reacción de los usuarios y para extraer criterios de evaluación que pudieran afectar
la experiencia del usuario al usar el sistema de recomendación Find-it!. Por otra parte, cabe
mencionar que esta tesis se desarrolló a la par de la tesis “Interfaz Multimodal para
Dispositivos Móviles Multisensoriales aplicada en Sistemas de Recomendación Semánticos

Sensibles al Contexto”, donde se desarrollaron las interfaces de usuario para el SRSC en
cuestión, por tal motivo este tipo de artículos ayudaron en las dos tesis para comprender las
necesidades visuales del usuario e intentar predecir la reacción del usuario.
3.4 Users’ Decision Behavior in Recommender Interfaces: Impact of
Layout Design (Tsoi, 2011)
24
Resumen
En este artículo se realizó un estudio sobre la influencia de la interfaz en el comportamiento
de decisión de los usuarios dentro del sistema de recomendación. Dicho análisis se realizó
con respecto a 3 tipos de presentaciones visuales de los ítems mostrados, estas formas son
list, grid y pie, Figura 3-1.
Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se refiere a la posición de una
recomendación) (Tsoi, 2011).
Dentro del documento de (Tsoi, 2011) se concluye que el usuario interactúa de manera más
amplia con el sistema al mostrarse los ítems en forma de pie (Figura 3-1 c.Pie), a diferencia
de La forma de List y Grid (Figura 3-1 a.List y b.Grid).
Similitud
Para esta tesis el documento al igual que los dos antes mencionados dentro del estado del
arte, proporcionan idea de la reacción del usuario ante distintas técnicas visuales.
Con este tipo de artículos se pretende adaptar la evaluación a la efectividad, confianza y
satisfacción del usuario con respecto a las interfaces mostradas en el sistema.

3.5 Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un
Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking
25
(Seix, 2012)
Resumen
En este artículo se presentan los resultados de la investigación de evaluación de sistemas
dentro de dispositivos móviles, en particular con la técnica eye-tracking. En este trabajo se
describen algunos problemas existentes en el uso de dispositivos móviles como lo son la
conectividad, el tamaño de pantalla, el brillo de pantalla en contraste con la luz natural,
entre otros, lo cual genera problemas para realizar una evaluación con estos dispositivos.
Por otra parte, hace mención del tipo de test aplicables y en qué situaciones existe la
posibilidad de ser aplicados. Además de la técnica para realizar la evaluación descrita en
este trabajo, hacen mención de otras maneras en que los expertos han intentado llevar a
cabo este tipo de evaluaciones, cabe mencionar que todas las técnicas mencionadas son a
través de computadoras de escritorio simulando el dispositivo móvil.
También se hace mención de algunos dispositivos mecánicos para adaptar al dispositivo
móvil una serie de cámaras que permitan filmar el rostro del usuario y la interacción dentro
del dispositivo.
Similitud
En esta tesis se desarrolló una metodología de evaluación centrada en el usuario aplicada
sobre dispositivos móviles, hay coincidencias con algunos de los puntos mencionados en
este trabajo, como el hecho de ciertas limitantes existentes al realizar la evaluación en
campo y no en un ambiente controlado.
Por otro lado, retomamos la definición del tipo de test aplicables (Controlado, Remoto y en
Campo). Concluimos que la forma en la que es resuelto el problema dentro de este estudio
no compensa una evaluación en campo con usuarios reales; es por ello que en esta tesis a
diferencia de este trabajo, se propone el uso de dispositivos externos, que permitan capturar
información durante la interacción usuario-interfaz por medio de la grabación de video y
análisis del mismo.
Aunque se considera esfuerzo extra, tanto económico como el tipo de análisis posterior a la
captura del video, consideramos que es necesario afrontarlo ya que lo que se busca es
realizar una evaluación “centrada en el usuario” donde es necesario conocer la percepción
del usuario en un uso del Sistema de Recomendación analizado, y la dependencia del
“contexto” para la generación de recomendaciones y funcionamiento del sistema. Es por
ello que se descarta llevar a cabo la evaluación como es propuesta dentro de este trabajo.

3.6 Arquitectura para la Evaluación de la Usabilidad de Interfaces
Multimodales (Hernández, 2005)
26
Resumen
Este trabajo describe la arquitectura diseñada para realizar evaluaciones a interfaces
multimodales. Presenta los beneficios que las interfaces multimodales puedan brindar al
sistema que las implementa y cómo este tipo de interfaces son divididas en los tres niveles
de gestión de la interacción, de dificultad creciente según el consorcio W3C:
• Multimodalidad secuencial: en cada interacción solo es posible un modo.
• Multimodalidad simultánea no-coordinada: contempla la activación de más de una
modalidad por interacción pero con un procesado independiente de las mismas.
• Multimodalidad simultánea coordinada: ésta contempla la activación simultánea de
varios modos y un procesado complementario de la información provenientes de
estos modos.
También menciona la ayuda que puede ser brindada por parte de la multimodalilad en la
recuperación de errores como:
• Los usuarios seleccionan el modo o modos de interacción que juzgan más robustos
para sus características o entornos de operación.
• Como resultado de lo anterior los usuarios hacen uso de un lenguaje de interacción
más simple.
• Los usuarios tienden a cambiar de modalidad ante la presencia de errores.
• El grado de frustración frente a errores es inferior en interfaces multimodales que en
unimodales incluso para niveles de precisión iguales.
En relación con la colecta de datos para estudios de evaluación, se hace mención del uso de
escalas Likert de 7 valores para ser calificadas por parte de los usuarios realizando
preguntas relacionadas con el uso de las interfaces multimodales y el uso del método de
Test exactos de Fisher4.
Similitud
En relación a esta tesis de evaluación el documento nos ha ayudado a definir las interfaces
multimodales, dejando abierta la posibilidad de incluir un cuestionario en relación a la
percepción a este tipo de interfaces.
4"El"test"exacto"de"Fisher"permite"analizar"si"dos"variables"dicotómicas"están"asociadas"cuando"la"muestra"a"
estudiar"es"demasiado"pequeña"y"no"se"cumplen"las"condiciones"necesarias"para"que"la"aplicación"del"test"χ2"
sea"adecuada"(Pértega Díaz & Pita Fernández)"

3.7 User Evaluation Framework of Recommender Systems (Chen &
Pu, 2010)
27
Resumen
En este documento se realiza la exploración de la evaluación de sistemas de
recomendación.
Dentro de este estudio se propone un framework para la evaluación de sistemas de
recomendación basado en la medición de características como: precisión de las
recomendaciones, esfuerzo cognitivo aplicado por el usuario y confianza percibida.
Dentro de este documento se hace mención de los cuestionarios que se desarrollaron para la
medición de estas características en su framework.
Similitud
De este documento hemos retomado algunas de las preguntas aplicadas en relación con el
esfuerzo cognitivo aplicado por el usuario. En la tabla 3-1 se muestran las preguntas
utilizadas dentro del artículo “User Evaluation Framework of Recommender Systems”.
Magnitud de Medición
Preguntas respondidas dentro de
una escala Likert con 5 valores desde
"muy en desacuerdo" a "totalmente de
acuerdo"
Percepciones subjetivas de las características del diseño del sistema
Transparencia
Entiendo por qué los productos son
devueltos a través de las explicaciones de
la interfaz.
Calidad de Recomendaciones Esta interfaz me dio algunas
buenas recomendaciones.
Control de Usuario
Me siento en control de especificar
y modificar mis preferencias en la
interfaz.
Percepción general de lo competente del sistema
Facilidad de Uso Percibida Encuentro esta interfaz fácil de
usar.
Utilidad Percibida
Esta interfaz es competente para
ayudarme a encontrar efectivamente los
productos que realmente me gustan.
Me parece que esta interfaz es útil
para mejorar mis compras.
Disfrute Encontré agradable la visita a esta
interfaz.
Confianza de Decisión Confío en que el producto que
acabo de adquirir es realmente la mejor

opción para mí.
Esfuerzo Percibido Encontré fácilmente la
información que buscaba.
28
Buscar un artículo usando esta
interfaz requiere demasiado esfuerzo
(escala inversa).
Integridad
Confianza en las
Recomendaciones
Siento que esta interfaz es digna de
confianza.
Confío en que los productos
recomendados son consistentes con mis
preferencias.
Satisfacción Mi total satisfacción con la interfaz
es alta.
Confiabilidad de las actividades a realizar
Intención de Compra
Me gustaría comprar el producto
que acabo de elegir si tuviera la
oportunidad.
Intención de Devolución
Si tuviera que buscar por un
producto online en el futuro y una interfaz
como esta estuviera disponible, me
encantaría usarla.
No me gusta esta interfaz, no la
usaría de Nuevo (escala inversa).
Intención de Ahorrar Esfuerzo en
la Próxima Visita
Si tuviera oportunidad de usar esta
interfaz de nuevo, es probable que hiciera
mi elección más rápido.
Tabla 3-1Preguntas para medir aspectos subjetivos
3.8 Do We Really Need Traditional Usability Lab for UX Practice?
(Sharma, 2013)
Resumen
En este documento se hace referencia a la necesidad de un laboratorio para la evaluación de
UX (user experience) y de usabilidad. Se comenta que alrededor del mundo muchas
empresas se jactan de tener laboratorios de usabilidad y experiencia del usuario, aunque
estos laboratorios normalmente son subutilizados, generando un gran costo de
mantenimiento de los laboratorios comparado con las evaluaciones que realizan.
Este documento analiza los diversos aspectos y modelos de negocio que pueden ayudar a
una empresa a decidir si va a poner en marcha un laboratorio de usabilidad o no, y lo que
puede ser un modelo ideal para sostenerlo.

Se menciona también que en ausencia de laboratorio de usabilidad, los diseñadores y
especialistas en usabilidad comienzan a creer que saben todo lo que hace falta durante un
desarrollo, esto les da confianza y, a veces el exceso de confianza puede llegar a obstruir la
solución para satisfacer las necesidades de los usuarios finales. Los diseños producidos
fuera del proceso de UCD (user centered design), normalmente rápidos y sucios, pueden
verse bien pero pueden no ser eficaces cuando se trata de la intuición y facilidad de uso.
También se hace comparación de algunas técnicas de evaluación de UX y usabilidad, así
como los costos que pudieran implicar.
29
Similitud
De este documento se identificaron algunas de definiciones de UX, de usabilidad y de
cómo diferenciarlas. Permitió también identificar la importancia de la elaboración de
evaluaciones de usabilidad y de experiencia del usuario. Aunque este documento habla de
laboratorios de usabilidad y de experiencia del usuario, se encontraron técnicas e
instrumentos que no requieren de un laboratorio para ser aplicadas, además de la propuesta
de utilizar algunos dispositivos que pueden ayudar a recolectar información necesaria para
las evaluaciones que se pretende desarrollar en esta tesis.
3.9 Lost in Time: The Meaning of Temporal Aspects in User
Experience (Kujala, Vogel, Pohlmeyer, & Obrist, 2013)
Resumen
En este trabajo es evaluada la UX (user experience) en base al tiempo de
aprendizaje del usuario que se puede requerir para el sistema evaluado, así como si el
sistema implica mayor esfuerzo para el recuerdo y cómo se ve afectada la satisfacción del
mismo.
También se hace mención del ciclo de UX (user experience) en donde se menciona que “La
experiencia del usuario seguirá, siempre y cuando recuerde la última experiencia
adquirida”.
En la figura 3-2 se muestra el Modelo de continuidad de UX propuesto en (Kujala, Vogel,
Pohlmeyer, & Obrist, 2013)

30
Figura 3-2 Modelo de continuidad de UX
Similitud
Este trabajo describe cómo influye el tiempo de aprendizaje del sistema en aspectos de UX
(user experience), y cómo puede afectar el que el sistema sea nuevamente utilizado o
recomendado a otros. El modelo de continuidad de UX (user experience), que presenta
redefine la importancia de la experiencia previa del usuario durante la interacción actual.
3.10 Analysis in Practical Usability Evaluation: A Survey Study (Følstad,
Law, & Hornbæk, 2012)
Resumen
Este documento presenta un estudio de los tipos evaluación ya sea de análisis o estadística.
Por otra parte, el tipo de evaluación que realizan se hace por medio de cuestionarios con
escalas Likert. En este trabajo se presenta un análisis de expertos de usabilidad, se analiza
el comportamiento en la última evaluación de usabilidad realizada. Se presentan los datos
sobre cómo es apoyado el análisis, cómo se identifican los problemas de usabilidad, y cómo
se integran la evaluación y rediseño.
Similitud
Dentro del estudio en este documento se identificaron algunas de las técnicas más
utilizadas, además de conocer la forma en la que llevaron acabo el estudio por medio de
cuestionarios. Cabe mencionar que dentro de nuestra metodología se utiliza la técnica de
cuestionarios para obtener la evaluación sumativa.
3.11 Changing Perspectives on Evaluation in HCI: Past, Present, and
Future (MacDonald & Atwood, 2013)
Resumen
Este trabajo explica cómo la evaluación en Human Computer Interaction (HCI) ha ido
evolucionando a través de los tiempos. También mencionan aspectos relacionados con
líneas de investigación que marcarán el futuro de la evaluación.

En la tabla 3-2 se aborda la situación actual de la evaluación de HCI mediante las
categorías: métodos de prueba de usuario, métodos de control y métodos de campo.
Prueba de usuario Métodos de control Métodos de campo
Think Aloud
Evaluación Heurística Observaciones de
31
Comportamiento
Evaluación de Post Uso
Con Cuestionarios de
Usabilidad
Tutoriales Log Analysis
Eye- Tracking
Cognitive Walkthrough
Feedback de los Usuarios
Mouse-Tracking
Respuestas Emocionales
Entrevistas
Cuestionarios de Post Uso
sobre las Características
Más Populares como,
Estética, Placer y
Compromiso
Emocards
Mapas
Software de Estudio Facial
Reacciones Psicológicas
Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI
Similitud
Este documento permitió conocer un resumen de la historia de la evaluación de HCI
(Human Computer Interaction), así como identificar algunas de las técnicas comúnmente
utilizadas en la actualidad. Dentro de la metodología que se propone en esta tesis se
retomaron algunas de estas técnicas cubriendo las 3 categorías mencionadas en este
artículo, pruebas de usuario, métodos de control y métodos de campo.

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

Recommandé

Recommandé

Contenu connexe

Similaire à Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

Similaire à Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales (20)

Plus de Gabriel Gonzalez Serna

Plus de Gabriel Gonzalez Serna (20)

Dernier

Dernier (20)

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales