La técnica del Mago de Oz consiste en un análisis teórico que se realiza para asegurarse de la usabilidad del sistema, permite identificar el nivel de fiabilidad de la navegación así como también hace posible la detección de errores. En el desarrollo de sistemas es de vital importancia considerar la usabilidad del mismo para que su interacción con el usuario no tenga complicaciones y que tanto la validación de los datos como la navegación se lleve a cabo de manera correcta. En el presente trabajo se lleva a cabo la utilización de la técnica del Mago de Oz para la evaluación de la usabilidad de un Sistema Gestor de Contenidos Educativos diseñado a partir de una metodología que da soporte a Objetos de Aprendizaje multi contexto.

1. Diseño de Evaluación de Prototipos de
Interfaz para un
Sistema Gestor de Objetos de Aprendizaje
Liliana Rodríguez Vizzuett
Stephany del Rosario Borges Arceo
Blanca Carolina Torres Guzmán
Luis Enrique Vidal Broca
Benemérita Universidad Autónoma de Puebla
2do Congreso Nacional de Tecnologías en la Educación

2. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

3. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

4. Introducción
 Al realizar una plataforma que dé soporte al aprendizaje
a distancia se debe permitir a los usuarios realizar todas
las tareas que requieren en una plataforma educativa por
lo que es de vital importancia que las interfaces que se
presentan dentro del sistema sean usables para el
usuario.
 Como consecuencia directa, las interfaces de usuario
entregadas en productos finales están cada vez más y más
cuidadas para brindarle al usuario final una interfaz
intuitiva, que le dé seguridad y fiabilidad.
2do Congreso Nacional de Tecnologías en la Educación

5. Introducción
 Es de gran importancia centrarse en la usabilidad del
sistema y saber el grado que se tiene de esta, ya que esto
permite realizar las acciones dentro del sistema con
mayor facilidad, y hace que la interacción de los usuarios
con el sistema sea de manera “amigable”.
2do Congreso Nacional de Tecnologías en la Educación

6. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

7. Estado del arte (Usabilidad)
 La usabilidad es la capacidad de un software de ser
comprendido, aprendido y usado y ser atractivo para el
usuario, en condiciones específicas de uso.
2do Congreso Nacional de Tecnologías en la Educación

8. Estado del arte (Objeto de Aprendizaje)
 Según la IEEE (Institute of Electrical and Electronics
Engineers) define un objeto de aprendizaje como
“Cualquier entidad digital o no digital que puede ser
utilizada, reutilizada y referenciada durante el aprendizaje
apoyado con tecnología”.
2do Congreso Nacional de Tecnologías en la Educación

9. Estado del arte (Estructura de un Objeto de
Aprendizaje)
2do Congreso Nacional de Tecnologías en la Educación

10. Estado del arte (Estructura de un Objeto de
Aprendizaje)
2do Congreso Nacional de Tecnologías en la Educación

11. Estado del arte (Learning Managment
System)
 Un sistema de gestión de aprendizaje (LMS por sus siglas
en inglés) permite administrar, distribuir, monitorear y
evaluar actividades que se diseñaron con anterioridad
dentro de un proceso de formación virtual.
 Las ventajas que los LMS ofrecen son organización,
control, seguimiento, flexibilidad, efectividad y evaluación
continua.
2do Congreso Nacional de Tecnologías en la Educación

12. Estado del arte (Learning Managment
System)
Plataforma Desarrollador Licenciamiento Sistema
Operativo Descripción
Moodle Martin
Dougiamas Libre
Windows,
Mac, Linux y
Android
Hay un usuario
administrador encargado de
toda la administración general.
El profesor puede añadir una
contraseña para restringir el
acceso a sus cursos.
Blackboard Blackboard Inc Comercial
Windows,
Mac, Linux y
Android
Cuenta con un sistema de
administración de cursos.
Los recursos académicos están
basados en la web.
Permite la utilización de la
misma cuenta y contraseña
tanto en el portal como en los
sistemas existentes en la
organización.
Claronline Thomas De
Praetere Libre Windows, Mac
y Linux
Se pueden administrar foros
públicos y privados
Manejar una agenda con fechas
de entrega
Ver estadísticas de usuarios
aTutor Greg Gay Libre Windows, Mac
y Linux
Cuenta con tres
tipos de usuario o roles:
Administrador, Instructor y
Estudiante.
Cuenta con un súper
administrador
que cuenta con permisos de
gestión
y configuración de la plataforma.
2do Congreso Nacional de Tecnologías en la Educación

13. Estado del arte (UsiXML y marco de trabajo
CAMELEON)
2do Congreso Nacional de Tecnologías en la Educación

14. Estado del arte (Técnicas para evaluación de
usabilidad)
 Son métodos que sirven para saber qué tan funcional es
el sistema, especialmente que tan usable es para los
usuarios finales.
 Se consideran como herramientas que al implementarse
para evaluar el sistema pueden proporcionar información,
es decir pueden arrojar datos o información para
mejorar el sistema y considerar rehacer o mejorar los
prototipos de interfaces de usuario.
2do Congreso Nacional de Tecnologías en la Educación

15. Estado del arte (Técnicas para evaluación de
usabilidad)
 Aproximación por grupos, que engloban a los grupos orientados que son
aquellos a los que se les pregunta sobre sus experiencias y preferencias,
hay una interacción directa con el usuario,
 Grupos de debate, esta es una discusión entre los que están implicados en
el proceso de diseño, debe de usarse en las etapas tempranas, es decir, en
el prediseño.
 La brainstorming es una técnica que se utiliza para liberar la creatividad de
un grupo y poder generar un gran número de ideas de acuerdo a un tema.
 Existen también los cuestionarios y dentro de estos está la escala de
medición de la usabilidad percibida en un sitio web, para ver que tan
comprensible y fácil de navegar es el sitio web.
 La inspección heurística que es en la que expertos en usabilidad juzgan
cada elemento de la interfaz y verifican que sigan los principios de
usabilidad que ya están establecidos.
 Test de usuarios, este se realiza para obtener información específica acerca
de un diseño, se debe de tener un cierto número de usuarios y analizar
cómo trabajan utilizando el sistema.
2do Congreso Nacional de Tecnologías en la Educación

16. Estado del arte (Técnica del Mago de Oz)
 La técnica del mago de Oz permite realizar una
evaluación de la efectividad de un sistema al responder
ante las posibles peticiones de un usuario cualquiera, y
verificar los errores que este usuario podría provocarle.
2do Congreso Nacional de Tecnologías en la Educación

17. Estado del arte (Técnica del Mago de Oz)
 El experimento Mago de Oz se suele emplear en la
creación y evaluación de prototipos con los siguientes
objetivos:
 Probar la eficacia del sistema.
 Analizar la manera cómo interactúan las personas y la máquina.
 Suministrar entrenamiento para el módulo de reconocimiento,
ya que en la mayoría de las aplicaciones se necesita el
reconocimiento del habla espontánea.
2do Congreso Nacional de Tecnologías en la Educación

18. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

19. Diseño de prototipos de interfaces
N°
tarea
Nombre de la tarea Descripción
1 Dar de alta alumno El administrador ingresa los datos personales del alumno
2 Dar de alta profesor El administrador ingresa los datos personales del profesor
3 Dar de alta administrador El administrador ingresa los datos personales del administrador
4 Dar de alta área Se crea un área que almacenará las categorías
5 Dar de alta categoría Se crean las categorías que un área tendrá
6 Dar de alta comentario Se escribe algún comentario acerca de alguna actividad
7 Dar de alta actividad Se escribe alguna actividad que el alumno realizará
8 Dar de alta evaluación Se escriben preguntas acerca de alguna actividad
9 Dar de baja actividad Se eliminan una o más actividades
10 Dar de baja administrador Se elimina a uno o más administradores
11 Dar de baja alumno Se elimina a uno o más alumnos
12 Dar de baja profesor Se elimina a uno o más profesores
13 Dar de baja área Se elimina a uno o más áreas
14 Dar de baja categoría Se elimina alguna categoría
15 Dar de baja comentario Se elimina algún comentario, puede ser un comentario no apropiado
16 Dar de baja evaluación Se elimina alguna evaluación
17 Iniciar sesión administrador El administrador escribe su login y password
18 Iniciar sesión alumno El alumno escribe su login y password
19 Iniciar sesión profesor El profesor escribe su login y password
20 Revisar evaluaciones El profesor revisa las evaluaciones sus alumnos
21 Crear OA El profesor rellena los campos para la creación de un OA
22 Cerrar sesión alumno El alumno da clic en el botón cerrar sesión
23 Cerrar sesión profesor El profesor da clic en el botón cerrar sesión
24 Cerrar sesión administrador El administrador da clic en el botón cerrar sesión
25 Consultar OA El profesor y el alumno pueden consultar los objetos disponibles
26 Realizar actividad El alumno realiza la actividad planteada en el objeto
27 Realizar evaluación El alumno realiza la evaluación planteada en el objeto
2do Congreso Nacional de Tecnologías en la Educación

20. Diseño de prototipos de interfaces
2do Congreso Nacional de Tecnologías en la Educación

21. Diseño de prototipos de interfaces
2do Congreso Nacional de Tecnologías en la Educación

22. Diseño de prototipos de interfaces
2do Congreso Nacional de Tecnologías en la Educación

23. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

24. Diseño de la evaluación
 Se elige la técnica del Mago de Oz al permitir realizar
evaluaciones de manera rápida y sencilla tanto sobre la
interfaz en si como sobre la navegación por el sistema
completo.
 Las pruebas con esta técnica requieren de la presencia de
dos entidades, una que representa al usuario del sistema
y otra que representa al sistema en sí. La que representa
al usuario tiene como objetivo realizar una serie de
tareas mientras que la que representa al sistema sólo
puede comunicarse utilizando los conceptos que existen
en el prototipo de interfaz.
2do Congreso Nacional de Tecnologías en la Educación

25. Diseño de la evaluación
N° tarea Nombre de la tarea Descripción
7 Dar de alta actividad Se escribe alguna actividad que el alumno realizará
21 Crear OA El profesor rellena los campos para la creación de un OA
24 Cerrar sesión administrador El administrador da clic en el botón cerrar sesión
25 Consultar OA El profesor y el alumno pueden consultar los objetos disponibles
26 Realizar actividad El alumno realiza la actividad planteada en el objeto
27 Realizar evaluación El alumno realiza la evaluación planteada en el objeto
2do Congreso Nacional de Tecnologías en la Educación

26. Diseño de la evaluación
 Con base en los tiempos de realización de las tareas y si
estas fueron completadas o no se debe hacer un rediseño
de las interfaces tomando en cuenta las recomendaciones
del usuario y mediante la observación de las
complicaciones que tuvo para llevar a cabo las tareas.
2do Congreso Nacional de Tecnologías en la Educación

27. Temas a tratar
 Introducción
 Estado del arte
 Diseño de prototipos de interfaces
 Diseño de la evaluación
 Conclusiones y trabajo futuro
2do Congreso Nacional de Tecnologías en la Educación

28. Conclusiones y trabajo futuro
 Se pretende crear una solución en la que se desarrolle
una plataforma de trabajo que sea estable y que tenga una
mayor usabilidad para al usuario.
 Como trabajo futuro se tiene el aplicar el experimento
de evaluación a los prototipos de interfaz diseñados así
como llevar el gestor de objetos de aprendizaje a su
etapa de implementación y aplicar entonces las pruebas
de usabilidad correspondientes para garantizar que el
sistema está desarrollado pensado en el usuario y no sólo
en las inferencias que los desarrolladores realizan acerca
de lo que los usuarios esperan en un sistema de esta
índole.
2do Congreso Nacional de Tecnologías en la Educación

29. Gracias por su atención !
 Agradecemos el apoyo del programa "XXIII Verano de la
Investigación Científica" que financio nuestro trabajo, así
como a los investigadores que nos coordinaron: Josefina
Guerrero García y Juan Manuel González Calleros.
También, agradecemos a la Facultad de Ciencias de la
Computación de la Benemérita Universidad Autónoma
de Puebla por las facilidades prestadas para realizar esta
investigación.
2do Congreso Nacional de Tecnologías en la Educación

30. Contacto
Liliana Rodríguez Vizzuett
lilianarv@cs.buap.mx
Stephany del Rosario Borges Arceo
101k0034@itscarrillopuerto.edu.mx
Blanca Carolina Torres Guzmán
v.i.carolina1@gmail.com
Luis Enrique Vidal Broca
enriquevidal@itss.edu.mx
2do Congreso Nacional de Tecnologías en la Educación

31. Referencias
 1. Larry,C., Lockwook,L Software for use. A practical Guide to the Models and Methods of Usage-Central
Desing. Addison-Wesley, Reading, Ma, EE.UU., 1999.
 2. ISO (2011), ISO 9241-10:1996. International Organization for Standardization. Retrieved 22 July 2011
 3. Muñoz,J.,Álvarez,F., Avances en objetos de aprendizaje, Universidad Autónoma de Aguascalientes,
2do Congreso Nacional de Tecnologías en la Educación
México 2011.
 4. Muñoz, J., Álvarez,F., Tecnología de Objetos de Aprendizaje, Universidad Autónoma de Aguascalientes,
2007.
 5. Rodríguez,L., Metodología para el Desarrollo de Sistemas Interactivos para Gestión y Visualización de
Objetos de Aprendizaje, Benemérita Universidad Autónoma de Puebla, 2013
 6. Delors, J., Los cuatro pilares de la educación, La educación encierra un tesoro. Informe a la UNESCO
de la Comisión internacional sobre la educación para el siglo XXI, Ma- drid, España: Santillana/UNESCO
 7. Vanderdonckt, J., Limbourgh, Q., et al., UsiXML: a User Interface Description Language for Specifying
Multimodal User Interfaces, en Proceedings of W3C Workshop on Multimodal Interaction WMI’2004.
 8. Guinalíu,M., Métodos de Usabilidad y Diseño Centrado en el Usuario, disponible en línea
 http://www.slideshare.net/GUINALIU/mtodos-de-evaluacin-de-usabilidad
 9. Torres,D., Métodos de evaluación de usabilidad, Día Mundial de la Usabilidad Colombia, Noviembre
2012, disponible en línea en: http://www.slideshare.net/usarte/tcnicas-de-evaluacin-de-usabilidad
 10. Llisterri, J. Las tecnologías del habla: Entre la Ingeniería y la Lingüística. En: Actas del Congreso
Internacional “La Ciencia ante el Público. Cultura humanística y desarrollo científico y tecnológico”,
Universidad de Salamanca, Instituto Universitario de Estudios de la Ciencia y Tecnología, 2003.