Resumen: El proceso de aprendizaje está sufriendo cambios debido a las posibilidades que proporcionan las nuevas tecnologías en la educación. Una de estas posibilidades es la de recopilación exhaustiva de datos. Actualmente, la mayoría de plataformas de e-learning son capaces de recopilar un gran conjunto de datos de las interacciones de los alumnos en forma de eventos. Sin embargo, esos datos de bajo nivel son difícilmente interpretables directamente por los actores que intervienen en el aprendizaje. Un gran reto es como transformar esos datos de bajo nivel en información inteligente y mostrarla a profesores y alumnos de una manera que sea sencilla de interpretar por ellos. Estos aspectos los trata el área de analítica de aprendizaje (learning analytics) que ha emergido con fuerza en los últimos años. La plataforma Khan Academy es una de las pioneras en mostrar información relevante del proceso de aprendizaje, pero su funcionalidad puede ser ampliamente mejorada para incluir nueva información inteligente que sea de utilidad para mejorar el proceso de aprendizaje. En este trabajo, se ha diseñado e implementado un módulo de analítica de aprendizaje para la plataforma Khan Academy, que extiende el soporte que proporciona esta plataforma por defecto. Para ello, se han definido una serie de parámetros interesantes para conocer más acerca del proceso de aprendizaje y se ha establecido la manera de procesarlos a partir de datos de bajo nivel. Además, se han implementado estos parámetros, así como visualizaciones basadas en ellos de manera que se muestren informaciones tanto individuales como de la clase. Finalmente, se muestra como este módulo y los parámetros definidos pueden ser utilizados para evaluar el proceso de aprendizaje, ilustrándolo en los cursos 0 de la Universidad Carlos III de Madrid, donde se ha utilizado la plataforma Khan Academy así como el módulo ALAS-KA (Add-on of the Learning Analytics Support of the Khan Academy)

1. DISEÑO E IMPLEMENTACIÓN DE
UN MÓDULO DE ANALÍTICA DE
APRENDIZAJE EN LA
PLATAFORMA
KHAN ACADEMY
Autor: José A. Ruipérez Valiente – jruipere@it.uc3m.es
@JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – pedmume@it.uc3m.es
Universidad Carlos III de Madrid
Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación

2. 2
ÍNDICE
Introducción
Definición de parámetros de alto nivel
Desarrollo del módulo ALAS-KA
Evaluación del proceso de aprendizaje
Conclusiones y resultados
Vídeo demostración de ALAS-KA

3. INTRODUCCIÓN
3

4. 4
MOTIVACIONES
Generan grandes
cantidades de
datos de bajo nivel
Plataformas
e-learning
Difícil de
interpretar

5. 5
OBJETIVOS
1
2
3
Definición de un conjunto de parámetros
de alto nivel
Implementación de ALAS-KA
Evaluación del proceso de aprendizaje

6. 6
DEFINICIÓN Y PROCESO
Procesado de
métricas
Generación y
captura de datos
Definición 1ª conferencia internacional LAK:
“learning analytics es la medida, recolección, análisis e informe de los datos
sobre los estudiantes y sus contextos, con el propósito de entender y
optimizar el aprendizaje y el entorno en el que ocurre”
Trabajos como (Campbell et al., 2007) y (Clow, 2012) han
tratado las fases del proceso
Visualizador
Recomendador
Actuador
datos de
bajo nivel
información
de alto nivel

7. 7
KHAN ACADEMY:
Estructura

8. 8
KHAN ACADEMY:
Ejercicios y vídeos

9. 9
KHAN ACADEMY:
Learning analytics
Informe
Focus
Informe
Activity
Informe
Progress

10. PARÁMETROS DE ALTO
NIVEL
10

11. 11
BLOQUES DE
PARÁMETROS
Correcto Progreso
en la Plataforma
Distribución del
Tiempo de Uso
de la Plataforma
Hábitos
Resolviendo
Ejercicios Hábitos de
Ludificación
Uso Total en la
Plataforma

12. CONJUNTO DE
PARÁMETROS
12
Uso Total de la Plataforma
Uso efectivo de la plataforma
Abandono de vídeos y ejercicios
Tiempo total en la plataforma
Uso de elementos opcionales
Focalizador de vídeos o ejercicios
Correcto Progreso en la
Plataforma
Progreso en ejercicios
Progreso en vídeos
Eficiencia temporal
Eficiencia resolviendo ejercicios
por primera vez
Eficiencia viendo vídeos

13. 13
Distribución del Tiempo de
Uso de la Plataforma
Uso de la plataforma por tramos
horarios
Eficiencia en tramos horarios
Media y varianza del tiempo de
uso
Constancia
Hábitos Resolviendo
Ejercicios
Seguidor de recomendaciones
Usuario olvidadizo
Evitador de vídeos y pistas
Usuario no reflexivo
Abusador de pistas
Hábitos de Ludificación
Interés en ganar medallas
Proporción de puntos por
ludificación

14. MODELO COGNITIVO
14
Evitador de vídeos y pistas, usuario no reflexivo
Detectar usuarios evitadores de pistas y vídeos, y no reflexivos
Modelo de
comportamiento
Ejemplo

15. DESARROLLO DEL
MÓDULO ALAS-KA
15

16. FASES DEL
DESARROLLO
16
Especificación
de requisitos Análisis y
diseño
Implementación
Pruebas
Integración
Mantenimiento
Validación y
verificación

17. ESPECIFICACIÓN DE
REQUISITOS
17
Visualizaciones individuales y
de clase
Tabla descriptiva de usuarios
Descripción de los parámetros
Soporte de distintos cursos en
una instancia
Procesado de estadísticas periódico
Generación de estadísticas para
cada curso
Acceso mediante log-in Khan
Academy
Seguridad de acceso y gestión de
permisos
Requisitos
funcionales
Requisitos no
funcionales

18. ANÁLISIS Y DISEÑO
Lenguaje de programación Python: Algunas
APIs utilizadas como Webapp2, Jinga2,
Numpy o Matplotlib
Google App Engine como infraestructura
App Engine Datastore para la persistencia
de datos
Google Charts para las visualizaciones
18
TECNOLOGÍAS

19. 19
DIAGRAMA DEL SISTEMA
Estudiantes
Profesores
Datastore
Procesado de datos
Visualizaciones
Recomendador

20. 20
Cron jobs
Queue
Tasks
Procesado
personalizado
PROCESADO DE DATOS

21. 21
Fase de codificación de toda
la aplicación
Código y entidades
Datastore independientes
de Khan Academy
IMPLEMENTACIÓN Y
PRUEBAS
IMPLEMENTACIÓN PRUEBAS
Pruebas unitarias
Pruebas modulares
Prueba global
Pruebas de seguridad

22. 22
INTEGRACIÓN, VALIDACIÓN Y
MANTENIMIENTO
INTEGRACIÓN VALIDACIÓN
MANTENIMIENTO
Integración e instalación
de ALAS-KA en las
plataformas Khan
Academy de los cursos 0
Comprobación correcto
funcionamiento de Khan
Academy y ALAS-KA una
vez hecha la instalación
Verificar correcto funcionamiento procesado datos
Carga de nuevos usuarios

23. EVALUACIÓN DEL
PROCESO DE
APRENDIZAJE
23

24. 24
DOS TIPOS DE EVALUACIÓN
Por combinación de parámetros...
Por perfiles de usuario a través de ALAS-KA...
... en los cursos 0 de 2012/2013
... en los cursos 0 de 2013/2014

25. COMBINACIÓN DE PARÁMETROS
25
Considerando un mínimo de 16 vídeos
para UEV2 o 21 ejercicios para UEE3
22 de 66 hicieron
progreso
correcto
Pero...
el parámetro EJ3 lo muestra
Correcto Progreso en la Plataforma
¿Quién fue
más eficiente?

26. Si no ha hecho un progreso correcto... ¿Se ha esforzado?
Considerando un TT de 225 minutos, o
15 vídeos de UEV1 o 20 ejercicios de
UEE1
8 de 44 “suspensos”
se esforzaron
UEV1 UEV2 UEE1
UEE3
TT r=0.81 r=0.80 r=0.71 r=0.83
USO DE LA PLATAFORMA
La correlación de
TT es indicativo
de que puede ser
buen predictor

27. 27
Mediante combinación
de los parámetros
UEV1 y UEV2 se estima
el abandono
USO DE LA PLATAFORMA

28. POR PERFILES DE USUARIO
MEDIANTE ALAS-KA
28
Uso Total de la Plataforma
Recursos
accedidos
Recursos
abandonados

29. 29
Progreso Correcto en la Plataforma
Igual progreso,
¡distinta eficiencia!

30. 30
Gran diferencia en la
constancia de dos
usuarios con similar
tiempo invertido
Distribución del Tiempo de Uso de la Plataforma

31. CONCLUSIONES Y
RESULTADOS
31

32. CONCLUSIONES
32
Los objetivos marcados han sido alcanzados
Definir un conjunto de parámetros de alto nivel
Implementar ALAS-KA con dichos parámetros y visualizaciones
Usar los puntos anteriores para evaluar el proceso de aprendizaje
Es necesario decidir entre las muchas formas de procesar la
información
Las interpretaciones pueden depender del contexto educativo
La carga del procesado de datos aumenta exponencialmente

33. RESULTADOS ASOCIADOS
33
Artículos en Journals en el índice JCR
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Leony, D., & Delgado Kloos, C. (2015). ALAS-
KA: A learning analytics extension for better understanding the learning process in the Khan
Academy platform. Computers in Human Behavior, 47(Learning Analytics, Educational Data
Mining and data-driven Educational Decision Making), 139-148
Leony, D, Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Pardo A., Martín-Caro, D.A., Delgado
Kloos, C. (In press). Detection and evaluation of emotions in Massive Open Online Courses.
Journal of Universal Computer Science.
Publicación en capitulo de libro
Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Sanz, J. L., & Delgado Kloos, C. (In press).
Assessment Activities in MOOCs. In Furthering Higher Education Possibilities through Massive
Open Online Courses. IGI Global, E-Editorial Discovery
http://www.joseruiperez.com/mi-investigacion/

34. 34
Publicación en congresos internacionales
Muñoz-Merino, P. J., Ruipérez Valiente, J. A., & Kloos, C. D. (2013). Inferring higher level
learning information from low level data for the Khan Academy platform. In Proceedings of the
Third International Conference on Learning Analytics and Knowledge - LAK ’13 (pp. 112–116).
New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Kloos, C. D. (2013). An architecture for
extending the learning analytics support in the Khan Academy framework. In Proceedings of
the First International Conference on Technological Ecosystem for Enhancing Multiculturality -
TEEM ’13 (pp. 277–284). New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Delgado Kloos, C. (2014). A demonstration of
ALAS-KA : A learning analytics tool for the Khan Academy platform. In 9th European
Conference on Technology Enhanced Learning (EC-TEL 2014) (pp. 518–521)
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Delgado Kloos, C., Niemann, K., & Scheffel, M.
(2014). Do Optional Activities Matter in Virtual Learning Environments? In Ninth European
Conference on Technology Enhanced Learning (pp. 331–344). Graz, Austria: Springer
International Publishing
El proyecto es parte del laboratorio Gradient, ha sido expuesto
en diferentes foros y conferencias
Parte de los resultados de este trabajo han sido utilizados en los
proyectos eMadrid y EEE-Virtual

35. 35
El módulo ALAS-KA y los parámetros obtenidos en este TFM han sido
utilizados para evaluar el proceso de aprendizaje de los cursos 0 de
2012/2013, 2013/2014 y 2014/2015
El software desarrollado ha sido liberado en GitHub bajo MIT license y
puede ser accedido en este enlace
Otros méritos:
Premio al mejor proyecto Fin de Máster en Ingeniería de Telecomunicaciones
patrocinado por Accenture en la Universidad Carlos III de Madrid del curso
lectivo 2012/2013.
Premio eMadrid 2015 al mejor TFM/TFG/PFC relacionado con tecnologías
educativas
Premio al mejor PFC/TFM/TFG del Capítulo Español de la Sociedad de la
Educación del IEEE (CESEI)
Premio otorgado por el COIT-AIET al “Mejor Trabajo Fin de Máster en Nuevos
Servicios, Aplicaciones y Modelos de Negocio Digitales” patrociado por
Accenture
El artículo “Do Optional Activities Matter in Virtual Learning Environments?”
realizado a partir de este TFM y publicado en el EC-TEL 2014 fue seleccionado
como uno de los mejores artículos de la conferencia

36. VÍDEO DEMOSTRACIÓN
DE ALAS-KA
36

37. DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE
ANALÍTICA DE APRENDIZAJE EN LA PLATAFORMA
KHAN ACADEMY
¿Preguntas?
Universidad Carlos III de Madrid
Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación
Autor: José A. Ruipérez Valiente – jruipere@it.uc3m.es
@JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – pedmume@it.uc3m.es