VII Jornadas eMadrid "Education in exponential times". Aarón Rubio Fernández: "A Data Collection Experience with Canvas LMS as a Learning Platform". 05/07/2017.

1. Una experiencia de
recopilación de datos con
Canvas LMS como plataforma
de aprendizaje
Aarón Rubio Fernández
Fernando Santamaría González
Pedro J. Muñoz Merino
Carlos Delgado Kloos

2. Introducción
 Las plataformas de aprendizaje electrónico son
una fuente muy importante de información
académica.
 Analizando los datos de bajo nivel generados
por dichas plataformas, se puede obtener una
panorámica general del proceso de
aprendizaje de los estudiantes.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

3. Objetivos
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

4. Indicadores propuestos
 Indicadores asociados a los mensajes escritos
por los estudiantes.
Indicador Unidad de medida
Longitud del mensaje Número de palabras
Longitud media de las frases del
mensaje
Número de palabras
Cantidad de información Valor en el intervalo [0,1]
El mensaje incluye un tema
especificado por el profesor
Sí / No
Tipo de mensaje Elemento en el conjunto {intervención,
comentario, pregunta, respuesta}
Sentimiento del mensaje Elemento en el conjunto {positivo,
negativo}
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

5. Cantidad de información
 Este indicador pretende medir la cantidad de
información contenida en los mensajes.
 La información se definirá como la cantidad de
conceptos diferentes tratados en un mensaje.
Por tanto, cuantos más conceptos aparezcan
en el mensaje, mayor cantidad de información
contendrá.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

6. Cantidad de información
* La raíz de una palabra es la base mínima e irreductible que
comparten las palabras de una misma familia léxica. Como la raíz de
una palabra es el elemento que le otorga la mayor parte del
significado, se puede considerar que detrás de cada raíz hay un
concepto diferente.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones
Mensaje Stemming Raíces* Conceptos

7. Búsqueda de temas específicos
 El profesor puede estar interesado en
comprobar si los estudiantes están tratando un
determinado tema en sus mensajes. De esta
forma, el profesor puede ver si se están
cubriendo todos los ámbitos del temario, o sólo
una parte.
 Este indicador es muy flexible porque sólo
requiere de una lista de palabras clave
definidas por el profesor. Cambiando dicha
lista de palabras clave, el profesor puede
buscar el tema que desee.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

8. Búsqueda de temas específicos
Mensaje Raíces
Lista de
palabras
clave
Raíces
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones
Stemming
Stemming
Búsqueda

9. Tipo de mensaje
 A partir de los mensajes escritos por los
estudiantes, se puede inferir las relaciones
establecidas entre dichos estudiantes.
 La idea es analizar los mensajes escritos en un
mismo ámbito (en este caso, en un mismo foro
de discusión), para descubrir los diferentes
tipos de relaciones entre los estudiantes.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

10. Tipo de mensaje
 Hemos definido 4 tipos de mensajes.
→ Intervención.
→ Comentario.
→ Pregunta.
→ Respuesta.
Intervención Comentario
Pregunta RespuestaRespuesta
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

11. Sentimiento del mensaje
 En este caso utilizamos las opiniones
expresadas en los mensajes, como indicador
del grado de interés de los estudiantes.
 De esta manera, podemos inferir el grado de
interés de los estudiantes, a partir de las
opiniones expresadas en sus mensajes.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones
Opinión Sentimiento Interés

12. Caracterización de los
cuestionarios
 Indicadores asociados a los cuestionarios
realizados por los estudiantes.
 Pese a que estos indicadores son muy
sencillos, pueden proporcionar información
académica relevante, especialmente si se
combinan con otros indicadores.
Indicador
Puntuación obtenida
Máxima puntuación
Número de intentos
Tiempo utilizado
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

13. Caracterización de los
cuestionarios
 Por ejemplo, combinando los indicadores
asociados a los cuestionarios, con el indicador
“tipo de mensaje", puede obtenerse una visión
general de la implicación del estudiante en la
dinámica de la clase.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones
- Buenas calificaciones
- Buenas prestaciones
- Pocos mensajes de tipo
respuesta
No está involucrado
en la dinámica de la
clase

14. Aplicaciones
 Entrando más en detalle en las posibles
aplicaciones académicas de estos indicadores,
veremos varias aplicaciones que pueden
proporcionar información académica.
 Los datos mostrados a continuación se han
obtenido a partir de un conjunto de 642
mensajes, escritos por 30 estudiantes de un
curso real.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

15. Aplicaciones
0.25
0.35
0.45
0.55
0.65
0.75
0.85
0.95
0 200 400 600 800 1000 1200 1400
Cantidaddeinformación
Longitud
Intervención
Comentario
Respuesta
Pregunta
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

16. Aplicaciones
0
10
20
30
40
50
60
70
80
90
100
Intervención Comentario Pregunta Respuesta
Númerodemensajes
Foro 1
Foro 2
Foro 3
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

17. Consideraciones
 Número de mensajes en los conjuntos de
entrenamiento.
 Las aplicaciones deben ser fáciles de utilizar, y
deben proporcionar resultados comprensibles.
 Indicadores asociados al tiempo.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

18. Conclusiones y trabajos
futuros
 En el presente documento se ha tratado de
exponer diferentes indicadores que pueden
proporcionar información académica relevante.
 Como se comentó anteriormente, dichos
indicadores se han obtenido mediante datos
de bajo nivel presentes en la mayoría de las
plataformas de aprendizaje electrónico.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

19. Conclusiones y trabajos
futuros
 No obstante, hay que avanzar en diferentes
aspectos.
→ Hay que añadir elementos a los conjuntos de
entrenamiento, para evitar del todo el riesgo del
sobreajuste.
→ Se debe evaluar, en un entorno de aprendizaje
real, el impacto de estos indicadores en el proceso
de aprendizaje de los estudiantes.
Introducción
Indicadores
Aplicaciones
Consideraciones
Conclusiones

20. Contacto
aarubiof@it.uc3m.es