Dinsdag 10 november Sessieronde 2 & 3 Titel: Verbeter het onderwijs met Learning Analytics Spreker(s): Hendrik Drachsler (Open Universiteit), Alan Berg (Universiteit van Amsterdam), Justian Knobbout (Hogeschool Utrecht), Maartje van den Boogaard (Universiteit Leiden), Hanneke Duisterwinkel (Technische Universiteit Eindhoven), Gabor Kismihok (Universiteit van Amsterdam), Marieke de Wit (SURFnet), Jocelyn Manderveld (SURFnet) Zaal: Leeuwen I

1. Masterclass Dé Onderwijsdagen 2015
Verbeter het onderwijs met
Learning Analytics
Hendrik Drachsler, Alan Berg, Justian Knobbout,
Maartje van den Boogaard, Hanneke Duisterwinkel, Gabor Kismihok,
Jocelyn Manderveld

2. Programma
• Inleiding
• Learning analytics en inspirerende voorbeelden
• Cursus design & learning analytics
• 14.15 – 14.20 PAUZE
• Aan de slag!
• Voorwaarden voor het plegen van interventies
• Voorbeelden van tools
• Afronding en vooruitblik: Hoe nu verder?

3. Onderwijs op maat
2015-2018
“Met Onderwijs op Maat draagt SURFnet bij
aan de ambitie van instellingen voor hoger
onderwijs om gepersonaliseerd en flexibel
onderwijs aan te bieden dat zo goed mogelijk
aansluit bij de leerbehoeften van de
individuele student.”

4. Onderwijs op maat: 6 projecten, 3 pijlers
Community management
Open en online onderwijs
Toetsing en toetsgestuurd leren
Flexibele en persoonlijke digitale leeromgeving
Learning analytics
Proeftuin voor innovatieve ICT-toepassingen
KENNIS
EXPERIMENTEN
DIENSTEN

5. Learning analytics
Learning analytics is het verzamelen, analyseren en
rapporteren van data van studenten en hun omgeving om zo
het onderwijs en de omgeving waarin dit onderwijs plaatsvindt
te begrijpen en verbeteren.
http://www.laceproject.eu/faqs/learning-analytics/

6. Learning analytics in het kort
Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational
Technology & Society. http://ifets.info/journals/15_3/4.pdf

7. Learning analytics in het kort
Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational
Technology & Society. http://ifets.info/journals/15_3/4.pdf
Management:
Zij kunnen op basis van de gegevens
beslissingen nemen over positionering
van een opleiding.
Docenten:
Op basis van de gegevens
educatieve interventies
plegen
Studenten:
Reflecteren op hun
resultaten

8. Learning analytics cyclus

9. Learning analytics & didactiek?
Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational
Technology & Society. http://ifets.info/journals/15_3/4.pdf

10. Learning analytics & didactiek?
•Op welke typen onderwijskundige vragen geven learning
analytics een antwoord?
•Welke vragen zijn dat dan? En wanneer zet je deze dan in?

11. Voorbeeld - OAAI

12. Voorbeeld – Course Signals

13. Voorbeeld - RioPACE

14. Voorbeeld – UNE Business School

15. Cursus design & learning analytics

16. Verschillende niveaus van learning analytics
Niveau Stakeholder
Micro Leerling Leerproces – informatie t.b.v. interventie
Leerproces – meta-cognitieve informatie
Meso Docent/Klas Leerproces – informatie op niveau van
leerling: hoe doet deze leerling het, wat
heeft deze leerling nodig?
Klassenmanagement – informatie over hele
groep: hoe doet de groep het en wat heeft
de groep nodig?
Onderwijsontwerp proces – wat werkt in de
leeromgeving en wat behoeft verbetering?
Macro Klas/instelling Academic analytics – valt buiten de scope

17. Cursus design
Curricular Spiderweb
Van den Akker
http://international.slo.nl/intcoop/

18. Enkele wijzigingen
1. Toevoeging van leerfuncties: Leerproces van de student.
-Oriënteren
-Verwerken
-Reguleren
1. Categoriseren en in componenten in volgorde geplaatst.
Leidt tot….

19. Aangepast model

20. Van design naar learning analytics
• Oriëntatie: Leerdoelen en assessment
• Leeractiviteiten
• Groep
• Assessment (formatief and summatief)
• Leermateriaal & bronnen
• Cursus vragen / student kenmerken

21. Didactische vragen
Oriëntatie: Leerdoelen en assessment
Heeft de student de leerdoelen gelezen?
Heeft student de informatie over het assessment gelezen ?
Kijkt de student gedurende de periode van de cursus terug
naar leer- en assessment doelen?
Leeractiviteit (evt onderscheid oriënterend /
verwerkend)
Heeft de student de instructie voor de leeractiviteit gelezen?
Als studenten samen aan een groepsopdracht werken: Wie
heeft welk aandeel gehad in de opdracht?
Heeft de student de opdracht(en) ingeleverd en wanneer?
Wanneer en hoe vaak neemt student contact op met
docent/begeleiding voor vragen?
Wanneer of hoe vaak neemt studenten contact op met
mede-studenten voor hulpvragen?
Welke leerpaden volgen de studenten door de
leeractiviteiten? En zijn bepaalde leerpaden effectiever dan
andere?
Wanneer doet de student de leeractiviteiten?
Hoeveel tijd besteden studenten aan een leeractiviteit? Is
dat volgens de planning van de docent?
Volgt de student de eigen voortgang?
Groep
Wat is de bijdrage van de student aan een discussieforum?
(Started thread, replies, text size of reply, key concept
usage, divergence and converge of discussions, Social
network structure of discussion)
Hoe vaak heeft de student gereageerd op discussies in een
forum / social space?
Wat zijn de belangrijkste onderwerpen waar studenten over
discussiëren?
Toetsen
Hoe ver is de student in het bereiken van de leerdoelen?
Hoe vaak doet de student een formatief assessment?
Kijkt de student op basis van score formatieve toets terug
naar leerdoelen en leeractiviteiten?
Ondersteunen formatieve assessments het slagen voor de
summatieve assesment?
Zijn cursusen met veel kleine summatieve assessments
beter voor de studie prestatie dan één groot summatief
assessment aan het eind?
Hoeveel poginingen heeft een student nodig om een
assessment af te maken?

22. Didactische vragen
Materialen en resources
Hoe lang heeft de student het materiaal bekeken/gelezen?
Heeft de student het materiaal gedownload?
Welk materiaal wordt extra vaak bekeken, of wordt het
meest gebruikt?
Welk materiaal gebruikt de student uit eigen beweging (extra
bronnen)?
Heeft de student de video bekeken (Hoe vaak, wanneer
voor en terug gegaan?)
Wat markeert de student in de tekst, welke aantekeningen
worden gemaakt?
Overkoepelende vragen / studentkenmerken
/cursus
Hoe succesvol was de student voordat die aan de cursus
begon?
Welke voorkennis heeft de student?
Heeft / hebben ze de juiste voorkennis?
Wat is de achtergrond (motivatie) van de student?
(vooropleiding, andere opleidingen?)
Heeft de student het beoogde leerpad gevolgd of heeft hij
zijn eigen traject gemaakt?
Is er een relatie tussen de score van de summatieve toets
en het studiegedrag (doet alle activiteiten, leest alle
materialen, is op tijd met inleveren etc) van de student?
Is er een relatie tussen het gebruik van de leermaterialen en
-activiteiten en de score van de formatieve toetsen?
Heeft de toetsmethode bijgedragen aan de leerdoelen?
Extra vragen
Extra vragen

23. Aan de slag
Drie likes
Eén dislike

24. Voorwaarden voor interventies

25. Eigenschappen interventies - Tijdig

26. Eigenschappen interventies - Persoonlijk

27. Eigenschappen interventies - Doel

28. Aandachtspunten interventies

29. Voorbeelden van tools

30. Setting the stage
•Learning analytics is an fast, upcoming field
•Set of tools depends on the context
- class/students
- teachers
- pedagogy
- organisation
- Etc
•Mix of bottom up and top down approaches

31. Basis infrastructuur

32. Uitgebreide infrastructuur

33. Student Success Plan
software application and process for student success,
designed to increase the persistence, success, and
graduation rates of targeted students. Through holistic
counseling, web-based support systems, and intervention
techniques, students are identified, supported and
monitored. Data is collected and analyzed to make
decisions about future efforts to promote student
success.
SSP is plugged into the predictive models of OAAI to warn
student advisors
Is a portlet within uPortal
http://www.studentsuccessplan.org

35. Open dashboard
• LTI enabled
• xAPI enabled
• Dashboards
• Cards
• JavaScript calls to
webservices
• Providers
- DB
- xAPI

36. Universiteiten werken samen: Visualisatie
• LTI enabled allows reuse (BlackBoard, Sakai, Moodle, uPortal,
Canvas, etc)
• xAPI enabled as common infrastructure
• Dashboards
• Cards as container enabling collaboration
• JavaScript calls to webservices (JAVA) - Well known Java frameworks
• Providers
- DB
- xAPI
- More
• Multi-tenanted - common hosting
• Runs at scale: More organizations are using - Shared risks,
increasing feature set, accelerated roadmap, open license, open
community

37. Hoe kan ik helpen?
Looking for suggested tools to advertised with
a neutral and detailed benchmark.
• Suggest elements to the benchmark.
• Suggested tools.
Here is the link to a Google form which enables
your feedback and if requested further contact.
http://goo.gl/forms/3bWdvkg1eA

38. Code Jam bouw onderwijsdashboards
8-9 dec 2015
SURFacademy, ondersteund door de
Universiteit van Amsterdam, het Europese
LACE-project en de Apereo Foundation,
organiseert op dinsdag 8 en woensdag 9
december 2015 een tweedaagse code jam
voor de ontwikkeling van een hoogwaardig
learning analytics dashboard.
https://www.surf.nl/agenda

39. Vooruitblik

40. W
Jocelyn.manderveld@surfnet.nl
@jocelynmary
www.linkedin.com/in/jocelynmanderveld
www.surfnet.nl
Creative Commons “Attribution” license:
http://creativecommons.org/licenses/by/3.0/