1. Jeroen Donkers, Universiteit Maastricht, O&O
Profanalytics.blogspot.nl

2.  Gefinancierd door Surf (Innovatieprogramma
learning analytics)
 Looptijd: maart-september 2012
 Opdracht van WiV
 Projectteam:
◦ Jeroen Donkers, Jean van Berlo, Daniëlle
Verstegen, Arno Muijtjens, Guido Tans, Peter Bex

3.  4 x per jaar, 8000 studenten geneeskunde in
5 instellingen tegelijkertijd
 200 MCQ vragen (met vraagteken) over de
hele stof
 Relatieve normering

5.  Relatie tussen het gebruik van ProF en de
voortgangstoets-resultaten
◦ Bepalen wat te meten
◦ Aanpassen van het ProF systeem om te meten
◦ Verzamelen van data
◦ Analyse en datamining
◦ Vertaling van de resultaten
 Vervolg: longitudinale effecten, visualisatie

6.  We hebben ProF aangepast zodat het met
Piwik kan werken:
◦ Piwik-koppeling is configureerbaar in ProF
◦ Navigatie via URLs is consequenter gemaakt
◦ User-defined variabelen voor o.a. Userid
◦ Piwik-sessie starten bij inloggen gebruiker
◦ Opt-out mogelijkheid
 We gebruiken de piwik API om gedetailleerde
gebruiksdata in XML vorm te downloaden

8.  Data verzameld in periode mei-juni
 De data uit Piwik is gekoppeld met de
uitslagen van de voortgangstoets van mei
 Analyse met behulp van
 Projet R
 RapidMiner, Kmine, ProM 6.1 (process mining)

9. Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan
jaar UM LUMC UMCN UMCG TOTAAL
1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172
2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227
3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209
4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162
5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045
6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797
totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612
 Meer gebruikt in het eerste jaar
 Veel gebruikt in jaar 1 Maastricht,
voornamelijk door het portfolio

10. TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER Vumc
TOTAAL toetsresultaat
jaar onvoldoende voldoende goed alles
1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172
2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227
3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209
4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162
5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045
6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797
alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612
 Goede studenten gebruiken ProF meer dan
studenten met een onvoldoende
 In jaar 4-6 is dat niet significant

11. ALLES ONVOLD
0.15
0.15
0.10
0.10
0.05
0.05
0.00
0.00
0 20 40 60 80 120 0 20 40 60 80 120
numactions numactions[outcome == 0]
VOLD GOED
0.15
0.15
0.10
0.10
0.05
0.05
0.00
0.00
0 20 40 60 80 120 0 20 40 60 80 120
numactions[outcome == 1] numactions[outcome == 2]

12. 50%
45%
Percentage van de sessies
40%
35%
30%
25% Onvold
20% Vold
15% Goed
10%
5%
0%
1 2-5 6-20 >20
Lengte van de sessie in aantal acties
 Gamma is -0.246: Slechte studenten hebben
langere sessies dan goede
 Veel sessies met maar één actie!

13.  Weinig patroon in volgorde: process mining
leverde niet veel op
 Daarom vooral naar tellingen gekeken: hoe
vaak kijken studenten naar bepaalde deel
aspecten

14. Verdeling fractie paginas met cumulatieve
Alles Onvold
800
60
Verdeling fractie paginas met details
40
400
Alles Onvold
20
25
400
0
0
(-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5]
15
200
0 5
0
(-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5]
Vold Goed
300
200
Vold Goed
100
0 100
150
50 100
0
50
(-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5]
0
0
(-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5]
Verdeling fractie paginas met goedscore
Verdeling fractie paginas met momentaan vs longitudinaal
Alles Onvold
Alles Onvold
0 10 20 30 40
400
500
30
200
0 10
0 200
0
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
(-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1]
Vold Goed
Vold Goed
150
100
50
0 50
200
150
0
(-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1]
100
0 50
0
(-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1]

15.  Piwik is erg nuttig
 Door koppeling van gebruik aan toetsdata
krijgen we nuttige informatie over hoe
studenten met het systeem omgaan
 Dit levert ons kennis om
◦ Het systeem aan te passen: andere openingspagina
◦ Instructie te verbeteren: omgaan met
cumulatieve, scoresoorten, ect
 We gaan door met meten om longitudinale
effecten te kunnen meten

16.  Je moet veel tools aan elkaar koppelen –
kennis van (script)talen (php, perl, sql, R) is
daarbij handig
 Werken met R bleek handiger dan met mooie
intractieve tools als RapidMiner, Knime en
ook PROM 6.1
 Privacy: mogen we dit zomaar allemaal doen?