Theo Bakker, VU - HOlink2018 - vrijdag 8 juni - sessieronde 4 - Boston 17

1. VAN INFORMATIE
NAAR ACCEPTATIE
ONDERZOEK NAAR STUDIESUCCES AAN DE VU
BINNEN RICHTLIJNEN VOOR ETHIEK EN PRIVACY
9 JUNI 2018, V1
HO-LINK

2. V
STUDENT ANALYTICS AAN DE VU – DOET DE VU AAN BIG DATA?
VOLUME
V VARIETY
V VELOCITY
V VALUE
V600+
externe
uren
5.768
interne
uren
sprints
van 3 weken
>1500
kenmerken
39
bronnen
7 jaar
aan data
169.023
inschrijvingen
4.400.000
resultaten
21,8
GB aan
data
begeleiding
381
studenten
dagelijkse
frequentie van data
752
bestanden
3
academische
jaren
Juni2018
10
wetenschappelijke
projecten
voorlichting
62.000
studenten
10 beleidsrapporten
>30 beleids-
dashboards
113
presentaties

3. DOELEN – WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN?
3
Student Analytics
Verkennen en ontdekken,
voorspellen, actiegerichte
inzichten
fore-sightinsighthindsight
Business intelligence
Feiten begrijpen,
rapportage verleden
en huidige prestatie
Data extractie
& integratie
Prestaties meten
& rapporteren
Visualisaties
Segmentatie
& statistisch clusteren
Voorspellende
modellen
Optimalisatie, simulatie
& scenario analyse
Management-
informatie (MIVU)
(SAP BW)
Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten
ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten
gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek.
V

4. Geslacht
Leeftijd op 1 oktober
Land van herkomst VO
Gezinssamenstelling
Profielkeuze
Vooropleiding en onderwijsinstelling
Tussenjaren / Jaren sinds diploma
Verblijfsjaren
Voorlichting en introductie
Matching
Eindexamencijfers
Uitslagen taaltoets VU
Studieprestaties aan de VU
Honours en Cum Laude
Studenttevredenheid
Uitval en diplomarendement
Alumnidata
Studiesucces & tevredenheid
Stroominformatie
Geografische spreiding (GIS)
Kwaliteit scholen
Achtergrond scholen
DATA – DATA EN KENMERKEN DIE ZIJN VERZAMELD
4
Instroom
Vooropleiding & aansluiting
Demografie
Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk
onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is
gebruikt voor analyses van studiesucces in de bachelor:
Bijzondere persoonsgegevens
Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het
project:
• Eerste generatie & etniciteit, geboorteland
• Functiebeperking

5. N
IET
ZO
FIJN
…

6. KWALITEITSBORGING
6
Hoe borgen we de kwaliteit van ons werk...
De VU

7. WE HEBBEN ONZE QUALITY ASSURANCE VERBETERD
7
Randall Munroe, CC BY-NC
Wat hebben we gedaan?
• Automatisering en testen van onze statistische waarde keten
• Statistisch documentatie van onze modellen
• Wetenschappelijke / academische reviews
• Disclaimers over correlatie and causalitet (next slide)
• Code of Practice Privacy en Ethiek
• Procedures om evidence based policy making te ondersteunen

8. DISCLAIMER & TOESTEMMING VOOR GEBRUIK VAN DIT MATERIAAL
8
Bij deze presentatie dient de lezer met het volgende rekening te houden:
Correlatie & causaliteit
Van de verbanden die zijn gevonden in dit onderzoek is geen causaliteit aangetoond;
enkel correlatie. Het kan zijn dat de correlatie verklaard wordt uit achterliggende,
interveniërende variabelen. Dit is niet bekend; verder onderzoek hiernaar is nodig.
Uitvoering van het onderzoek
Het onderzoek is uitgevoerd door de VU in samenwerking met Deloitte Consulting. Het
rapport is geschreven door medewerkers van het team Institutional Research van de
afdeling Onderwijs- en Studentzaken.
Representatief enkel voor de VU
De uitkomsten van dit onderzoek zijn representatief voor de bachelor instroom in de VU
(eerstejaars opleiding aan de instelling van 2010 tot en met 2015); het is niet gezegd dat
deze uitkomsten ook voor overige Nederlandse universiteiten van toepassing zijn.
Toestemming voor gebruik van gegevens uit deze publicatie
Gebruik van gegevens uit deze publicatie is uitsluitend toegestaan onder voorwaarde dat
het artikel waarin deze gegevens worden opgenomen door de VU gecontroleerd kan
worden op feitelijke onjuistheden en deze – indien geconstateerd – worden aangepast.
Zie het colofon voor contactgegevens (laatste pagina).

9. VEEL
B
ETER
!

11. ROLLEN – SLEUTELROLLEN IN ANALYTICS
11
Business
User
Database
administrator (DBA)
Privacy
Officer
Project
Manager
Project
Sponsor
Business
Intelligence
Analyst
Security
Officer
In de ontwikkeling
en toepassing van
Analytics zijn de
volgende
sleutelrollen van
belang geweest:
V
Data
Engineer
Data
Scientist

12. KWALITEITSZORG – STATISTISCHE WAARDEKETEN
12
Bron: CBS 2013, p7 (vertaald)
.
Ruwe data
Technisch
correcte data
Consistente
data
IV Verrijkte
Analyseset
V Statistische
resultaten
variabele controle, normalisatie
repareren en opvullen
schatten, analyseren, afleiden.
tabellen, plots
Statistische
waardeketen
Per stap in de keten neemt de waarde en
bruikbaarheid van de data toe
1. > 2. Naar technisch correcte data
DTMAANMLDNG > INS_Datum_aanmelding
2. > 3. Naar consistente data
Format: dd-mm-yyyy;
Missende data opvullen met de meest
voorkomende aanmelddatum (= 30 april)
3. > 4. Naar een verrijkte analyseset
INS_Aantal_dagen_tussen_aanmelding_en_1_
september
INS_Aanmelding_na_deadline
OPL_Deadline_aanmelding
4. > 5. Naar statistische resultaten
Kans op uitval in relatie tot aantal dagen tot 1
september.
5. > 6. Naar actiegerichte inzichten
VI Rapporten,
dashboards,etc
Verrijken en samenvoegen
1
2
3
4
5
6

13. KWALITEITSZORG – STATISTISCHE WAARDEKETEN
13
Tableau gebruiken we voor het snel visualiseren van mogelijke verbanden
en toelichtingen in rapporten.
Ter illustratie

14. KWALITEITSZORG – STATISTISCHE WAARDEKETEN
14
VOORSPELMODEL BACHELOR
UITVAL NA 1 JAAR
BIJLAGE III – STUDENT ANALYTICS 2016
VERSIE 5, 6 MAART 2017
Martijn Meeter
Hoogleraar
Onderwijskunde VU
Sandjai Bhulai
Hoogleraar
Data Analytics VU
Wetenschappelijke bijlage
voorspelmodel
Wetenschappelijke toetsing
Methodiek en uitkomsten worden gevalideerd door wetenschappers van de VU

15. PRIVACY & ETHIEK
15
Uitgangspunten
ten aanzien van privacy & ethiek...
De VU
CODE OF PRACTICE
STUDENT ANALYTICS 2017
UITGANGSPUNTEN IN PRIVACY & ETHIEK
11 OKTOBER 2017, V0.9
CONCEPT

16. ETHIEK & PRIVACY – CODE OF PRACTICE
16
Code of Practice
Waar staat de VU voor in het gebruik van Student Analytics
CODE OF PRACTICE
STUDENT ANALYTICS 2017
UITGANGSPUNTEN IN PRIVACY & ETHIEK
11 OKTOBER 2017, V0.9
CONCEPT
In februari 2018 heeft de VU een Code of Practice Privacy & Ethiek
gepubliceerd voor Student Analytics
Deze Code of Practice is bedoeld om:
I. Studenten te informeren over wat
Student Analytics is en de wijze
waarop de VU hun
persoonsgegevens in dit kader
verwerkt.
II. Medewerkers en onderzoekers
te informeren over de wijze waarop
Student Analytics binnen de VU
mag worden ingezet en de
waarborgen die daarbij in acht
moeten worden genomen.

17. ETHIEK & PRIVACY – EEN KORTE GESCHIEDENIS
1. Pilot project met analyse van data
• Proof of concept met Deloitte - Project Privacy
Impact Assessment (PIA) – overleg uitkomsten met CvB
2. Uitbreiding project & pilot met begeleiding van studenten
• Uitbreiding Student analytics - Project PIA
• Toestemmingsprocedure voor pilot met begeleiding van studenten
3. Onderzoek naar ethische vraagstukken
• Code of practice v1 – privacy; klankbordgroep – ethische vragen
(Studenten, studentbegeleiders, docenten)
• Code of practice v2 – privacy & ethiek
4. Procedure voor verdere verspreiding binnen en buiten de VU
• Procedure voor kennisname door personeel
• FAQ voor studenten (met USR)
• Code of practice v2 CC – privacy & ethiek – Creative Commons
• Engelse vertaling
17
2014
2015
2016
2017
2018

18. ETHIEK & PRIVACY – THEMA’S DIE MEESPELEN
Verantwoordelijkheid
Transparantie & Instemming
Toegankelijkheid
Privacy
Validiteit van onderzoek
Positieve interventies mogelijk maken
Negatieve effecten zo klein mogelijk maken
Zorgvuldig beheer van de data
18
Voorbeeld Code of practice
van JISC
Op de volgende thema’s wilden we een duidelijke,
publieke visie formuleren
NB De situatie in de UK is niet 1-op-1 gelijk
aan de situatie in Nederland

19. ETHIEK & PRIVACY – JURIDISCHE ZAKEN
Verantwoordelijkheid
Transparantie & Instemming
Toegankelijkheid
Privacy
Validiteit van onderzoek (M. Meeter)
Positieve interventies mogelijk maken
Negatieve effecten zo klein mogelijk maken
Zorgvuldig beheer van de data
19
Op de meeste onderdelen was deze visie al
uitgewerkt door de privacy officers van
Juridische Zaken
Petra Tolen en Tom Paffen

20. ETHIEK & PRIVACY – DISCUSSIE OVER INSTEMMING & ETHIEK
Verantwoordelijkheid
Transparantie & Instemming
Toegankelijkheid
Privacy
Validiteit van onderzoek
Positieve interventies mogelijk maken
Negatieve effecten zo klein mogelijk maken
Zorgvuldig beheer van de data
20
A. Inspraak
& instemming
B. Positieve
interventies
mogelijk maken
C. Negatieve
effecten zo klein
mogelijk maken
Voor verdieping van een aantal thema’s hebben we
een bijeenkomst georganiseerd met studenten en
medewerkers

21. CASE – LATE AANMELDERS
Uit student analytics onderzoek blijkt dat studenten die zich
na 1 mei aanmelden vaker uitvallen. Hoe dichter bij 1
september, des te hoger de uitval. Ook komen zij niet naar
introductiedagen.
Een opleidingsdirecteur wil op basis hiervan studenten die
na 1 mei komen voortaan strenger beoordelen en hen
niet meer toelaten. Hij stelt voor om een geautomatiseerde
mail te maken die de studenten direct afwijst.
• Wat vind je vanuit de wet op de privacy van deze
praktijk?
• Wat vind je vanuit ethische uitgangspunten van deze
praktijk?
• Wat vind je vanuit validiteit van conclusies van deze
praktijk?
21
1

22. CASE – LATE AANMELDERS
Privacy
• Geautomatiseerde toepassing van algoritmes zonder
menselijke tussenkomst is niet toegestaan
Ethische uitgangspunten
• De VU wil een inclusieve universiteit zijn. Selectie op basis
van student analytics is niet toegestaan
Validiteit
• Een late keuze duidt vaak op een langere geschiedenis in het
VWO en HO, niet per se op gebrek aan motivatie. Met name
studenten die herexamens doen, een negatief BSA hebben
elders, een HBO-P diploma of zijn uitgeloot bij Geneeskunde
schrijven zich later in.
22
Beleid
• We passen voorlichtingsteksten van de website in het algemeen aan zodat
late studenten zich beter herkennen (voorgenomen beleid)
• We overwegen aanvullend open dagen te organiseren in de zomer
• We hebben een 2-daagse introductie georganiseerd met praktische
aanwijzingen naast een 5-daagse introductie
1

23. CASE – ONDERWIJSVERNIEUWING
OCW schrijft een subsidie uit voor docenten voor verbetering
van onderwijs. Een docent belt op naar het Student Analytics
team met de vraag hoeveel studenten er met een allochtone
achtergrond zijn en wat hun studiesucces is.
Op basis hiervan wil zij haar onderwijs aanpassen zodat
allochtone studenten betere studierendementen halen.
Dit wil ze in haar voorstel voor OCW opnemen.
• Wat vind je vanuit de wet op de privacy van deze
praktijk?
• Wat vind je vanuit ethische uitgangspunten van deze
praktijk?
• Wat vind je vanuit validiteit van conclusies van deze
praktijk?
23
2

24. CASE – ONDERWIJSVERNIEUWING
Privacy
• Informatie over etniciteit valt onder bijzondere
persoonsgegevens. Deze mogen niet gebruikt worden voor de
ontwikkeling van onderwijsbeleid, zonder toestemming van de
student.
Ethische uitgangspunten
• De VU wil een inclusieve universiteit zijn. Daarom ondersteunt
zij wetenschappelijk onderzoek naar het studiesucces van
studenten door wetenschappelijk personeel.
Validiteit
• De hoogleraar diversiteit, Maurice Crul, heeft een onderzoek
uitgevoerd naar het studiesucces van allochtone studenten in
samenwerking met de EUR en LEI.
24
Beleid
• De docent kan verwijzen naar het algemene onderzoeksrapport over
studiesucces van de hoogleraar diversiteit. Data over uitval in relatie tot
etniciteit wordt niet ter beschikking gesteld.
• In de uitvoering van het onderzoek kan de docent rekening houden met
etniciteit en gebruik maken van data uit Student Analytics, maar alleen met
toestemming van de deelnemende studenten.
2

25. CASE – LANGSTUDEERDERS
Uit Student Analytics blijkt dat bij een opleiding
langstudeerders die twee jaar langer studeren al in jaar 1 van
12 studiepunten een achterstand hebben.
Studieadviseurs willen op basis hiervan alle studenten met
12 punten achterstand na jaar 1 specifiek oproepen en en
een gerichte mailing maken voor deze groep om alvast op
gesprek te komen.
• Wat vind je vanuit de wet op de privacy van deze
praktijk?
• Wat vind je vanuit ethische uitgangspunten van deze
praktijk?
• Wat vind je vanuit validiteit van conclusies van deze
praktijk?
25
3

26. CASE – LANGSTUDEERDERS
Privacy
• Door alleen studenten met 12 punten achterstand op te roepen in jaar 2
wordt profiling toegepast. Dit is niet toegestaan zonder toestemming van de
student. Overwogen kan worden deze toestemming bij de start van het 1e
jaar te vragen.
Ethische uitgangspunten
• De VU wil dat Student Analytics ingezet wordt voor het studiesucces van alle
studenten. Daarom wil de VU deze informatie gebruiken voor verbetering
van algemene voorlichting en begeleiding.
Validiteit
• Hebben alle studenten met 12 punten achterstand 2 jaar vertraging?
• Welke studenten hebben naar verhouding vaker deze achterstand in jaar 1?
Is er een verband met de vooropleiding/profielkeuze en het curriculum?
• Wanneer komen de studenten die het betreft erachter dat ze langer zullen
gaan studeren? Wanneer komen zij bij de studieadviseur?
26
Beleid
• Het eerste jaar wordt geanalyseerd op struikelvakken in relatie tot de vooropleiding;
hiermee kan aanvullende voorlichting ontworpen worden of aanvullende training op
deficiënties, bijv. wiskunde of juist het lezen van academische teksten.
• Alle studenten in het tweede jaar krijgen algemene informatie over studievoortgang en
achterstand in het tweede jaar en de mogelijkheid van een studievoortgangsgesprek;
struikelvakken in jaar 2 worden niet parallel gepland aan die van jaar 1.
3

27. ETHIEK & PRIVACY – DE UITKOMSTEN ZIJN VERWERKT IN DE CODE OF PRACTICE
27
De ethische uitgangspunten die daaruit voortkwamen
zijn gekoppeld aan de kernwaarden van de VU
VERANTWOORDELIJK
PERSOONLIJK
OPEN
Het belang van de student
• Verantwoord en wezenlijk onderdeel van de onderwijspraktijk
• Onpartijdige en inclusieve deelname aan onderwijs
• Naleving van privacy en zorgvuldige afweging van voor- en nadelen
Studiesucces
• Verbetering van evidence based begeleiding, beleid,
aansluiting en facilitering van wetenschappelijk onderzoek
Transparantie
• Gebruik van data in uitvoering en besluitvorming
• Instructies aan gebruikers
• Individuele toepassing van prognosemodellen
alleen met toestemming van de student
Ontleend aan CSU Learning Analytics Code of Practice 2016

28. ETHIEK & PRIVACY – DISCUSSIE OVER INSTEMMING & ETHIEK
28
1. Inspraak van studenten
op analytics
Hoe kunnen het beste studenten inspraak hebben op
de data die verzameld wordt en hoe die gebruikt
worden voor analytics?
2. Nadelige invloed van
opt out door een individu
Als een student de gelegenheid heeft om geen
toestemming te geven om data te gebruiken, kan dit
dan een negatieve impact hebben op zijn/haar
academische voortgang?
3. Nadelige invloed van
opt out op een groep
Als individuele studenten geen toestemming zouden
geven, wordt de dataset dan incompleet, waardoor de
accuraatheid en effectiviteit van analytics voor de
gehele groep mogelijk afneemt?
4. Gebrek aan een vrije
keuze om wel of niet in te
stemmen
Hebben studenten echte keuzevrijheid als er vanuit een
onderwijsinstelling druk wordt uitgeoefend of omdat zij
denken dat hun academisch succes beïnvloed kan
worden als zij niet instemmen?
A. Inspraak & instemming

29. DISCUSSIE PRIVACY & ETHIEK
29
B. Positieve interventies mogelijk maken
1. Plicht van de
onderwijsinstelling om
te handelen
Welke plicht heeft een onderwijsinstelling om te handelen, als
er bewijs is dat studenten baat kunnen hebben met extra
ondersteuning?
2. Plicht van studenten
om te handelen
Welke plicht hebben studenten als analytics aanbevelingen
zou doen om hun studievoortgang te verbeteren?
3. Conflict met
studiedoelen
Wat zou een student moeten doen als deze aanbevelingen in
conflict zijn met zijn/haar studiedoelen?
4. Plicht om directieve
adviezen te geven
Welke plicht heeft een onderwijsinstelling naar de student als
analytics zou aanbevelen om een studiepad niet verder te
volgen?
5. Soort interventies Hoe kunnen we het beste bepalen welke interventies geschikt
zijn?
6. Noodzakelijkheid voor
menselijke tussenkomst
Is het beter om analytics te presenteren via een intermediair
(bijv. een begeleider of tutor) of zou dit via een systeem
kunnen gebeuren?

30. DISCUSSIE PRIVACY & ETHIEK
30
C. Negatieve effecten zo klein mogelijk maken
1. Bevoordelen van
sommige groepen
Hoe wordt voorkomen dat interventie strategieën sommige
groepen bevoordelen?
2. Invloed van
bevooroordeling
Hoe voorkomt een onderwijsinstelling dat labelling of
profiling leidt tot bevooroordeling van medewerkers en hun
houding naar studenten?
3. Oversimplificatie Hoe kan een onderwijsinstelling voorkomen dat besluiten
genomen worden op te simpele variabelen die persoonlijke
omstandigheden niet meenemen?
4. Nadelige invloed
op studiegedrag
Als studenten inzicht krijgen in data over hun prestaties,
hoe wordt voorkomen dat dit een nadelige invloed heeft op
hun studiegedrag en de kans op uitval verhoogt?

31. ETHIEK & PRIVACY – DE UITKOMSTEN ZIJN VERWERKT IN DE CODE OF PRACTICE
31
Per toepassingsgebied zijn de uitgangspunten,
doelen en privacy richtlijnen gedetailleerd uitgewerkt
1. Visie
2. Ethische uitgangspunten
a. Het belang van de student
b. Studiesucces
c. Transparantie
3. Domeinen & doeleinden
a. Beleidsvorming
b. Studentbegeleiding
c. Wetenschappelijk onderzoek
d. Aansluiting VO/HBO > WO
4. Privacy
I. Beleidsvorming
II. Studentbegeleiding
III. Wetenschappelijk onderzoek
IV.Aansluiting VO/HBO > WO
I. Beleidsvorming
II. Student-
begeleiding
III. Wetenschappelijk
onderzoek
IV.Aansluiting
VO en HBO
Onderdelen
1. Welke gegevens,
bijzondere
persoonsgegevens, doel
2. Wettelijke grondslag
3. Bijzondere voorwaarden
4. Informatie aan
studenten
5. Eindverantwoordelijke
6. Toegang
7. Deling met derden
8. Beveiliging
9. Bewaartermijn
10. Rechten van studenten
1 2 3

32. CONTACT
32
Theo Bakker
Senior Beleidsadviseur Studiesucces & Onderwijslogistiek
Student- en Onderwijszaken, Vrije Universiteit
t.c.bakker@vu.nl | 06-25637172
Jelger van Zaane
Data Engineer & Beleidsadviseur Student Analytics
Student- en Onderwijszaken, Vrije Universiteit
j.d.van.zaane@vu.nl | 020-5982330

33. VOORWAARDEN VOOR GEBRUIK VAN DEZE PUBLICATIE (1/2)
Deze uitgave deelt de VU met externen onder de
Creative Commons licentie:
Naamsvermelding-NietCommercieel-GelijkDelen.
33
Dit is de vereenvoudigde (human-readable) versie van de volledige licentie en geen vervanging van de
volledige licentie. Vrijwaring.
Je bent vrij om:
• het werk te delen — te kopiëren, te verspreiden en door te geven via elk medium of
bestandsformaat
• het werk te bewerken — te remixen, te veranderen en afgeleide werken te maken
• De licentiegever kan deze toestemming niet intrekken zolang aan de licentievoorwaarden voldaan
wordt.
Onder de volgende voorwaarden:
• Naamsvermelding — De gebruiker dient de maker van het werk te vermelden, een link naar de
licentie te plaatsen en aan te geven of het werk veranderd is. Je mag dat op redelijke wijze doen,
maar niet zodanig dat de indruk gewekt wordt dat de licentiegever instemt met je werk of je gebruik
van het werk.
• NietCommercieel — Je mag het werk niet gebruiken voor commerciële doeleinden.
• GelijkDelen — Als je het werk hebt geremixt, veranderd, of op het werk hebt voortgebouwd, moet je
het veranderde materiaal verspreiden onder dezelfde licentie als het originele werk.
• Geen aanvullende restricties — Je mag geen juridische voorwaarden of technologische
voorzieningen toepassen die anderen er juridisch in beperken om iets te doen wat de licentie
toestaat.

34. VOORWAARDEN VOOR GEBRUIK VAN DEZE PUBLICATIE (2/2)
(Vervolg)
34
De volledige versie van de licentie op deze publicatie is van toepassing. Zie
https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode.nl
Let op:
Voor elementen van het materiaal die zich in het publieke domein bevinden, en voor vormen van
gebruik die worden toegestaan via een uitzondering of beperking in de Auteurswet, hoef je je niet aan
de voorwaarden van de licentie te houden.
Er worden geen garanties afgegeven. Het is mogelijk dat de licentie je niet alle gebruiksvrijheden geeft
die nodig zijn voor het beoogde gebruik. Bijvoorbeeld, andere rechten zoals publiciteits-, privacy- en
morele rechten kunnen het gebruik van een werk beperken.