Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Student Analytics - Connecting the dots! - HO-link 2017

Vrijdag 16 juni
Sessieronde 5
Titel: Student Analytics - Connecting the dots!
Spreker(s): Theo Bakker (Vrije Universiteit Amsterdam)
Zaal: Boston 19

  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Student Analytics - Connecting the dots! - HO-link 2017

  1. 1. CONNECTING THE DOTS! METHODE EN AANPAK VU STUDENT ANALYTICS 16 JUNI 2017, V1 HO-LINK
  2. 2. CONNECTING THE DOTS.... 2 Project Manager V
  3. 3. CONNECTING THE DOTS.... 3 V Project Manager
  4. 4. V STUDENT ANALYTICS AAN DE VU – DOET DE VU AAN BIG DATA? VOLUME V VARIETY V VELOCITY V VALUE V600+ externe uren 4.440 interne uren 2x 10 weken doorlooptijd 787 kenmerken 23 bronnen 7 jaar aan data 176.908 eerstejaars inschrijvingen 4.400.000 resultaten 21,8 GB aan data begeleiding 381 studenten wekelijkse frequentie van data 752 bestanden 3 academische jaren juni2017 6 wetenschappelijke projecten voorlichting 62.000 studenten 7 beleidsrapporten 12 beleids- dashboards 79 presentaties
  5. 5. WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (1) 5 Business User Database administrator (DBA) Data Scientist Privacy Officer Project Manager Project Sponsor Business Intelligence Analyst Data Engineer Security Officer Het VU Student Analytics project kent de volgende rollen V Theo OTIR-team + Weten- schappers OTIR-team VU-IT Externe partijen OTIR -team
  6. 6. V WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (2) 6 Social Learning Cycle in de information space – Boisot 1999 5 6 Concreet Niet verspreid Verspreid Abstract Gecodificeerd Nietgecodificeerd 1 2 3 4 4. Verspreiding van informatie Rapportages, dashboards, datasets voor wetenschappelijk gebruik Formeel Informeel 5. Absorptie Ontvangst van inzichten via meerdere kanalen Medewerkers (docenten en beleidsmedewerkers), studenten, 6. impact nieuwe beleid, transacties in systemen, OER, strategie, begeleiding, onderwijs systeeminrichting 3. Abstractie Analyse van data en creëren van inzichten Analyses, Werksessies 1. Verzameling Verzameling van data en feedback van gebruikers SIS, Studielink, NSE, CRM, etc 2. Codificering Engineering van data naar datasets Rapportages, data Combinatie van data, definitie van variabelen
  7. 7. WAT HEB JE NODIG? - HET NEGENVLAK VOOR INFORMATIEMANAGEMENT 7 Het negenvlak helpt bij het in kaart brengen van het raakvlak tussen organisaties en hun IT voorziening Het negenvlak voor informatiemanagement - Rik Maes (1999), naar Toon Abcouwer & Jan Truijens (1997) Strategie Instelling Informatie & communicatie strategie IT strategie Processen & procedures Data & Informatie Systemen Onderwijs & Onderzoek Persoonlijke informatie Werkplek Business Informatie & communicatie Technologie Beleid richten Structuur inrichten Uitvoering verrichten Inspireren Informeren
  8. 8. NEGENVLAK - INFORMATIEMANAGEMENT & ANALYTICS 8 Strategie Instelling Informatie & communicatie strategie IT strategie Processen & procedures Data & Informatie Systemen Onderwijs & Onderzoek Persoonlijke informatie Werkplek Business Informatie & communicatie Technologie Beleid richten Structuur inrichten Uitvoering verrichten • Analytics strategie • BI strategie • Aanlevering van bestanden • Automatisering / SLA’s • Beveiliging • Versiebeheer software • Installatie van software bij ontwikkelaars en eindgebruikers • Hardware• Monitor voor begeleiders • Klankbordgroep • Trainingsprogramma • Voorlichting over privacy & beveiliging • Pilot in onderwijs • Beleidsvorming & kwaliteitszorg • Gebruik in wetenschappelijk onderzoek • Onderwijsagenda • Instellingsplan • Bekostiging • Overleg met OCW • Toestemmings- verklaring • Levering aan - begeleiders - beleidsmedewerkers - wetenschappers • Privacy beleid • Stuurgroep • Communicatie (intern) & extern • Ethische uitgangspunten • Datakwaliteit • Validiteit methoden • Documentatie • Stijlgids • Issuetracking / Scrum 1 2 3 4 5 76 8 9
  9. 9. Geslacht Leeftijd op 1 oktober Land van herkomst VO Gezinssamenstelling Profielkeuze Vooropleiding en onderwijsinstelling Tussenjaren / Jaren sinds diploma Verblijfsjaren Voorlichting en introductie Matching Eindexamencijfers Uitslagen taaltoets VU Studieprestaties aan de VU Honours en Cum Laude Studenttevredenheid Uitval en diplomarendement Studiesucces & tevredenheid Stroominformatie Geografische spreiding (GIS) Kwaliteit scholen Achtergrond scholen 1. DATA – DATA EN KENMERKEN DIE ZIJN GEANALYSEERD 9 Instroom Vooropleiding & aansluiting Demografie Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is gebruikt voor analyses van studiesucces in de bachelor: Bijzondere persoonsgegevens Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het project: • Eerste generatie & etniciteit, geboorteland • Functiebeperking
  10. 10. 1. DATA – VALIDITEIT METHODIEK 10 VOORSPELMODEL BACHELOR UITVAL NA 1 JAAR BIJLAGE III – STUDENT ANALYTICS 2016 VERSIE 5, 6 MAART 2017 Martijn Meeter Hoogleraar Onderwijskunde VU Sandjai Bhulai Hoogleraar Data Analytics VU Wetenschappelijke bijlage voorspelmodel Data Scientist Wetenschappelijke toetsing Methodiek en uitkomsten gevalideerd door wetenschappers VU
  11. 11. 1. DATA – DOCUMENTATIE (1) 11 Productvisie - verantwoording selecties en scope van de data Inhoudsopgave I. Inleiding II. Context III. Scope IV. Ontwerpcriteria V. Verantwoording keuzes VI. Procedures levering datasets Business User Project Sponsor
  12. 12. 1. DATA – DOCUMENTATIE (2) 12 Documentatie analyseset (codebook) Beschrijving per variabele & mogelijke waarden Data Scientist
  13. 13. 1. DATA – DOCUMENTATIE (3) 13 Stijlgids Afspraak over codering van bestanden en het maken van code Data Scientist Business Intelligence Analyst Data Engineer
  14. 14. 1. DATA – ISSUETRACKING / SCRUM 14 SCRUM & JIRA Dagelijkse stand-up / sprints / JIRA Data Scientist Business Intelligence Analyst Data Engineer
  15. 15. 2. SYSTEMEN – AANLEVERING VAN DATA 15 Verrijkt 1CHO bestand Een imitatie van het 1CHO bestand voor gebruik in het najaar Analysesets Gecombineerde data, één regel per inschrijving. Resultaten met één regel per vak Dashboards Op basis van subsets van de analysesets Modellering • Tabellen per sleutel/niveau Manipulatie: • Transformeren, schonen, filteren • Start met inschrijvingstabel, toevoegen van additionele informatie. Brondata Databestanden zijn gepseudonimiseerd en op een beveiligde netwerkschijf gezet. Datamodel & datamanipulatie Resultaten De data is vervolgens in een model gevat en verder bewerkt* Inschrijving Student Resultaat Bronnen • DUO • CBS • MIVU / SAP SLM • Selligent • NOA (Matching) • Introductie • Taaltoets & bijspijker • NSE • Alumni Vervolgens zijn 4 views op de data gemaakt voor verschillende doeleinden* *Zie voor een toelichting op selecties en keuzes bijlage X Brondata is verzameld, gecombineerd, opgeschoond en getransformeerd en omgezet naar nieuwe datasets en rapportages Extracten voor wetenschappers Op basis van subsets van de analysesets
  16. 16. 2. SYSTEMEN – AANLEVERING VAN DATA 16 Database administrator (DBA) Systemen Geautomatiseerde aanlevering & beveiligingsplan Privacy Officer Security Officer
  17. 17. 2. SYSTEMEN – VERSIEBEHEER SOFTWARE 17 Systemen Versiebeheer software Data Scientist Business Intelligence Analyst Data Engineer
  18. 18. V 3. INSTELLING - WAT BETEKENT HET VOOR DE VU? 18 De VU Meer instroom van goed gemotiveerde studenten en betere relaties met toeleverende scholen met een unieke positionering. Hogere tevredenheid onder studenten en docenten. Meer baten door een gezonder evenwicht in bekostiging. Project Sponsor
  19. 19. V 3. INSTELLING - WAT BETEKENT HET VOOR DE VU? 19 Meer instroom van goed gemotiveerde studenten en betere relaties met toeleverende scholen met een unieke positionering. Hogere tevredenheid onder studenten en docenten. Meer baten door een gezonder evenwicht in bekostiging. De VU Project Sponsor
  20. 20. V 3. INSTELLING - WAT BETEKENT HET VOOR STUDENTEN & DOCENTEN? 20 Studenten & docenten Betere aansluiting van studenten vanuit hun vooropleiding. Betere mogelijkheden om actief te reflecteren op het eigen studiesucces en daarbij passende begeleiding te vinden. Beter inzicht in studenten en hun achtergrond voor begeleiding. Bron: Ad Valvas Business User
  21. 21. V 3. INSTELLING - WAT BETEKENT HET VOOR ONDERZOEKERS EN OOP? 21 Onderzoeker & beleidsmakers Beter inzicht in studenten en hun achtergrond. Ondersteuning kunnen bieden die aansluit bij de daadwerkelijke vraag van studenten en de behoefte van de onderwijsorganisatie. Mogelijkheden voor het doen van eigen onderzoek op rijke analysesets onder voorwaarden. BEVINDINGEN – SELECTIEVE WERKING 4 Mogelijke effecten van invoer van het BSA bij alle opleidingen die vanaf 2011 een BSA invoerden 1. Verbetering van de selectieve functie van het 1e jaar; studenten vallen eerder uit ten opzichte van de totale uitval. 2. Toename van het gemiddeld aantal behaalde studiepunten in het 1e jaar. 3. De verdeling van BSA adviezen over de jaren heen min of meer constant.CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS Uit een regressieanalyse van het inschrijvingsjaar 2014 blijkt dat er een significant verband is tussen het eindexamencijfer Nederlands en de taaltoets, maar dit verband is zwak. P < 0,0001, R2 = 0,155 Dit kan erop duiden dat de twee variabelen andere aspecten van de Nederlandse taal toetsen en elkaar aanvullen als het gaat om uitval; het kan ook liggen aan een achterliggende, nog onbekende variabele*. Er zijn studenten met een redelijk eindexamencijfer Nederlands die ook in aanmerking komen voor bijscholing. Deze groep kunnen we met de taaltoets identificeren. 16 Inschrijvingsjaar 2014 * Om hier uitspraken over te kunnen doen is nader onderzoek nodig. Business User
  22. 22. 4. PROCESSEN & PROCEDURES - TOESTEMMING 22 De aanpak voor begeleiding kent drie stappen We vragen studenten eerst toestemming om hun hun persoonsgegevens te mogen gebruiken voor proactieve en gerichte begeleiding. Bij studenten die toestemming hebben gegeven prioriteren we na iedere periode begeleiding en advies op basis van een kans op uitval. Vervolgens baseren we het advies en de verdere begeleiding op het tot dan toe getoonde studiegedrag (op de dimensies academische zelfmanagement/ motivatie en prestatie). % 56Kans op uitval Toestemming 1 2 3 ADVIES Privacy Officer
  23. 23. 5. INFORMATIE & COMMUNICATIE – PRIVACY & LEVERING 23 Business User Privacy OfficerLevering: PIA & doelbinding Per type bestand is bepaald aan wie het geleverd mag worden, en voor welk doel. Dit is vooraf gegaan door een Privacy Impact Assessment
  24. 24. 5. INFORMATIE & COMMUNICATIE – STUURGROEP 24 Stuurgroep Een brede samenstelling van verschillende rollen Business User Data Scientist Privacy Officer Project Sponsor Data Engineer Security Officer Leden • Hoofd Student- en Onderwijszaken • Privacy Officer • IT dienst • 2 Wetenschappers • Tutor • Studieadviseur • Opleidingsmanager • Student (USR) • Hoofd centrale studentbegeleiding Vergaderingen 1x per 6 weken een vergadering Project Manager
  25. 25. 5. INFORMATIE & COMMUNICATIE – ETHIEK 25 Code of conduct Waar staat de VU voor in het gebruik van Student Analytics Project Sponsor Business User PRIVACY & ETHISCHE UITGANGSPUNTEN CODE OF CONDUCT STUDENT ANALYTICS 2017 VERSIE 1, 15 MEI 2017 JUNI 2017, V2
  26. 26. 6. ONDERWIJS & ONDERZOEK – PILOT 26 Business User Privacy OfficerPilot Een gecontroleerd experiment bij 3 faculteiten waaraan ruim 800 studenten deelnemen en ca 25 begeleiders Bron: Ad Valvas Data Scientist
  27. 27. 6. ONDERWIJS & ONDERZOEK – BELEIDSVORMING 27 Business User Onderzoeksrapporten en dashboards Onderzoeken naar instroom, studiesucces, introductie, voorlichting, BSA, Taaltoets Data Scientist Business Intelligence Analyst CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS Uit een regressieanalyse van het inschrijvingsjaar 2014 blijkt dat er een significant verband is tussen het eindexamencijfer Nederlands en de taaltoets, maar dit verband is zwak. P < 0,0001, R2 = 0,155 Dit kan erop duiden dat de twee variabelen andere aspecten van de Nederlandse taal toetsen en elkaar aanvullen als het gaat om uitval; het kan ook liggen aan een achterliggende, nog onbekende variabele*. Er zijn studenten met een redelijk eindexamencijfer Nederlands die ook in aanmerking komen voor bijscholing. Deze groep kunnen we met de taaltoets identificeren. 16 Inschrijvingsjaar 2014 * Om hier uitspraken over te kunnen doen is nader onderzoek nodig.
  28. 28. 6. ONDERWIJS & ONDERZOEK – KWALITEITSZORG 28 Business User Kwaliteitszorg Mogelijkheden voor kwaliteitszorg beginnen te ontstaan Data Scientist Business Intelligence Analyst
  29. 29. 6. ONDERWIJS & ONDERZOEK – WETENSCHAP 29 Wetenschappelijk onderzoek Onderzoek naar diversiteit, effecten van matching en begeleiding, studiesucces studenten Geneeskunde, calculerend studeren, studiesucces studenten met een functiebeperking Data Scientist Datasets zijn geleverd aan - Martijn Meeter - Chris van Klaveren - Ilja Cornelisz - Maurice Krul - Mark de Jong - Ulviye Isik - Theo Bakker / Sander Begeer
  30. 30. 7. PERSOONLIJKE INFORMATIE - PILOT 30 Pilot Een gecontroleerd experiment bij 3 faculteiten waaraan ruim 800 studenten deelnemen en ca 25 begeleiders Business User
  31. 31. 7. PERSOONLIJKE INFORMATIE – TRAINING (1) 31 Training Data Science Datacamp abonnement, inkoop training Highland Statistics, literatuur, wekelijkse verdiepingssessie, Tableau training, informatiesessie privacy, onderlinge review van werk Data Scientist Business Intelligence Analyst Data Engineer
  32. 32. 7. PERSOONLIJKE INFORMATIE – TRAINING (2) 32 Het Student Analytics onderzoek 2016 is met een externe consultancy partij uitgevoerd voor de zomer van 2016. Parallel daaraan is gewerkt aan het verhogen van analytics inzichten, kennis en vaardigheden van de VU. In 2017 wordt het project zelfstandig door de VU uitgevoerd door beleidsmedewerkers kwaliteitszorg en wetenschappelijk personeel. Tijd Aandeel VU: zelf doen Extern: Kennisoverdracht, voordoen VU: meedoen Student Analytics 2016 Inzichten en Compenties Extern + VU: Samendoen Q1 2016 Q4 2017
  33. 33. 8. WERKPLEK – HARDWARE & SOFTWARE 33 Werkplek i7-6700 3.40GHz machine met Windows 7 Enterprise 64-bit en 16GB, R, R-studio, Bitbucket/SourceTree/GIT, Tableau Desktop Professional/ Tableau Reader, Tableau Powertools, MS Office Data Scientist Business Intelligence Analyst Data Engineer
  34. 34. 9. IT STRATEGIE – ANALYTICS (1) 34 We willen weten welke factoren bepalend zijn in studiesucces voor alle studenten en die gebruiken voor evidence based beleid en begeleiding VISIE EN STRATEGIE ANALYSE VAN DATA We weten op hoofdlijnen wat de huidige werkpraktijk is, hoe processen en systemen zijn ingericht, en wat onze huidige manier van denken en werken is. ANALYSE VAN WERKPRAKTIJK De totstandkoming van de analysesets willen we verder verbeteren. Alle analyses wil de VU zelfstandig uitvoeren. De uitkomsten van de analyses willen we verankeren in onze processen & procedures en informatiesystemen. Daarmee willen we betere voorlichting en begeleiding structureel faciliteren. BORGEN EN VERANDEREN De resultaten monitoren we om onze organisatie verder te verbeteren en onderwijsbeleid evidence based te ontwikkelen. MONITOREN EN VERBETEREN STUDIE- SUCCES We hebben (historische en nieuwe) studentdata geanalyseerd voor de BA. Dit breiden we uit naar analyses op PM en MA Voortbouwend op SA2016 wil de VU – door verbreding in Student Analytics 2017 – aansluiting, voorlichting en begeleiding optimaal en onderscheidend vormgeven in BA, PM en MA Ook weten we welke werving, voorlichting en begeleiding optimaal kan aansluiten bij de daadwerkelijke potentie en behoefte van onze studenten. Deze inzichten willen we verbinden aan de huidige werkpraktijk in BA, PM en MA. VOORLICHTING EN BEGELEIDING EVIDENCE BASED Project Sponsor
  35. 35. 9. IT STRATEGIE – ANALYTICS (2) 35 1 2 3 4 5 1 1 2 3 instroom Bachelor instroom instroom Premaster MasterAansluiting Uitval 1-2-3 & voorspelmodel jr 1 Diploma 3-4-5 0 2 3 Voorspelmodel diploma Uitval en rendement & voorspelmodel 4 Uitval en rendement & voorspelmodel doorstroom of arbeidsmarkt arbeidsmarkt 5 5 1 1 1 Instroom- prognosemodel We hebben 9 thema’s geïdentificeerd in de studieloopbaan waar analyses op uitgebreid kunnen worden: 1) instroomprognose, 2) afstuderen bachelor, 3) premaster, 4) master, 5) doorstroom en aansluiting arbeidsmarkt, 6) aansluiting VWO, A) internationalisering, B) excellentie en talent, en C) diversiteit. VWO 6 Internationalisering Excellentie en talent DiversiteitA B C Gerealiseerd in SA2016 Project Sponsor
  36. 36. 9. IT STRATEGIE – BUSINESS INTELLIGENCE & ANALYTICS 36 Student Analytics Verkennen en ontdekken, voorspellen, actiegerichte inzichten fore-sightinsighthindsight Business intelligence Feiten begrijpen, rapportage verleden en huidige prestatie Data extractie & integratie Prestaties meten & rapporteren Visualisaties Segmentatie & statistisch clusteren Voorspellende modellen Optimalisatie, simulatie & scenario analyse Management- informatie (MIVU) Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek. Project Sponsor
  37. 37. CONTACTGEGEVENS 37 Theo Bakker Strategisch Beleidsadviseur Studiesucces & Projectleider Student Analytics Student- en Onderwijszaken, Vrije Universiteit t.c.bakker@vu.nl | 06-25637172 Toestemming voor gebruik van gegevens uit deze publicatie Gebruik van gegevens uit deze publicatie is uitsluitend toegestaan onder voorwaarde dat het artikel waarin deze gegevens worden opgenomen door de VU gecontroleerd kan worden op feitelijke onjuistheden en deze – indien geconstateerd – worden aangepast. Daarnaast dient vermeld te worden dat het materiaal afkomstig is van de VU.

    Soyez le premier à commenter

    Identifiez-vous pour voir les commentaires

Vrijdag 16 juni Sessieronde 5 Titel: Student Analytics - Connecting the dots! Spreker(s): Theo Bakker (Vrije Universiteit Amsterdam) Zaal: Boston 19

Vues

Nombre de vues

1 048

Sur Slideshare

0

À partir des intégrations

0

Nombre d'intégrations

676

Actions

Téléchargements

17

Partages

0

Commentaires

0

Mentions J'aime

0

×