Sessieronde 4 (15.05-15.50)
Sprekers : Jop Esmeijer (TNO)
Locatie : Leeuwen Room I + II
Omschrijving : Learning Analytics lijkt grote mogelijkheden te bieden om het onderwijs te verbeteren, maar het ontwikkelen van een goede learning analytics toepassing is niet eenvoudig.De combinatie van technologische uitdagingen, didactische en ethische issues en de vraag hoe dit op succesvolle, duurzame wijze in de dagelijkse onderwijspraktijk geïmplementeerd kan worden, vereist een multidisciplinaire aanpak.
In deze workshop zullen we, onder andere aan de hand van
ervaringen uit de praktijk, ingaan op de belangrijkste vragen die je jezelf moet stellen als je met learning analytics aan de slag wilt gaan; zowel wat betreft de ontwikkeling als implementatie.
4. Om tebeginnen…
Grootste waarde van Learning Analytics zit niet in
een efficiëntere invulling van de huidige
onderwijspraktijk…
…Maar is vervlochten met de discussies over hoe
we onderwijs wel/niet in willen richten:
Gepersonaliseerdleren, (in)formeel leren
Een leven lang leren
Nieuwe vaardigheden
(Zelfsturende vaardigheden, 21stCenturySkills)
5. In dezepresentatie
Wat is learning analytics?
Het ontwerp van learning analytics toepassingen
Eenvoorbeeldvan onderzoekbij TNO
Richting de toekomst
7. Learning analytics
Learning analytics is the measurement, collection, analysis and
reporting of data about learners and their contexts, for purposes of
understanding and optimizing learning and the environments in which it
occurs (LAK 2011)
Ofwel…
Het verzamelen, verwerken en presenteren van (geanalyseerde)
data over de lerende en de leercontextom het
leerprocesteondersteunen.
18. Stap 0: start met ‘Waarom’?
En verschillende stakeholders hebbenverschillendewensen en
belangen:
“Onderwijsverbeteren” (en waternodig is omdatterealiseren)
betekentverschillendedingenvoorverschillende stakeholders
23. Nietalleen „waarom‟, maarook het aggregatie-niveau
Level of data aggregation
National
School
Class
Individual
Micro
Meso
Macro
24. Level of data aggregation
Policymaker
National
Schoolboard
School
Class
Teacher
Individual
Learner
Micro
Meso
Macro
25. Level of data aggregation
Policymaker
National
Schoolboard
School
Producer
of learning
materials
Producer
of ELE
and LTS
Class
Teacher
Individual
Learner
Micro
Meso
Macro
28. Het herkennen van leerstrategieën
Vraag:
Kunnen we leerstrategieën en leerstijlen herkennen in de data die ahv
vandedigitale lesmethode Schooltas van Thieme Meulenhoff verzameld
wordt? (resultaten medio 2014)
29.
30. Het herkennen van leerstrategieën
Vraag:
Kunnen we leerstrategieën en leerstijlen herkennen in de data die ahv
vandedigitale lesmethode Schooltas van Thieme Meulenhoff verzameld
wordt? (resultaten medio 2014)
Indien leerstrategieën herkend kunnen worden, kan het leerprogramma
meer adaptief gemaakt worden:
Leermateriaal aanbieden dat aansluit bij de individuele leerstijl
Bewust een gevarieerd aanbod bieden om andere leerstijlen te
stimuleren
32. Project II – Learning Analytics &Zelfsturendleren
Hoe kun je zelfsturendlerenondersteunen? Hoe kom je uit de
“Zelfsturendleren-paradox” en faciliteer je „shared control‟?
Hoe kun je „meta-vaardigheden‟ over
verschillendevakkenheenstructureeloefenen en monitoren? Dus hoe
combineer je zoweldomeinspecifiekekennis en vaardigheden, met
dezevakoverstijgendevaardigheden?
35. Vragenvoor de toekomst
Data voordidactiek
Gepersonaliseerd en adaptief
Privacy
Eigenaarschap van data, transparantie&controle
Huidigeonderwijscultuur
Autonomie
Vertrouwen en bemoeienis
Standaardisering&interoperabiliteit
36. Learning Analytics
Grootste waarde zit niet in een efficiëntere invulling van de
huidige onderwijspraktijk
Maar is vervlochten met de discussies over hoe we onderwijs
wel/niet in willen richten:
Gepersonaliseerdleren, (in)formeel leren, leven lang leren
Nieuwe vaardigheden
(Zelfsturende vaardigheden, 21stCenturySkills)
Learning Analytics stelt ons in staat om dit te ondersteunen.
Dit vraagt om de samenwerking:
Tussen verschillende disciplines
Verschillende stakeholders
38. The way ahead
• Learning Analytics is eenspeerpunt van TNO-onderzoek
• TNO werktgraagsamen met relevantepartijen.
• Erzijnnogveeluitdagingen.
• Watzijnúwvragen?
• Hoe gaan we (samen) door?
JopEsmeijer, TNO Informatiemaatschappij
jop.esmeijer@tno.nl
08886 62174
@jopesmeijer
39. Tussen Hoop en Vrees
Sterktes:
Zwaktes
Effectiviteit van het onderwijsverbeteren
Kennis/expertise (ontwikkeling/gebruik)
Inzicht
Kennisover welke data nu relevant is
Leerprestaties en voortgang
Technologischebeperkingen
Leerstrategieen en voorkeuren
Het moetoptimaalwerken
Gebruik van leermiddelen
Hogeinitiëlekosten
Voorbeleid
Privacy-gevoelig
Real-time inzichten en feedback
Sterktechnologie- en data-gedreven
Ondersteuningvoorlerenden en docent
Focus op „harde‟ data
Maatwerk
Versnipperingtotaalbeeld
Betrouwbaarheid
Verzamelenalsdoel op zich
Vergelijking is mogelijk
Weinigruimtedwarsdenkers
Motivatie door inzicht en feedback
Menselijkemaat op de tocht
Dwingt tot heldereleercontstructen
Risico op labeling
Verminderenschooluitval
Learning Analytics stelt ons in staat om dit te ondersteunen en te onderzoeken
Zodatbijvoorbeeld:Lerendeninzichtkrijgen in huneigenleerprocesDocentenoptimaalgepersonaliseerdonderwijskunnenaanbiedenBestuurders real time inzichtkrijgen in de rendementen van hunopleidingsinstituut
UvA
inBloom brings together student data, content and applications to support personalized learning.Focus:interoperabiliteit en Content Search Services in aanvulling op dashboards voorvoortgang studentHow does inBloom work?inBloom connects the multiple incompatible – and often outdated – systems school districts currently use to store student information and provides a secure, single-access point where teachers can access the student data they need to do their jobs more effectively. In many districts today, existing systems are incompatible with instructional tools because of inconsistent technical requirements. inBloom connects the many disparate systems and standardizes the connection between education tools and teachers. This allows districts to easily pilot and procure great instructional tools without spending unnecessary time and expense on making those tools work with outdated systems
Deze issues komenterug in het ontwerp en de implementatie van LA toepassingen.Alsereenaantal Learning Analytics spelers van betekeniszullenkomen, mogelijk met belangen in anderedomeinenzoalsleermiddelen, kaneronenigheidgaanontstaan over de standaarden die gebruiktworden. Erkaneenlandschap van verschillende tools ontstaan, die nieteenvoudig op elkaarzijnaantesluiten. Ditkanonderwijs op maat - waarbijlerenden, docenten en oudersafhankelijk van de leerlijn en de ontwikkelinggebruikmaken van open leermiddelen - in de wegstaan en zelfseenvorm van lock-in creërenvoor de gebruiker die beperktwordt in het aanbod van tools en leermiddelen. Het onderwijs is eenwereld op zich, en eenklaslokaalheefteeneigenecosysteem. Datsysteemwordtdeelsopengebroken door Learning Analytics, en datkandocenteneenonprettiggevoelgeven. Tegelijkertijdverandert Learning Analytics het onderwijssysteem en de onderwijscultuurwaarbijmeer de nadrukzalkomenteliggen op datagedrevenbesluitvorming. En daar zit nietiedereen op tewachten. Docentenzijn bang dathunautonomie en werkplezierwordtverminderdalsalleswatzijdoen met Learning Analytics tools ondereenvergrootglaswordtgelegd. Daarnaastvrezenzijeendatagedrevenafrekencultuurwaarinzijvoortdurendverantwoordingmoetenafleggen. Om met behulp van Learning Analytics onderwijs op maattekunnenbiedenmoetenerstandaardenkomen in de beschrijving van leeractiviteiten, leerniveaus, leermiddelen en toetsing, zodat het ‘systeem’ kanondersteunen in de optimaleinrichtinghiervan. Dezedatastandaarden – die als metadata aanbijvoorbeeldleermiddelengekoppelddienenteworden – zijnnognietaanwezig. Op dit moment wordenerallerlei Learning Analytics tools los van elkaarontwikkeld, zonderdaterrekeninggehoudenwordt met interoperabiliteit en gedeeldestandaarden.
Adaotiviteit: Kan Schooltaszodanigadaptiefwordengemaaktdat de leerlingen op optimalemanierkunnenleren en de (voor hen) meesteffectieveleerstrategieënkunnentoepassen? Kan learning analytics hieraanbijdragen, en zoja op welkemanier? Indien men op basis van de analyse van de gelogde data (met behulp van learninganalytics) in staat is om leerstrategieën van individuele leerlingen en de relatie met leerstijlen te identificeren, dan kan het leerprogramma vervolgens meer adaptief gemaakt worden aan de behoeften van individuele leerlingen. Enerzijds kan daarmee leermateriaal aangeboden worden dat aansluit bij de individuele leerstijl, maar anderzijds kan ook bewust gekozen worden voor een gevarieerder aanbod om ook andere leerstijlen te stimuleren. Dit zal uiteindelijk de effectiviteit van het leren kunnen verhogen (hogere scores op toetsresultaten), al dan niet in combinatie met een verhoogde efficiëntie (sneller leren, minder/andere begeleiding). In traditioneel onderwijs wordt doorgaans de les met relatief weinig ruimte voor verschillende leerstrategieën aangeboden. Nieuwe technologie biedt veel meer mogelijkheden voor adaptiviteit, waarvan wordt aangenomen dat dit leidt tot hogere effectiviteit.TriangulatieObservaties in de klasVragenlijstenaan de leerlingen (over leerstijlen en -strategieen)Data-analyses nav
Schooltasbiedtleerboeken, werkboeken, eenpersoonlijkschrift en prikkers die het mogelijkmakenominformatie, links, audio en video toe tevoegen en uittewisselen. Met z’nallen in de klas of rustigalleenthuis. Op dezemanierkoppeltSchooltas de vertrouwdelesmethodesaan de nieuwemogelijkheden van het digitaletijdperk. Schooltasmaaktdigitaallesgevenmogelijk. Schooltas is ervoor het basisonderwijs, voortgezetonderwijs en beroepsonderwijs.Schooltasblijft in beweging. Op basis van ervaringen van leerlingen en docentenontwikkeltSchooltaszich steeds verder.Nieuw in Schooltas is het digitaleWoordweb, dat je samen met de klasmaakt. Nógnieuwer is de functionaliteitwaarmee de docent via de iPadkanschrijven en tekenen in de boeken en werkschriften van de leerlingen. Handigvoortijdens de les. Maarook heel handigvoor het nakijkenachteraf.Wat is nogmeernieuw?>> Het persoonlijkprestatiescherm van de leerling. Met eenoverzicht van geplaatsteprikkers, gemaaktenotities en tekeningen, verzamelde ‘vindikleuks’ en de tijd die besteed is aanSchooltas.Erwordtvoorafeenbepaaldeperiodegekozen, bepaaldevakken (aardrijkskunde, Nederlands, en mogelijkooknatuurkunde), en twee representatieveklassen (br1v. a \AIVO en 2 VMBO). De scholenwordenzo divers mogelijkgekozen. De docent van de controlegroep en experimentelegroep is zomogelijkgelijkomniettevariëren in didactiek van de docent. Benodigdeaantallenzijnalsvolgt, voorallegroepen (experimentelevscontrolegroepen):. Data-analyses (learning analytics): 100 - 200 leerlingen. De data wordt in principeverzameld in de periodedat de leerlingenook de vragenlijstkrijgengepresenteerd, zodatergeenexternekoppelinggemaakthoefttewordentussendeze data en de vragenlijsten (zievolgende bullet).. Vragenlijsten: dezelfde 100 -200leerlingen van verschillendescholen in vergelijkbareklassen. De exactebenodigdeaantallenzijnafhankelijk van de diversiteittussenscholen/klassen en praktischehaalbaarheidv.w.b. organisatie op de scholen. Dezeworden in overleg met ThiemeMeulenhoffbepaald. . Observaties: I - 2 lessen per school . lnterviews: 1 - 2 docenten per school, enkeleleerlingen per klas.
Adaotiviteit: Kan Schooltaszodanigadaptiefwordengemaaktdat de leerlingen op optimalemanierkunnenleren en de (voor hen) meesteffectieveleerstrategieënkunnentoepassen? Kan learning analytics hieraanbijdragen, en zoja op welkemanier? Indien men op basis van de analyse van de gelogde data (met behulp van learninganalytics) in staat is om leerstrategieën van individuele leerlingen en de relatie met leerstijlen te identificeren, dan kan het leerprogramma vervolgens meer adaptief gemaakt worden aan de behoeften van individuele leerlingen. Enerzijds kan daarmee leermateriaal aangeboden worden dat aansluit bij de individuele leerstijl, maar anderzijds kan ook bewust gekozen worden voor een gevarieerder aanbod om ook andere leerstijlen te stimuleren. Dit zal uiteindelijk de effectiviteit van het leren kunnen verhogen (hogere scores op toetsresultaten), al dan niet in combinatie met een verhoogde efficiëntie (sneller leren, minder/andere begeleiding). In traditioneel onderwijs wordt doorgaans de les met relatief weinig ruimte voor verschillende leerstrategieën aangeboden. Nieuwe technologie biedt veel meer mogelijkheden voor adaptiviteit, waarvan wordt aangenomen dat dit leidt tot hogere effectiviteit.TriangulatieObservaties in de klasVragenlijstenaan de leerlingen (over leerstijlen en -strategieen)Data-analyses nav
This chicken-or-egg problem has been called the self-directed learning paradox (Corbalan, Van Merriënboer, & Kicken, 2010). It is difficult to take effective control when you have not yet developed SDL competences, but you cannot develop them when there are no opportunities to practice (Kinzie, 1990). A possible way out to this paradox is the notion of shared control, in which an external agent (computer, instructor) and the learner share control over the selection of learning tasks
Uit: Corbalan, G.,Esmeijer, J. Plas, I. van der, Penning, L. de (2013) Learning Analytics to support self-directed learning and learning transfer. TNO-report. TNO 2013 R11647 -Autonomie: watbepaalt het systeem?Zelfsturendleren:the SDL model identifies three elements that are essential for self-directed learning, that is to say, essential for learners to be able to take control over their own learning effectively: (Self-)Assessment and reflection; Formulation of learning needs and learning goals; Identification and selection of learning tasks, materials and resources (incl. interaction with the environment). Instructional model, what to control: Learning tasks. Tasks can vary in complexity level (from simple to complex), level of support (from work-out examples to conventional problems), or other task features that also vary in real life (Van Merriënboer, 1997). Tasks can also vary in the level of higher order skills that need to be applied (e.g., from reproduction to production; Blooms Taxonomy). Another difference in task types entails well-structured (i.e., only one possible solution possible) vs. ill-structured tasks (i.e., tasks with more than one possible solution possible), content, sequencing and pacing, and level of authenticity (e.g., a dummy, a model, a real job task). Learning materials that are required to carry out the tasks (e.g., open educational resources, commercial, digital material, video, audio books, eBooks, hypermedia, textbook, lecture notes, animations, games, simulations). Learning resources (incl. from the social and physical environment; e.g., feedback from the instructor, peers, parents, computer, etc and authentic tasks). according to the information in the gap analysis, the instructional model adapts the level of learner control over: (Self-)Assessment and reflection; Formulation of learning needs and learning goals; Identification and selection of learning tasks, materials and resources (incl. interaction with the environment).