1. Samen aan het werk in sessie 6
Focus op Evaluatie (kwaliteit
leeromgeving)
Ilya Zitter
Versie 8 januari 2014

2. Programma
9:30 – 10:00
Kort dag doornemen
Module in vogelvlucht
10:00 – 12:00
Peer-reviewen: 3 rondes voor de lunch
30 minuten per peer-review: 5 minuten presentatie en 25 minuten
interactief peer-reviewen
Kies een kader (wel alle drie bij iedere peer-review):
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
Bouwstenen model ontwerpen beroepsgerichte leeromgevingen
12:00 – 13:00
Samen lunchen
13:00 – 13:30
Kennisintermezzo: Praktijkgericht onderzoek

3. Programma
13:30 – 15:30
Peer-reviewen: 3 rondes na de lunch
30 minuten per peer-review: 5 minuten presentatie en 25 minuten
interactief peer-reviewen
Kies een kader (wel alle drie bij iedere peer-review):
Kwaliteitscriteria (Van den Akker & Thijs, 2009)
Kwadranten van het model voor ontwerpen beroepsgerichte
leeromgevingen (Zitter, 2010)
Bouwstenen model ontwerpen beroepsgerichte leeromgevingen
15:30 – 16:00
In duo’s: Maak een plan voor het afronden van (her)ontwerpproces en opleveren
van de eindopdracht
16:00 – 16:30
Laatste keer terug en vooruitblikken

4. Module Onderwijs Ontwerpen
Iteratief (her)ontwerpen van een leeromgeving (5 ECTS of
veelvoud) voor eigen onderwijspraktijk centraal
In sessies 1, 3, 5 en 7 middels Leren op de werkplek/Zelfstudie
ondersteund met HUbl
In sessies 2, 4 en 6 face-to-face
Sessie 2 - kennismaken met ontwerpproces + focus op
analyse: simulatie hele ontwerpproces; analyseren van een
goed voorbeeld, competentiegericht onderwijs in het hbo,
gelaagdheid van een leeromgeving
Sessie 4 - focus ontwerp/ontwikkeling: uiteenrafelen van een
leeromgeving, concept ‘blended learning’
Sessie 6 - focus evaluatie (kwaliteit leeromgeving):
praktijkgericht onderzoek inbouwen en formatief evalueren in
vorm van peer-reviewen met 3 kaders

5. Kaders evaluatie
Bepalen van kwaliteit van een leeromgeving kan vanuit
verschillende perspectieven

6. Kwaliteitscriteria
Relevantie Het leerplan voorziet in behoeften en berust op
valide inzichten
Consistentie Het leerplan zit logisch en samenhangend in
elkaar
Bruikbaarheid
Verwachte: De inschatting is dat het leerplan praktisch
uitvoerbaar is in de situatie waarvoor het is bedoeld
Werkelijke: Het leerplan blijkt praktisch uitvoerbaar in de
situatie waarvoor het is bedoeld
Effectiviteit
Verwachte: De inschatting is dat werken met het leerplan
leidt tot de gewenste resultaten
Werkelijke: Werken met het leerplan blijkt te leiden tot de
gewenste resultaten
(Thijs & Van den Akker, 2009)

7. Model ontwerpen beroepsgerichte
leeromgevingen
(Zitter, Kinkhorst, Simons & Ten Cate, 2009; Zitter, 2010; Zitter,
De Bruijn, Simons & Ten Cate, 2010; Zitter e.a., 2011; Zitter e.a.,
2012;. Zitter & Hoeve, 2012; Zitter & Hoeve, 2013).

8. Vier bouwstenen
Rollen: Wie zijn er actief in leeromgeving?
Docenten, beroepspraktijk en studenten
‘Harkje’, Teamrollen, Onderwijsrollen
Ruimtes: Waar wordt geleerd?
Intra/extramuraal, binnenschools,
beroepspraktijk, simulatiepraktijk, thuis, HUbl,
Social media
Artefacten: Waarmee wordt geleerd?
Tastbaar onderwijsmateriaal en professioneel
gereedschap, inclusief software
Tijd: Wanneer wordt geleerd?
Beschikbare tijd, tempo en plannen, de volgorde
in de tijd, parallel, pauzeren, versnellen,
vertragen, onderbreken, minder dan/meer
dan/zelfde als in de beroepspraktijk

9. Samen lunchen
12:00 – 13:00

10. Praktijkgericht
onderzoek
Kennisintermezzo: Hoe kan ik praktijkgericht onderzoek
inbouwen in een leeromgeving?

11. Kennisstroom en
Praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom.
In J.E. van Aken en D. Andriessen (eds) Handboek
ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den
Haag

12. Kennisstroom en praktijkstroom
Andriessen, A. (2011). Kennisstroom en Praktijkstroom. In J.E. van Aken en
D. Andriessen (eds) Handboek ontwerpgericht wetenschappelijk onderzoek:
wetenschap met effect. Boom Lemma uitgevers: Den Haag

13. Praktijkonderzoek door
studenten
Opdrachten of projecten van studenten beschouwen
als cases
Studenten als onderdeel van opdracht/project
gedurende de uitvoering systematisch data laten
verzamelen  manier waarop inclusief ondersteuning
goed ontwerpen
Studenten als onderdeel van opdracht/project achteraf
systematisch data laten verzamelen  manier waarop
inclusief ondersteuning goed ontwerpen
Tijd inbouwen voor analyse
Creatieve vorm zoeken voor delen van resultaten:
mini-conferentie, website, presentatie aan werkveld,
publicatie voor opdrachtgever
Samenwerking zoeken met Lectoraat

14. Praktijkonderzoek als docent
Onderwijskundige onderzoeksvraag formuleren rond probleem
dat speelt in onderwijspraktijk
Leeromgeving of een deel hiervan beschouwen als casus
Systematisch formatief evalueren met peers, experts of
studenten  vorm van data verzamelen
Achteraf systematisch evalueren met peers, experts of studenten
 vorm van data verzamelen
Data analyseren en delen in vorm van presentatie, workshop,
conferentiebijdrage of praktijkpublicatie
Samenwerking zoeken met collega/expert/lector
Vorm van professionaliseren (LLL)

15. Meer weten?
Lectoraat Methodologie van Praktijkgericht
Onderzoek
http://www.onderzoek.hu.nl/Lectoraten/Daan%20A
Hoofdstuk Handboek Ontwerpgericht
Wetenschappelijk Onderzoek
http://www.dsrg.nl/docs/Hoofdstuk%2005%20Hand

16. Aan het werk
In duo’s of klein groepje plan opstellen voor afronden
van (her)ontwerp en opleveren eindopdracht

17. Eindopdracht
Analyse: analyserapport
Ontwerp leeromgeving, inclusief de keuzes voor het te
ontwikkelen papieren/digitale materiaal: ontwerp van
leeromgeving, in vorm van een Blokboek, Studentenhandleiding,
Modulewijzer, ofwel: het onderwijsmateriaal zoals dat voor
studenten wordt gemaakt.
Evaluatie: evaluatierapport
Ontwerpproces: logboek
Inleveren? Ontwerp leeromgeving + analyse + onderbouwing
ontwerp/ontwikkeling + evaluatie + logboek

18. Beoordeling
Foutje geslopen bij knippen en plakken in deelnemershandleiding
Deel
Analyse (analysedocument)
Onvoldoende
De analyse is niet passend en
ook niet systematisch uitgevoerd.
Niet alle relevante bronnen
(documenten en personen) zijn
betrokken in de analyse.
Voldoende
De analyse is deels passend en
systematisch uitgevoerd. Een
deel van de relevante bronnen
(documenten en personen) zijn
betrokken in de analyse.
Goed
De analyse is passend en
systematisch uitgevoerd. Alle
relevante bronnen (documenten
en personen) zijn betrokken in de
analyse.
Ontwerp, incl.
b
keuzes voor te
c
ontwikkelen
materiaal
(ontwerp-document)
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet niet in behoeften en
berust niet op valide inzichten (in
brede zin: gezien de relevante
grenzen, de interactie met
betrokkenen uit de omgeving en
de relevante theorie/praktijk).
Zit niet logisch en
samenhangend in elkaar.
De inschatting is dat het niet
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken niet leidt tot de gewenste
resultaten.
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet deels in behoeften en
berust deels op valide inzichten
(in brede zin: gezien de relevante
grenzen, de interactie met
betrokkenen uit de omgeving en
de relevante theorie/praktijk).
Zit deels logisch en
samenhangend in elkaar.
De inschatting is dat het deels
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken deels leidt tot de
gewenste resultaten.
Het ontwerp, incl. keuzes te
ontwikkelen materiaal:
Voorziet in behoeften en berust
op valide inzichten (in brede zin:
gezien de relevante grenzen, de
interactie met betrokkenen uit de
omgeving en de relevante
theorie/praktijk).
Zit logisch en samenhangend in
elkaar.
De inschatting is dat het
praktisch uitvoerbaar is in de
situatie waarvoor het is bedoeld.
De inschatting is dat ermee
werken leidt tot de gewenste
resultaten.
Evaluatie (evaluatie- d
rapport)
De evaluatie is niet passend en
ook niet systematisch uitgevoerd.
De rapportage van resultaten zijn
niet goed te volgen.
Het ontwerpproces is niet
transparant en niet goed te
volgen. Er is niet inhoudelijk
gereflecteerd op overwegingen
en ontwerpbesluiten.
De evaluatie is deels passend en
systematisch uitgevoerd en de
resultaten zijn deels navolgbaar
gerapporteerd.
Het ontwerpproces is deels
transparant en navolgbaar
doordat inhoudelijk is
gereflecteerd op overwegingen
en ontwerpbesluiten.
De evaluatie is passend en
systematisch uitgevoerd en de
resultaten zijn navolgbaar
gerapporteerd.
Het ontwerpproces is transparant
en navolgbaar doordat
inhoudelijk is gereflecteerd op
overwegingen en
ontwerpbesluiten.
Ontwerpproces
(logboek)
Nr
a
e

19. Terug & vooruit
De dag afsluiten – samen terugblikken naar de sessies
die zijn afgelopen en vooruit kijken naar toekomst

20. Principes Manifest HU 2012 hebben we
in BDB en deze module Onderwijs
Ontwerpen nagestreefd:
1.
2.
3.
4.
5.
6.
7.
8.
9.
...is het contact tussen docent en student intensief en op maat
...is het onderwijs een combi van face-to-face leren, online
leren en leren op de werkplek
...is de HU een verzameling van communities
...maakt onderzoek deel van de dagelijkse (onderwijs)praktijk
...hebben communities een eigen, herkenbare thuisbasis
...telt de HU veertigduizend verschillende leerwegen
...gebeurt toetsing goed geborgd en leerwegonafhankelijk
...is elke student een professional en elke professional een
potentiële student
...stuurt elke docententeam zelf op kwaliteit.

21. Terugblikken en vooruit kijken
Blik terug:
Hoe verliep het met leren op de
werkplek/zelfstudie met HUbl?
Hoe verliep deze laatste face-to-face sessie?
Kijk vooruit:
Hoe ga je afronden eindopdracht aanpakken?
Welke datum ga je inleveren?
Welke verwachtingen heb je over de rol van
onderwijs ontwerpen in je dagelijkse
onderwijspraktijk na afronden van module ?

22. Succes!
Tot ziens op HUbl (sessie 7) en face-to-face!