Presentatie op de VOR-devisie L&L, 13 april 2017

1. Hoe draagt een datateam bij
aan de professionele ontwikkeling van lerarenopleiders
in het gebruik van data om hun opleidingspraktijk te verbeteren?
Erik Bolhuis, Hogeschool Windesheim Email: e.d.bolhuis@utwente.nl.
Joke Voogt, Universiteit van Amsterdam & Hogeschool Windesheim. Email: j.m.voogt@uva.nl
Kim Schildkamp, University van Twente. Email: k.schildkamp@utwente.nl
Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, email: e.d.bolhuis@utwente.nl.

2. Introductie
• Gebruik data kan leiden tot hogere leerprestaties
• Data blijven ondergebruikt
• Professionaliseren zou een bijdrage kunnen leveren aan
het gebruik van data

3. Definities 1:
Datagebruik: assessment (e.g., Astin, 2012), data based
decision making (e.g. Wayman, Cho & Jimerson, 2015), data
informed decision making (e.g., Means, Padilla, DeBarger &
Bakia, 2009), data informed improvement (Supowitz, Foley &
Mishook, 2012; ), evidence based improvement (Blanc,
Christman & Liu, 2010), data informed decision making (e.g.,
Picciano, 2012), of data use genoemd (e.g., Slavit, Kennedy,
Lean, Nelson & Deuel, 2011).

4. Definities
Onder data (meervoud) wordt een continuüm verstaan van kleine
stukjes ruwe informatie die de onderwijspraktijk weergeeft, tot
geïnterpreteerde data die leiden tot het nemen van actie
(Mandinach, Honey, Light & Brunner, 2008). Data kunnen kwalitatief
en kwantitatief zijn en kunnen bijvoorbeeld toetsresultaten,
evaluatiegegevens, curriculumgegevens of observatiegegevens zijn.
Deze data worden, door context-informatie toe te voegen, omgezet
in kennis. Deze kennis vervolgens leidt tot het nemen van actie
(Mandinach & Gummer, 2016).

5. Onderzoeksvraag
Hoe draagt een datateam bij
aan de professionele ontwikkeling van
lerarenopleiders
in het gebruik van data om hun
opleidingspraktijk te verbeteren?

6. Theoretische concepten
• Datagebruik
• Factoren van invloed op datagebruik
• Professionalisering
• Kennis, vaardigheden en attitude

7. Factoren datagebruik
• Data- en dataopslag (b.v kwaliteit, toegang
tot)
• Gebruikers (b.v. kennis, vaardigheden,
attitude)
• Samenwerken
• Organisatie (b.v. visie, normen en doelen)

8. Drie soorten datagebruik (Williams, 2013):
Datagebruik: Data: Voorbeelden:
Ter
verantwoording
Rankings,
rendementen
Accreditatie, NSE
School
ontwikkeling
Rendementen,
toetsuitslagen
enquêtes, intake
Groenpluk-analyse
Verbeteren
instructie
toetsuitslagen,
studentgegevens,
online activiteiten
Op basis van een
formatieve toets
onderwijs aanpassen

9. Datavaardigheden:
• Probleem kiezen en hypotheses formuleren
• Data verzamelen en de kwaliteit van data
beoordelen (validiteit & betrouwbaarheid)
• Data omzetten naar informatie (analyseren,
interpreteren en conclusies trekken)
• Maatregelen ontwikkelen
• Maatregelen evalueren

10. Attitude
• De overtuiging dat data een bijdrage
kunnen leveren aan verbeteren van
onderwijs en instructie (Marsh, 2012)

11. Professionaliseren 1
• Professionaliseren middels een datateam
(Schildkamp, et al., 2014)
• Datateams hebben veel kenmerken van
effectieve vormen van professionaliseren
(Desimone, 2011; Losmos, Hofman & Bosker, 2011; Van Veen, Zwart, Meirink & Verloop, 2010;
Vescio, Ross & Adams, 2008)

12. Onderzoeksvragen
1. Op welke manier besteden lerarenopleiders aan de pabo
aandacht aan datagebruik in de opleiding?
2. Welke bijdrage levert participatie in een datateam aan het
professionaliseren van datateamleden?
3. Welke factoren met betrekking tot data en data
informatiesystemen bevorderen en belemmeren de diepgang van
de gesprekken in het datateam?
4. Hoe verwerven lerarenopleiders, die participeren in een data
team, kennis en vaardigheden in het werken met data en wat
levert dit op voor het werken met data in hun beroepspraktijk?

13. Methode
Onderzoek 1: Kwantitatief + kwalitatief onderzoek. Instrumenten: Vragenlijst (n =
113) & Interview (n = 5). Analyse: SPSS, beschrijvende statistiek en Regressie
analyse. Cross-case ordered matrix.
Onderzoek 2: Kwalitatief. Instrumenten: 11 observaties, interviews (n = 6). Analyse:
coderen, analyse op leereffecten en reacties.
Onderzoek 3: Kwalitatief. Instrumenten: 19 observaties, interviews (n = 8). Analyse:
coderen, analyse op diepgang en de beïnvloedende factoren middels een within-
meeting- en een cross-meeting analyse.
Onderzoek 4: Kwalitatief. Instrumenten: Vragenlijst, kennistest en interviews (n = 5).
Analyse: case-within- en een cross-case analyse.

14. Resultaten onderzoek 1:
(Op welke manier besteden lerarenopleiders aan de pabo aandacht aan datagebruik in de opleiding?)
•Datagebruik is onderdeel van het curriculum;
•Lerarenopleiders gebruiken data om te verantwoorden, om
de opleiding te ontwikkelen en om de instructie aan te
passen;
•Data ter verantwoording —> data en data
informatiesystemen, de gebruiker en het samenwerken.
•Data voor de ontwikkeling van de opleiding —> de
samenwerking tussen de gebruikers en de organisatie.
•Data voor de ontwikkeling —> geen factoren
Bolhuis, E.D., Schildkamp, K. Luyten, H. & Voogt, J.M. (in press). Het gebruik van data door
lerarenopleiders van de pabo.

15. Resultaten onderzoek 2:
(Welke bijdrage levert participatie in een datateam aan het professionaliseren van datateamleden?)
•Datateaminterventie —> betekenisvol en helpend, wel
langzaam & lastig te vertalen naar eigen lespraktijk;
•Alle bijeenkomsten relevant, de diepgang varieerde —>
groepprocessen en data;
•Datacoach speelt een belangrijke rol in het diepgang
Bolhuis, E.D., Schildkamp, K. & Voogt, J.M. (2016). Improving Teacher Education in the Netherlands: Datateam as learning team?
European Journal of Teacher Education, 39(3). DOI: 10.1080/02619768.2016.1171313.

16. Resultaten onderzoek 3:
(Welke factoren met betrekking tot data en data informatiesystemen bevorderen en belemmeren de diepgang van de
gesprekken in het datateam?)
Factors concerning the data and data information system
¥ Data information system with access to timely, accurate, relevant, reliable and
valid data, data that meet the user's needs;
¥ Data related to the data team members' perceptions.
Factors concerning the user
¥ Data literacy;
¥ Buy-in/belief;
¥ Being able to handle cognitive conflicts;
¥ Clarification of prior knowledge;
¥ Avoidance of affective conflicts.
Factors concerning the organisation
¥ Assistance by the data coach.
Bolhuis, E.D. Schildkamp, K. & Voogt, J.M. (2016). Data-based decision making in teams: enablers and barriers. Educational
Research and Evaluation 22(3-4). Doi:10.1080/13803611.2016.1247728.

17. Resultaten onderzoek 4:
(Hoe verwerven lerarenopleiders, die participeren in een data team, kennis en vaardigheden in het werken met data en wat
levert dit op voor het werken met data in hun beroepspraktijk?)
•Ontwikkeling van kennis en vaardigheden loopt verschillend.
Patroon: minder K&V bij aanvang, grotere ontwikkeling K&V
•Attitude: niet iedereen ontwikkelde een positieve attitude, en
geen eenduidige verbanden tussen attitude ontwikkeling
enerzijds en ontwikkeling K&V/datagebruik anderzijds;
•Ontwikkeling datagebruik met name om het onderwijs te
ontwikkelen (near transfer)
Bolhuis, E.D. Schildkamp, K. & Voogt, J.M. (Ingediend). A case study of a data team intervention for teacher educators: The
development of data use, data skills, and attitudes.

18. Reflectie onderzoek:
•Ontwikkeling kennis
•Transfer
•Organisatie

19. Reflectie onderzoeksmethode:
•Vragenlijst
•Micro-process onderzoek
•Onderzoek doen in de eigen organisatie

20. Literatuur:
Astin, A. W. (2012). Assessment for excellence: The philosophy and practice of assessment and evaluation in higher education. Rowman & Littlefield
Publishers.
Blanc, S., Christman, J. B., Liu, R., Mitchell, C., Travers, E., & Bulkley, K. E. (2010). Learning to learn from data: Benchmarks and instructional
communities. Peabody Journal of Education, 85(2), 205-225.
Blok, H., Ledoux, G., & Roeleveld, J. (2015). Opbrengstgericht werken in het primair onderwijs : een effectieve weg naar onderwijsverbetering ?
Pedagogische Studien, 2015(92), 167–178.
Bolhuis, E., Schildkamp, K., & Voogt, J. (2016). Improving teacher education in the Netherlands: Datateam as learning team? European Journal of
Teacher Education, 39(3). http://doi.org/10.1080/02619768.2016.1171313
Bolhuis, E., Schildkamp, K., & Voogt, J. (2016). Data-based decision making in teams: enablers and barriers. Educational Research and Evaluation, 22(3–
4), 213–233. http://doi.org/10.1080/13803611.2016.1247728
Bolhuis, E.D., Schildkamp, K., Voogt, J. & Luyten, J.H. (in press). Het gebruik van data door lerarenopleiders van de pabo. Pedagogische Studiën.
Desimone, L. (2011). A primer on effective professional development. Phi Delta Kappan, 92(6), 68–71. http://doi.org/10.1177/003172171109200616
Ledoux, G., Blok, H., Boogaard, M., & Krüger, M. (2009). Opbrengstgericht werken: over de waarde van meetgestuurd onderwijs. Retrieved from http://
dare.uva.nl/document/170475
Lomos, C., Hofman, R. H., & Bosker, R. J. (2011). Professional communities and student achievement – a meta-analysis. School Effectiveness and School
Improvement, 22(2), 121–148. http://doi.org/10.1080/09243453.2010.550467
Mandinach, E. B., Honey, M., & Light, D. (2006, April). A theoretical framework for data-driven decision making. Paper presented at the Annual Meeting
of the American Educational Research Association, San Francisco, CA.
Mandinach, E. B., & Gummer, E. S. (2016). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions.
Teaching and Teacher Education 60, 360–376. doi:10.1016/j.tate.2016.07.011
Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1-48.
Piro, J. S., Dunlap, K., & Shutt, T. (2014). A collaborative data chat: Teaching summative assessment data use in pre-service teacher education. Cogent
Education, 1, 1–24. doi:10.1080/2331186X.2014.968409.
Picciano, A. G. (2012). The Evolution of Big Data and Learning Analytics in American Higher Education. Journal of Asynchronous Learning Networks,
16(3), 9-20.
Schildkamp, K., Handelzalts, A., Poortman, C. L., Leusink, H., Meerdink, M., Smit, M., … Hubers, M. D. (2014). De Datateam methode. Een concrte
aanpak voor onderwijsverbetering. Apeldoorn: Garant.
Slavit, D., Kennedy, A., Lean, Z., Nelson, T. H., & Deuel, A. (2011). Support for professional collaboration in middle school mathematics: A complex web.
Teacher Education Quarterly, 38(3), 113-131.
Supovitz, J. A., Foley, E., & Mishook, J. (2012). In search of leading indicators in education. education policy analysis archives, 20(19).
Veen, K. Van, Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren een reviewstudie naar effectieve kenmerken van,
(December).
Vescio, V., Ross, D., & Adams, A. (2008). A review of research on the impact of professional learning communities on teaching practice and student
learning. Teaching and Teacher Education, 24(1), 80–91. http://doi.org/10.1016/j.tate.2007.01.004
Wayman, J. C., Cho, V., Jimerson, J. B., & Snodgrass Rangel, V. W. (2015). A look into the workings of data use in a mid-sized district. In Leading small
and mid-sized urban school districts (pp. 241-275). Emerald Group Publishing Limited.