1. Digitaal feedback geven met Turnitin
Kwaliteits- en tijdswinst - two sides of the same coin
Patris van Boxel (VU) & Sumit Mehra (UU/HvA)

2. Inhoud
 Belang van (tussentijdse) feedback
 Uitdagingen mbt feedback geven en krijgen
 Potentieel van digitale feedback tools
 Demonstratie Turnitin
 SCALA: effecten en waardering van inzet
 Pilot resultaten HvA
 Conclusies en vooruitblik

3. Rol van (tussentijdse) feedback
Regelmatige en tijdige feedback essentieel
voor bijsturen leerproces
 Betere eindproducten
 Beter inzicht in voortgang
 Brugfunctie tussen huidig en gewenst resultaat
(‘feedforward’)
 Betere tentamenvoorbereiding
‘The Power of Feedback’ - Hattie & Timperley (2007)

4. Toenemende eisen aan feedback
 Vertaalt zich in richtlijnen mbt:
 Focus
 Timing
 Kwaliteit
 Voorbeeld: Richtlijn Bacheloronderwijs VU
Er wordt zo frequent en vroegtijdig mogelijk getoetst. Hiertoe is er uiterlijk
halverwege het vak een deeltoetsmoment waarop de docent de
vorderingen van de student evalueert en aan hem of haar kenbaar
maakt. Daarnaast wordt elk vak afgerond met een laatste deeltoets. Per
vak wordt het gewicht van de deeltoetsen vooraf bepaald. Op basis
daarvan wordt de eindbeoordeling vastgesteld.

5. Feedback geven
Uitdagingen voor de docent
 Tijdsintensief / pieken in werklast
 Snelleturnaround
 Grote studentaantallen
 Inefficiënte workflows
 Inzamelen, opslag & distributie werkstukken
 Vaak dezelfde feedback formuleren

6. Feedback krijgen
Uitdagingen voor de student
 Is feedback
 leesbaar?
 begrijpelijk?
 (nog) bruikbaar?
 voldoende?
 gearchiveerd?

7. Groei digitale feedbacktools
 Dedicated ‘marking’ tools
 Turnitin (GradeMark), Markin, Waypoint,..
 DLO’s breiden feedback functies uit
 E.g basic rubrics in Blackboard, Moodle en Sakai
 Integratie marking tools met DLO
 E.g Turnitin+Blackboard & Lightwork+Moodle
 Heinrich & Milne (2012)
 Welch (2012)

8. Voordelen dedicated software
 Logistiek
 Centraalbeheer van opdrachten
 Minder papieren rompslomp (‘green grading’)
 Inhoudelijk
 Opslag/ hergebruik veel voorkomende feedback
 Samen ontwikkelen / delen van feedback
 Neveneffect: vereist explicitering feedbackcriteria

9. Digitale feedbacktool: Turnitin
Grade Mark
• Digitaal nakijken (docent)
Peer Mark
• Peer review (student)
Originality Report
• Plagiaatdetectie

10. Demo
 Grademark

11. SCALA project (2012-2014)
 ‘SCaffolding Assessment for LeArning’
 Tender Toetsing en Toetsgestuurd Leren
 Inzet digitale middelen bij beoordelen en
feedback geven op schriftelijke producten
 Doelstellingen
 Reductietijdsinvestering door docent
 Verbeteren kwaliteit en tijdigheid van feedback

12. SCALA project plan
 Scholing van 80 docenten
 Uitvoering 28 pilots
 Evaluatie / effectmeting
 Deliverables
 Good practices digitaal feedback geven
 Feedback ‘componenten’ (rubrics, qm sets,..)
 Begeleidingsmodel peer feedback
 Scholingsmateriaal voor docenten en ontwikkelaars

13. SCALA evaluatie
 Studenten
 Kwaliteit feedback: tijdigheid, bruikbaarheid,
duidelijkheid
 Digitale feedbackwijze
 Docenten
 Efficiency doelstelling behaald?
 Digitale feedback wijze
 Lessons learnt
 Ontwikkelaars
 Tijdsinvestering; implementatie

14. Pilots bij HvA (2011-2012)
 1ste jaars project bij Toegepaste Psychologie
(Djoeke Cals)
 Onderzoeksverslag in 5 deelopdrachten
 Groepsproduct
 5 docenten / 150 studenten
 2de jaars project HBO-Rechten (Figen Yaka)
 Adviesrapport
 Groepsproduct
 7 docenten / 200 studenten

15. Aanpak
 Presentaties MT/examencommissie
 Projectteam
 Circa 5 werksessies voor ontwikkelen
feedback + rubrics
 Trainingsuurtje/ handleiding Turnitin voor
docenten
 Lopende ondersteuning (coördinator)
 Evaluatie (vragenlijsten + panelgesprek)

18. Opbrengsten
Toegepaste Psychologie: HBO-Rechten:
 5 Rubrics met 22  Rubric met 14
criteria op een 4- beoordelingscriteria op 5-
puntschaal puntschaal (70 individuele
niveaubeschrijvingen)
 94 herbruikbare
feedback opmerkingen  43 herbruikbare feedback
verdeeld in 5 sets opmerkingen (Quickmarks)
(Quickmarks)

19. 19

20. TP studenten over TII (n=100)
 Vonden het makkelijk om de opdrachten in te leveren (77%
vs 4%)
 kregen snel feedback (85% vs 2%),
 duidelijke feedback (75% vs 9%) en
 Leerzame feedback (87% vs 4%) die ze gemiddeld het
rapportcijfer 7,8 gaven
 De studenten beoorde de feedback met een 7,8.
 80% van de studenten wilde vaker feedback op deze
manier

21. Docenten over Quickmarks
“..geeft een goede leidraad om na te kijken”
“ik mis minder”
“nu weet ik zeker dat ik de hele lijn pak en dat
het niet afhankelijk is van mijn aandacht...”
“ik ben meer feedback gaan geven”

22. Docenten over Quickmarks
“..ik had ietjes tijdswinst”
“het is vooral betere feedback”
“laat ik het zo zeggen, als ik deze hoeveelheid
feedback zou geven op papier, dan was ik er
2x zo lang mee bezig”

23. Docenten over Rubrics
“...ik vind het fijn om het *cijfer+ hard te maken,
maar ook om het overzicht te hebben”
“...het komt niet aan bij studenten”
“...ik vraag me af of het niet overbodig is..”

24. Conclusies & lessons learnt HvA pilots
 (eenmalige) investering van feedback
 Kwaliteitswinst vs tijdswinst
 Geringe leercurve
 Veel draagvlak & enthousiasme > olievlek werking
 Betere communicatie naar studenten
(groepsproducten)
 Balans tussen volledigheid & hanteerbaarheid
Quickmarks
 Betere uitwerking / meer onderbouwing van
Rubrics

25. Algemene conclusies
 Feedback tools zoals GradeMark faciliteren
tijdige, persoonlijke, informatie-rijke
feedback
 DLOintegratie zorgt voor verdere
optimalisering van online studentbegeleiding
 Potentie voor werkdruk verlaging en
tijdswinst door efficienter beheer en door
hergebruik van feedback
 SCALA brengt dit potentieel in kaart

26. Meer informatie
 SCALA project leden
 Sumit Mehra – UU/HvA (s.mehra@uu.nl)
 Patris van Boxel – VU (p.van.boxel@vu.nl)
 Sanne Gratama van Andel (projectleider, UU)
(r.gratamavanandel@uu.nl)
 Turnitin
 www.turnitin.com
 Interactieve tutorial GradeMark
 Linked in group