1. The impact of structuring peer feedback in a
wiki-based CSCL environment on
performance and feedback content
Doctorandus: Mario Gielen
Promotor: Prof. dr. Bram De Wever
Verdediging proefschrift Mario Gielen – 13 juni 2016

2. Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
De impact van het structureren van peer feedback in een wiki-gebaseerde
CSCL omgeving op de prestatie en de inhoud van de feedback.

3. Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016
Start
opdracht
Einde
opdracht
Score &
feedback
PRODUCT
PROCES

4. Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016
Start
opdracht
Einde
opdracht
Score &
feedback
PRODUCT
PROCES
Geven en ontvangen
van peer feedback

5. PEER ASSESSMENT for LEARNING (Dysthe, 2004)
Peer assessment (PA)
 Waardevol voor zowel assessor (beoordelaar) en assessee
(beoordeelde) (Topping, 1998)
 Voorbeeld van een complexe leertaak (Weinberger et al. 2007)
Implementatie van PA praktijken
 PA praktijken optimaliseren ifv
leerproces?
(Strijbos & Sluijsmans, 2010; Sadler, 2010)
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

6. DE KRACHT VAN PEER FEEDBACK (Cho & MacArthur, 2010)
Peer feedback (PFB)
 Feedback moet bestaan uit verificaties en elaboraties (Narciss, 2008)
 Liefst beide elementen (eg. Coll, Rochera, & De Gispert, 2014).
Effectieve PFB
 Bepaald door de inhoud, vorm en functie
 3 essentiële vragen beantwoorden: (Hattie & Timperley, 2007)
 Wat zijn de doelen? (feed up)
 Welke vooruitgang heb ik geboekt? (feed back)
 Wat moet ik doen om nog te verbeteren? (feed forward)
Hoe kunnen we kwaliteitsvolle feedback nastreven?
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

7. VRAGEN NAAR FEEDBACK
GEVEN VAN FEEDBACK
EVALUEREN ONTVANGEN FEEDBACK
(MEERDERE ITERATIES?)

8. HET STRUCTUREREN VAN PEER FEEDBACK
Peer feedback proces
 Nood aan ondersteuning en structuur!
 Belang van feedback dialoog (Carless, 2015)
 Hoe PFB proces optimaliseren i.f.v het leerproces?
Onderzoek
 Focus voornamelijk op rol van
de beoordelaar(Gielen et al., 2010)
 Beoordeelde actief betrekken
 Creëren van PFB dialoog
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

9. OD 3: (a) Het ontwikkelen en (b) implementeren van een inhoudsanalyseschema om de
inhoud van de PFB berichten te bestuderen.
OD 1: Het onderzoeken van de impact van een verschillend niveau van structurering van
het PFB proces op de prestatie van de lerende.
OD 2: Het onderzoeken van de impact van een verschillend niveau van structurering in het
PFB proces op de PFB kwaliteit van de lerende, gemeten door de Feedback Quality Index
(Prins, et al., 2006).
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

10. CONTEXT
Context
 Quasi-experimenteel onderzoeksdesign
 Authentieke en real-life situaties
 In wiki-gebaseerde CSCL omgeving
 1e Bachelor studenten Pedagogische
Wetenschappen
Opleidingsonderdeel ‘Onderwijskunde’ (7ECTS - Prof Dr. Martin Valcke):
 Studenten (N>125) gerandomiseerd in groepen van 5
 Online schrijfopdrachten: draft en finale versie
 Online PFB binnen de groep
 Verplicht praktisch gedeelte (8/20)
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie

11. 38 groepen
N = 179
Repeated measures
ANOVA
Independent-
samples t-test
9 groepen
N = 41
123 PFB berichten
4717 segmenten
Content analysis
AN(C)OVA
MAN(C)OVA
2011 - 2012 2012 - 2013 2012 - 2013 2013 - 2014 2013 - 2014
Studie 1
Wel of geen
structuur in een
PFB template
Impact op:
• de prestatie
• het leereffect
• de perceptie
Studie 2
De mate van
aangeboden
structuur in een
PFB template
Impact op:
• de prestatie
• PFB kwaliteit
(FQI, 2006)
Studie 3
De mate van
aangeboden
structuur in een
PFB template
Impact op:
specifieke inhoud
van PFB berichten
(CA schema)
Studie 4
Structureren van
de rol van assessor
en assessee in het
PFB proces
Impact op:
• de prestatie
• PFB kwaliteit
(FQI, 2006)
Studie 5
Structureren van
de rol van assessor
en assessee in het
PFB proces
Impact op:
specifieke inhoud
van PFB berichten
(CA schema)
Verdediging proefschrift Mario Gielen – 13 juni 2016
37 groepen
N = 168
3 Meetmomenten
Multilevel Analyse
27 groepen
N = 125
3 Meetmomenten
Multilevel Analyse
16 groepen
N = 79
237 PFB berichten
8440 segmenten
Content analysis
Multilevel Analyse
INTERVENTION 1 INTERVENTION 2 INTERVENTION 3

12. Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
INTERVENTION 3
2013 - 2014
INTERVENTION 2
2012 - 2013
Study 1:
Peer assessment in a wiki:
Product improvement,
students’ learning and
perception regarding
peer feedback
(Chapter 2)
Study 2:
Structuring the PA Process:
A Multilevel Approach for the
Impact on Product
Improvement and Peer
Feedback Quality
(Chapter 3)
Study 5:
The added value of structuring
the role of both assessor and
assessee for students’ peer
feedback content
(Chapter 6)
duction
1)
Gen
a
Study 4:
Scripting the Role of Assessor
and Assessee en Peer
Assessment: Impact on Peer
Feedback Quality and
Product Improvement
(Chapter 5)
ntent
INTERVENTION 1
(RO
2011 - 2012
Study 3:
Structuring Peer Assessment:
Comparing the Impact of the
Degree of Structure on the
Peer Feedback Content
(Chapter 4)
(RO
OD1
OD2
OD3

13. STUDIE 2
Het onderzoeken van de impact van een verschillend niveau van structurering
in het PFB proces op de kwaliteit van de prestatie en peer feedback.
Impact van de mate van aangeboden structuur in een PFB template
 Geen structuur: enkel lijst met criteria
 Basis structuur: lijst met criteria met 2 richtvragen
 Uitgebreide structuur: lijst met criteria gegroepeerd volgens principes van
feed up – feedback – feed forward
 Draft en finale score van abstracten – scoring rubric
 PFB score op basis van Feedback Quality Index (Prins et al., 2006)
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
OD1/OD2
DOEL
CONDITIES
FOCUS

14. Verdediging proefschrift Mario Gielen – 13 juni 2016
CONDITIES

15. Verdediging proefschrift Mario Gielen – 13 juni 2016
CONDITIES

16. OD1: Het onderzoeken van de impact van een verschillend niveau van
structurering in het PFB proces op de prestatie van de lerende.
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016
RESULTATEN

17. Verdediging proefschrift Mario Gielen – 13 juni 2016
RESULTATEN

18. OD2: Het onderzoeken van de impact van een verschillend niveau van
structurering in het PFB proces op de PFB kwaliteit van de lerende.
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016
RESULTATEN

19. Time 1 Time 2 Time 3
30
40
50
60
70
MeanPeerFeedbackScore
No structure
Basic structure
Elaborate structure
Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
RESULTATEN

20. Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
INTERVENTION 3
2013 - 2014
INTERVENTION 2
2012 - 2013
Study 1:
Peer assessment in a wiki:
Product improvement,
students’ learning and
perception regarding
peer feedback
(Chapter 2)
Study 2:
Structuring the PA Process:
A Multilevel Approach for the
Impact on Product
Improvement and Peer
Feedback Quality
(Chapter 3)
Study 5:
The added value of structuring
the role of both assessor and
assessee for students’ peer
feedback content
(Chapter 6)
duction
1)
Gen
a
Study 4:
Scripting the Role of Assessor
and Assessee en Peer
Assessment: Impact on Peer
Feedback Quality and
Product Improvement
(Chapter 5)
ntent
INTERVENTION 1
(RO
2011 - 2012
Study 3:
Structuring Peer Assessment:
Comparing the Impact of the
Degree of Structure on the
Peer Feedback Content
(Chapter 4)
(RO
OD3

21. STUDIE 2 STUDIE 5
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie
Draft versie
Geven van PFB
Finale versie
Draft versie
Vragen naar
PFB
Voorbereiden
van PFB
Geven van PFB
Finale versie
Evalueren van
ontvangenPFB

23. STUDIE 5
Het ontwikkelen en implementeren van een inhoudsanalyseschema
Impact van het structureren van de rol van assessor en assessee op de specifieke
inhoud van PFB berichten
 Controle conditie
 Request conditie
 Checklist conditie
 Combinatie conditie
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie
OD3
DOEL
CONDITIES
n
FOCUS
h
Inhoudscategorieën
 PFB stijl
 PFB type en focus
 PFB instemming en implementatie

24. Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016
RESULTATEN STUDIE 5
CAT: PEER FEEDBACK STIJL
• Vrij gebalanceerde proportie verificaties en elaboraties
• in het algemeen iets meer elaboraties (45/55)
CAT: PEER FEEDBACK TYPE & FOCUS
• Verificaties:
• Hoofdzakelijk positieve verificaties
• minder negatieve verificaties over de tijd
• Elaboraties:
• Vrij gebalanceerde proportie informatieve en suggestieve elaboraties
• in het algemeen iets meer suggestieve elaboraties (60/40)
• Vragen naar feedback: meer informatieve elaboraties – ‘justifications’
• PFB template – criterium niveau
CAT: INSTEMMING & IMPLEMENTATIE
• Hoofdzakelijk akkoord met ontvangen PFB
• De helft wordt daadwerkelijk geïmplementeerd

25. CONCLUSIE
Nood aan interventies om PFB proces te optimaliseren in functie van het
leerproces van de student
Bevindingen
 Kwaliteit van prestatie en PFB stijgt significant over de tijd
 Belang van extra structuur versus meer oefengelegenheden
 Belang van geoptimaliseerde en gestructureerde PFB template
 Feedback request: stijging van informatieve elaboraties
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016

26. IMPLICATIES
Onderzoek
 Interventies om rol van beoordeelde te belichten
 Verder bouwen op ontwikkeld inhoudsanalyseschema
Praktijk
 Gebruiksvriendelijke PFB template
 Weldoordachte ‘structurering’ – MIX!
 Aanbieden van ondersteuning voor alle actoren
 Integreren meerdere oefenmomenten
 Stimuleren van feedbackdialoog
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie
Verdediging proefschrift Mario Gielen – 13 juni 2016

27. SUGGESTIES VOOR VERVOLGONDERZOEK
Populatie
 Andere opleidingen / vakken
 Verschillende expertise van studenten
 Longitudinaal onderzoek: meer iteraties
PFB inhoud
 Welke aspecten zijn vooral belangrijk voor de taakherwerking?
 Wat is de relatie tussen de gevraagde feedback en de
ontvangen feedback met de bijhorende evaluatie?
Verdediging proefschrift Mario Gielen – 13 juni 2016
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie

28. The impact of structuring peer feedback in a
wiki-based CSCL environment on
performance and feedback content
Doctorandus: Mario Gielen
Promotor: Prof. dr. Bram De Wever
Verdediging proefschrift Mario Gielen – 13 juni 2016