Dinsdag 11 november 2014 Sessieronde 1 Titel: De Rubrics-app: de kunst van eenvoudig feedback geven en objectief beoordelen Sprekers: Joris Remmers (Technische Universiteit Eindhoven), Sonia Gomez (Technische Universiteit Eindhoven) Zaal: Leeuwen l

1. De Rubrics app De kunst van eenvoudig feedback geven en objectief beoordelen Joris Remmers / Sonia Gómez Puente

2. Even voorstellen
Sonia Gómez Puente
•Beleidsmedewerker onderwijsontwikkeling Technische Natuurkunde en Electrotechniek
Joris Remmers
•Universitair Docent Werktuigbouwkunde
•O.a. verantwoordelijk docent 1e jaars OGO casus OGO = Ontwerp Gericht Onderwijs
De Rubrics app

3. Professionele Vaardigheden
De Rubrics app
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
• Omgaan met informatie
• Presenteren
• Reflecteren
• Vergaderen
• Samenwerken
• Schrijven

4. Beoordeling professionele vaardigheden
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
•Hoe kunnen we de ontwikkeling van de professionele vaardigheden op een objectieve manier meten?
•Hoe kunnen we die bevindingen op een eenvoudige wijze vastleggen in het eDossier?
•Hoe kunnen we docenten motiveren (en faciliteren) om de professionele vaardigheden op dezelfde manier te meten en vast te leggen?
De Rubrics app

5. Beoordeling professionele vaardigheden
De ontwikkeling van de professionele vaardigheden
wordt bijgehouden in een studenten eDossier.
•Hoe gaan we beoordelen?
•Hoe vullen we het eDossier?
•Hoe motiveren en faciliteren we docenten?
De Rubrics app

6. Oplossing: rubrics
Een rubric is een standaard voor het beoordelen van vaardigheden (moeilijk meetbare grootheden).
Eerste gebruik: 1970s (geestelijke gezondheidszorg).
Belangrijkste doel (voor ons): een objectieve beoordeling van de vaardigheden van studenten.
Voorbeelden: het beoordelen van
•presentaties;
•verslagen, projecten.
De Rubrics app

7. Oorsprong van de term ‘Rubric’
•Uit het latijn: ‘Rubrica’ betekent ‘Rood kleuren’.
•Methode om in handschriften nieuw onderdeel aan te geven.
•In onbruik geraakt met de uitvinding van de boekdrukkunst.
•Moderne afleidingen:
•Rubriek (Nederlands)
•Rubric (Engels)
De Rubrics app

8. Een rubric is een verzameling rubrieken
De onderdelen van een rubric
•Criteria (rubrieken)
•Niveaus
•Beschrijvingen
Gebruikelijke notatie in matrix formaat
•De rijen zijn de criteria.
•De kolommen zijn de niveaus.
•De inhoud van de matrix wordt gevormd door de beschrijvingen.
De Rubrics app

9. Voorbeeld: presentatie
Onvoldoende < 5
Matig 6
Goed 7 / 8
Uitstekend
9 / 10
Vorm
De slides zijn rommelig, bevatten veel fouten, geen eenduidige lay-out.
De slides zijn rommelig, zijn niet mooi opgemaakt
De slides zien er verzorgd uit, maar bevatten wat foutjes
De slides zien er verzorgd uit.
Inhoud
Er zit geen structuur in de presentatie.
De inleiding of het slot ontbreekt of is niet duidelijk.
De samenhang tussen de inleiding, kern en slot ontbreekt.
De presentatie heeft een duidelijke inleiding, kern en slot.
Spreker
Spreker is niet in staat om het verhaal te vertellen. Geeft geen blijk van voldoende kennis van de materie.
De presentatie is moeilijk te volgen. Te veel details. De grote lijn ontbreekt.
Uitleg is niet zo helder. De spreker laat af en toe een steekje vallen.
Heldere uitleg. De spreker heeft kennis van zaken en weet dat goed over te brengen.
De Rubrics app
Criteria
Niveaus
Beschrijvingen

10. Onvoldoende < 5
Matig 6
Goed 7 / 8
Uitstekend
9 / 10
Vorm
De slides zijn rommelig, bevatten veel fouten, geen eenduidige lay-out.
De slides zijn rommelig, zijn niet mooi opgemaakt
De slides zien er verzorgd uit, maar bevatten wat foutjes
De slides zien er verzorgd uit.
Inhoud
Er zit geen structuur in de presentatie.
De inleiding of het slot ontbreekt of is niet duidelijk.
De samenhang tussen de inleiding, kern en slot ontbreekt.
De presentatie heeft een duidelijke inleiding, kern en slot.
Spreker
Spreker is niet in staat om het verhaal te vertellen. Geeft geen blijk van voldoende kennis van de materie.
De presentatie is moeilijk te volgen. Te veel details. De grote lijn ontbreekt.
Uitleg is niet zo helder. De spreker laat af en toe een steekje vallen.
Heldere uitleg. De spreker heeft kennis van zaken en weet dat goed over te brengen.
Voorbeeld: presentatie
De Rubrics app

11. Rubrics
•Formalisatie van bestaande beoordelingen.
•Ontwerp vergt een aantal iteraties.
Het aantal criteria is belangrijk
•Te veel criteria:
•Eindeloze invul oefening
•Tijdrovend
•Te weinig criteria:
•Te veel ruimte voor eigen interpretatie
•Minder objectief
De Rubrics app

12. Andere voordelen
•Feedback van de beoordeling naar de studenten
•Studenten krijgen een kort en bondig overzicht van de goede en slechte punten.
•Achteraf, maar ook tijdens het vak.
•Eventueel kan het dienen als checklist
•Studenten weten waar ze op beoordeeld worden.
•Hulpmiddel bij het schrijven van verslagen / voorbereiden van presentaties (vooral eerste jaar).
De Rubrics app

13. Rubrics als input voor eDossier
•De beoordeling is objectief en volledig.
•De beoordeling bevat automatisch een toelichting / feedback op de beoordeling.
•Echter, de hoeveelheid informatie kan enorm groot worden.
De Rubrics app

14. Eigen ervaringen met Rubrics
•Nakijken van verslagen van een eerstejaars OGO casus bij de faculteit W in oktober 2012.
•In totaal 224 studenten, opgesplitst in 112 koppeltjes
•De beoordeling zelf verliep uitstekend
•Objectiviteit is onderzocht door Sonia Gomez
•Echter, de verwerking van 112 handgeschreven formulieren was een ramp…
De Rubrics app

15. De Rubrics app

16. De Rubrics app

17. De Rubrics app

18. De Rubrics app

19. De Rubrics app

20. De Rubrics app

21. / PICTO: Project Rubrics

22. / PICTO: Project Rubrics

23. De Rubrics app
De Rubrics app

24. De Rubrics app
•Beoordelen van
•Vergaderingen
•Presentaties
•Verslagen
•Projecten
•Eenvoudig in het gebruik
•Alles is digitaal
•Deelnemers importeren uit de centrale studentenadministratie
•Resultaten exporteren naar studentenadministratie
De Rubrics app

25. De ‘ForAllRubrics’ app / website
•Web gebaseerd.
•Platform onafhankelijk (html 5).
•Voldoet grotendeels aan onze wensen.
•Mogelijkheid om verzameling Rubrics aan te leggen.
•Inlezen van studentengegevens (als csv bestand).
•Exporteren van resultaten (als pdf).
•Amerikaans initiatief (Chicago, IL).
•Gratis te gebruiken voor individuele docenten.
•Verschillende licentie overeenkomsten mogelijk.
De Rubrics app

26. ForAllRubrics workflow
De Rubrics app
Stap 1: Het voorbereiden van de beoordeling
•Aanmaken / importeren van een ‘Roster’ (groep studenten).
•Ophalen van bestaande Rubric uit een bibliotheek.
•Aanpassen van de Rubric.

27. Synchronisatie
De Rubrics app
Synchronisatie

28. ForAllRubrics workflow
De Rubrics app
Stap 2: de beoordeling
•Geen internet verbinding nodig
•Verschillende studenten en klassen kunnen door elkaar beoordeeld worden.
•Verschillende docenten kunnen dezelfde groep studenten beoordelen.

29. Synchronisatie
De Rubrics app
Synchronisatie

30. ForAllRubrics workflow
De Rubrics app
Stap 3: Verwerking van de resultaten
•Analyseren van resultaten
•Exporteren van cijfers (als CVS bestand)
•Exporteren van Rubrics (als PDF bestand)

31. Een oefening: een beoordeling
•Ga naar: www.forallrubrics.com
•Maak een account aan of,
•Log in als: onderwijsdag@home.nl Wachtwoord is: default
•Zet alles klaar voor de beoordeling van:
•Roster: Presentatie Rubrics App
•Rubric: Presenteren (kort)
•Beoordeel Sonia en Joris
De Rubrics app

32. / PICTO: Project Rubrics

33. / PICTO: Project Rubrics

34. / PICTO: Project Rubrics

35. / PICTO: Project Rubrics

36. / PICTO: Project Rubrics

37. / PICTO: Project Rubrics

38. / PICTO: Project Rubrics

39. / PICTO: Project Rubrics

40. / PICTO: Project Rubrics

41. / PICTO: Project Rubrics

42. / PICTO: Project Rubrics

43. / PICTO: Project Rubrics

44. / PICTO: Project Rubrics
Presentatie Rubrics App

45. / PICTO: Project Rubrics
Presentatie Rubrics App

46. / PICTO: Project Rubrics
Presentatie Rubrics App

47. / PICTO: Project Rubrics

48. / PICTO: Project Rubrics
Presentatie Rubrics App

49. / PICTO: Project Rubrics
Presentatie Rubrics App

50. / PICTO: Project Rubrics

51. / PICTO: Project Rubrics

52. / PICTO: Project Rubrics

53. / PICTO: Project Rubrics

54. / PICTO: Project Rubrics
Presentatie Rubrics App

55. / PICTO: Project Rubrics
Presentatie Rubrics App

56. / PICTO: Project Rubrics
Presentatie Rubrics App

57. / PICTO: Project Rubrics
Presentatie Rubrics App

58. Een oefening: een beoordeling
•Ga naar: www.forallrubrics.com
•Maak een account aan of,
•Log in als: onderwijsdag@home.nl Wachtwoord is: default
•Zet alles klaar voor de beoordeling van:
•Roster: Presentatie Rubrics App
•Rubric: Presenteren (kort)
•Beoordeel Sonia en Joris
De Rubrics app

59. Conclusie
•De app is uitermate geschikt voor het beoordelen van grote groepen studenten.
•Meerdere docenten kunnen simultaan studenten beoordelen.
•Een goede integratie met bestaande onderwijs systemen is noodzakelijk.
•Informatie wordt opgeslagen op Amerikaanse servers. Gevolgen voor privacy.
•Website niet altijd even goed bereikbaar.
•De ontwikkeling van een eigen platform heeft wellicht de voorkeur.
De Rubrics app

60. Conclusie
•Veel docenten zijn onbekend met rubrics als beoordelingstechniek
•Investeer eerst in de ontwikkeling van goede rubrics en maak docenten hiermee vertrouwd.
•Het gebruik van de app is dan een logische vervolgstap.
De Rubrics app

61. S
De Rubrics app
De Rubrics app
De kunst van eenvoudig feedback geven en objectief beoordelen
Joris Remmers / Sonia Gómez Puente
e-mail: J.J.C.Remmers@tue.nl
web: http://icto.tue.nl/