OWD2010 - 5 - Toetsorganisatie - De praktijk - Alexander Kremers
1. Digitaal Toetsen – De Praktijk Alexander Kremers 10 November - SURF OWD 2010
2.
3. Saxion Aantal studenten ongeveer 23.000 Verdeeld over Enschede, Deventer en Apeldoorn Aantal medewerkers ongeveer 2.200 In totaal 12 academies met ruim 70 opleidingen Van gezondheidszorg tot textiel van werktuigbouwkunde tot economie
10. Rollen - Organigram ACADEMIE ISO Logistiek Inhoud / logistiek Inhoud Verantwoordelijk voor de: Toetsbureau Toetsdesk Toetsconstructeur Inhoudsdeskundige Inhoudsdeskundige
11. Praktijk - randvoorwaarden Toetsservicesysteem Beveiligde omgeving ‘ Open’ omgeving Toetslokalen Inschrijving TestVision SiteKiosk http://testvision.saxion.nl In Enschede 90 personen In Deventer 75 personen CW-SIS
12.
13.
14.
15.
16.
17. Conclusie Ontkoppelen van toetsinhoud en toetsorganisatie werkt prima voor Saxion dankzij goede afspraken en communicatie over techniek, inhoud en organisatie.
18. Maar… Als een van de onderdelen niet goed geregeld/belegd is dan loopt het proces al snel tegen problemen aan. Dit kan leiden tot het trekken van verkeerde conclusies en zelfs tot stopzetten van digitaal toetsen. Valkuil
Momenteel 13 academies - van Gezondheidszorg tot aan Conservatorium Van Werktuigbouwkunde tot Economie Van alles wat. Als VZ toetsing hou ik me Saxion breed bezig met digitaal toetsen (Tv en Bb), plagiaatdetectie (Ephorus en SafeAssign, Onderzoek (Parantion Web survey), digital portfolio en beveiligde omgevingen (Sitekiosk)
De Toetscyclus (naar: "Toets & Beleid; toetsbeleid en geautomatiseerde toetsing" van Mieke Jaspers en Marianne Schade (2002, Fontys Hogescholen) 1 Ontwerpen Inbedden van toetsen in onderwijs, toetsmomenten creëren, didactische visie vaststellen, soort toets bepalen (summatief-formatief, mc-essay, etc.) 2 Construeren Items ) Itembank inrichten, metadateren, weging bepalen, adaptief toetsen, feedback opstellen, vragen maken 3 Samenstellen Toets Samenstellen van de toets, adaptief toetsen, opmaak test (ook ivm online constraints) 4 Afnemen Toets Tentamenzaal (met computers), thuistoets, tijdperiodes vaststellen 5 Verwerken Nakijken, al dan niet automatisch 6 Analyseren Cesuur vaststellen, itemanalyse, studentanalyse 7 Sanctioneren Beoordelen, cijfers geven, koppeling administratie 8 Evalueren Management- en beheersinformatie, implicaties ontwerp onderwijs en inbedding van toetsen
De Toetscyclus (naar: "Toets & Beleid; toetsbeleid en geautomatiseerde toetsing" van Mieke Jaspers en Marianne Schade (2002, Fontys Hogescholen) 1 Ontwerpen Inbedden van toetsen in onderwijs, toetsmomenten creëren, didactische visie vaststellen, soort toets bepalen (summatief-formatief, mc-essay, etc.) 2 Construeren Items ) Itembank inrichten, metadateren, weging bepalen, adaptief toetsen, feedback opstellen, vragen maken 3 Samenstellen Toets Samenstellen van de toets, adaptief toetsen, opmaak test (ook ivm online constraints) 4 Afnemen Toets Tentamenzaal (met computers), thuistoets, tijdperiodes vaststellen 5 Verwerken Nakijken, al dan niet automatisch 6 Analyseren Cesuur vaststellen, itemanalyse, studentanalyse 7 Sanctioneren Beoordelen, cijfers geven, koppeling administratie 8 Evalueren Management- en beheersinformatie, implicaties ontwerp onderwijs en inbedding van toetsen
Deze applicaties moeten technisch gezien perfect werken...
IC = standby (tijdens de toetsweken) en zorgt ervoor dat in de weken voor de toetsweken de boel opnieuw wordt gecheckt. Toetsbureau zorgt voor de communicatie naar de studenten toe. Waar en wanneer is de toets. Levert de surveillance en zorgt dat de toetsenvelop gereed is. Is verantwoordelijk voor de afname
Digitaal toetsen ondersteuen - Toetsbureautaken worden uitgebreid ICT&O gaat medewerkers van het toetsbureau opleiden (en ondersteunen)
Taken IH / TC / TD beleggen Keuzes maken formatief / summatief digitaal / papier beveiligd / open Afspraken/afstemming tussen TD en TB Voorbeeld draaiboek is beschikbaar
Waarom o ntkoppelen we de toetsinhoud en de toetsuitvoering ?? Wat levert het op? Kwaliteit krijg je pas als de analyse ook besproken wordt. Denk ook aan hergebruik en opbouw van een goede itembank Verantwoordelijkheden Deze zijn duidelijk belegd (wie is waarop aan te spreken) Kosten efficiënt Een docent behoeft zich niet meer in te werken in het toetsservicesysteem (werkt via Word-sjablonen) Docenten behoeven geen tijd meer te besteden aan het aanmaken en klaarzetten van toetsen Taken efficiënt Docent voert docent taken uit op inhoud en de toetsdesk verzorgt samen met het toetsbureau de toetslogistiek Kwaliteitsslag Van elke toets wordt een toets- en itemanalyse gemaakt.
Verkeerde conclusie- toets doet het weer niet…Imagoschade - (wat niet snel weer te verhelpen is) Capaciteitsproblemen – te weinig Pc’s te weinig technisch goede pc’s. Grote groepen toetsen. Denk ook aan andere tijden toetsen week 1-6 (cultuuromslag) Effcienter inschrijfsysteem bedenken. Nu staan soms nog lokalen leeg omdat de roostermaker “over” heeft gepland. Het spel met het management is nu. Hoe ga je dit oplossen? Meer PC’s en lokalen betekent een forse investering. Waar ligt het omslagpunt? Hier zijn we nog niet uit mar hier zal wel snel duidelijkheid over moeten komen.. Het is in ieder geval goed dat nu alle vragen in 1 systeem komen zodat deze digitaal op een centrale plek worden opgeslagen. En of je de toets dan op papier of digitaal afneemt dit kan allebei!