DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande

1. DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center Projekt Digital tentamen II – SUNET Inkubator 2018-10-11 NU2018 | Västerås

2. Nya sätt examinera och kunskapspröva… REF: http://www.serolearn.com/ http://perigeantechnologies.com/

3. Nationellt projekt – Digital tentamen II Projekt Digital tentamen genomfördes under år 2015. Under hösten 2017 och 2018 så fortsätter projektet Digital tentamen II. Rapporten Datoriserad tentamen (170 sidor) – som ger en översikt hur digitalisering av arbetsprocesserna kan genomföras från ax till limpa av den traditionella papperstentamen med salsskrivning. Webbplats: http://bit.ly/2zmN4y6 eller https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

4. Erfarenheter och verktyg på projektets webbplats Analys av viktigaste behoven och verksamhetskritiska faktorer

5. Projekt Digital tentamen II – projektavslut Aktiviteter under hösten 2018 • Informationsarbete och erfarenhetsspridning; På plats på landets lärosäten, konferenser, webbinar, webbplats och inom ITHU • Stöd kring integrering med LADOK3 och andra beroendesystem • Underlag för eventuell gemensam systemlösning för datoriserad tentamen, utifrån befintlig kravspecifikation (från projektet Digital Tentamen, 2015).

6. Projekt Digital tentamen II – vi ökar takten! Uppdrag Huvudmålet med projektet Digital Tentamen II är att skapa en fortsatt grund för lösningar runt digital tentamen för samt vidareutveckla samarbetet och erfarenhetsutbytet mellan lärosäten.

7. Digitaliseringen på lärosätena 1. Lärplattformar, LMS 2. Webb- och videokonferenssystem 3. Mediaportaler och appar 4. Pågång: Systemlösningar för digital tentamen 5. Fler kan använda: Integreringar mellan beroendesystem (LIS, LTI etc) 6. Diskuteras/Få använder: E-portföljer 7. Påbörjat: AR och VR samt spelbaserat lärande 8. Nya former för digital autentisering som iris, finger och ansiktsskanning

8. Kritiska designprinciper – digitalisering • Underhållsmässighet: Om lösningen kan anpassas eller återanvändas för att möta mer än ett behov/möta flera behov. • Kompatibilitet: Om lösningen kan dela information med andra lösningar så att användare kan dra fördel. • Effektivitet: Om lösningen driver kostnads- och tidsbesparingar. • Maintainability: Whether the solution can be adapted or reused to meet more than one need. • Compatibility: Whether the solution can share information with other solutions such that users can benefit. • Efficiency: Whether the solution drives cost and time savings. REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and interoperability – all technology must enable adaptation to changing environments.” URL: https://encoura.org/helping-institution-realize-vision-five-edtech-companies-watch/ och http://pubs.opengroup.org/architecture/togaf8-doc/arch/chap29.html

9. Viktiga faktorer vid införandet Ledarskap från toppen Institutionellt engagemang och investeringar Robust och tillförlitlig infrastruktur Effektivt och tillgängligt stöd & utveckling för akademisk personal Förmåga att demonstrera fördelarna av upplevelse för student, lärare och administrativ personal Evidensbaserat beslutsfattande och en kontinuerlig förbättringscykel

10. Status hos lärosätena? • Förvaltningsläge: Sophiahemmet högskola, GU, KAU, JU, ORU, LU (juridiska, medicinska), SU, HiG, UU nu senast klar med upphandling klar/integrering/utrusta lokaler etc. • På väg: Flera universitet har pilotprojekt, förstudier, projektgrupper eller upphandling t ex MDH, LU, HB, UMU etc. • Flera universitet har test licenser med leverantörer – har pilottestning. • Universitet som inte startat: KTH, Luleå, Linnéuniversitetet, Linköpings universitet, Södertörns högskola, Mittuniversitetet. Se projektet webbplats för uppdatering > Frågor och svar

11. Lärosäten inför nu datoriserad tentamen • Införs nu på bred front datoriserad tentamen, både med studenternas egna datorer (BYOD) och med lärosätes datorutrustning. • Testverktyget i sina lärplattformar används, andra har upphandlat speciellt anpassade systemlösningar för e-exam/digitala tentamen. • Lärare, IKT-ped och pedagogiska utvecklare testar, kompetensutveckling kring frågetyper, lär sig systemlösning och arbetar in rutiner med tentabokning. Tentavärdar utbildas. • IT-arkitekter involverade, integreringslösningar med LADOK3 bl a LIS (enligt standard IMS-One Roster) • Studenter är positiva

12. Skolorna inför digitala nationella prov och förstudie görs kring digitalisering av HP-provet • Redan nu i höst så påbörjas införande av digitala nationella prov på skolorna. Lärosätena konstruerar dessa prov. • Lärarutbildningarna inte förberedda med kompetens eller kursinnehåll kring skapa digitala prov, systemlösningarna • Kompetensutveckling för lärarutbildare, lärarstudenter och praktiserande lärare, handledare på skolorna behövs. • Digitalisering av Högskoleprovet utreds. Projektet representerar lärosätena inom SHUF.

13. Vanliga och mindre vanliga examinationsformer

14. Salstentan – en av flera examinationsformer Studenter och elever i Sverige är inte så vana med summativa (High Stake) testsituationer. Kortkortprovet, ja. Här finns en erfarenhet av digitalt test/certifiering. Men vi har inga inträdesprov (endast vid konstnärliga utbildningar) eller t ex examensprov som i Finland. Open Book e-exams ovanligt. Test och provsituationer känns förstås ovant då en inte gör de så ofta eller lärt sig studieteknik för att fokusera på en större prestation under längre tid, med tidspress. Högskoleprov är inte avgörande för att söka till högre studier. Lärarutbildningar har få eller inga salsskrivningar som tentamen – mestadels används hemtentor och gruppuppgifter. REF: http://www.provainfact.se/publish/examination/9127- Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291

15. Sista pappersbastionen… Högskolan i Gävle har 47% distansstudenter och 17000 studenter - därför endast ca 8000 papperstentor. Örebro universitet 66000 papperstentor, med 17000 studenter. Jmf med Högskolan i Skövde, ca 8000 studenter med 22000 papperstentor. Göteborgs universitet (GU) med Chalmers ca 125000 papperstentor, ca 10000 digitala tentor 2017 enligt GU. Linköping har minst 130000-140000 tentander som gör papperstentor (5000 tentor) Större lärosäten som Uppsala och Lund har över 100000 papperstentor vardera. Totalt kan vi nog räkna med över 500000 - 700000 papperstentor/år. En del digitalisera! Lärosätena ha alltför många papperstentor fortfarande…

16. Salstentamen – fördelar och nackdelar Fördelar • Salsskrivningar är rättssäkra då det exempelvis minskar riskerna för olika former av fusk. • Formen är välbekant för de flesta studenter. • Med genomtänkta strategier, uppgifter och bedömningsgrunder kan djupinlärning stimuleras. Nackdelar • Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning. • Studenterna kan vara pressade av tidsbegränsningar och att vara i form vid tillfället för salsskrivning • Uppgifter som stimulerar djupinlärning kan ge hög rättningsbörda för läraren.

17. Varför digital examination? Ett axplock. • Studenter skriver stora mängder för hand – svårtydd textmassa. Studenten kan inte redigera. Efter 70 min skrivkramp. Möjlighet förkorta examinationstiden. • Studenten kan använda verktyg som de är vana vid – sin egen dator, ordbehandlare eller webbläsare. • Rättningen för lärare eller grupp av lärare underlättas. • Automatisk överföring till LADOK3 möjlig. • Möjliggör nya former av examinationer, studenter kan kommentera filmklipp, kommentera direkt i pdf-dokument. • Ytterligare stärka anonymiteten. Ökar rättssäkerheten. • Eliminera transport av papper, risk för borttappad tenta minskar – ökar rättssäkerheten • Utlämning av olika former av examinationer kan elimineras d v s utlämnandet av tentamina (Provsekretess vid e-examination)

18. Använda fler representationsformer – fler frågetyper Digital media (multimodal): bilder, video, videoquiz, podcast, animeringar, simuleringar, interaktiva element VR, AR eller 3:dje part programvara Fördelar: Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering Möjligheter till automatisk rättning & feedback Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet

19. Bedömningsmallar digtala (Rubrics) Utvärderingskriterierna

20. Vad kan SUNET:s LMS Canvas? Webbinar 24/10, kl. 14:00 Använda Canvas för digital tentamen Produktägare vid SUNET, Minette Henriksson berättar om möjligheterna och begränsningarna att använda Canvas för digital tentamen. Plats: http://connect.sunet.se/tentamen Frågetyperna blir flera och kunskapsprövning kan ske på fler sätt och mer specifikt. På tid, mer autentiskt, vid begränsningar med digitalt stöd.

21. Fördelarna med datoriserad tentamen Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen är bl a att bedömning/rättning kan ske snabbare (30-70%) och bättre med högre kvalitet utförd, då det blir enklare när studenternas svar är digitala – då framförallt genom: • Att använda digitala bedömningsmallar • Att fler lärare är med och granskar/gör bedömning med rättningsprotokoll (Moderation) • Att studenternas svar är och lärarnas bedömning är anonym • Att lärarna kan sitta var som helst för att göra sin rättning/bedömning • Att lärarna enklare och flexiblare kan kommentera i dokument, markera på bilder m m som feedback till studenter

22. Fördelar lärare/examinator • Översiktligt och enkelt med fler representationsformer • Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma • Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig bedömning • Sparar tid i utformning och poängsättning • Kan ha flera examinatorer • Kan ha negativa poäng, ge extra poäng • Använda plausibla svar och goda distraktorer • Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar) • Kan använda 3:djeparts applikationer – streaming av programvara för autentisk tenta • Spara och återanvända frågor i frågebank • Enklare utvärdera frågor och frågetyper • Plagiatkontroll går genomföra • Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser • Anpassning för studenter med funktionsvariationer förbättras

23. Funktionshinder och funktionsvariationer Krav på testsituation och programvara som används: • Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc) • Publicering för extra skrivtid • Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska • Intuitiv och tydlig navigation • Storlek och färg på text och bakgrund kan justeras • Talsyntes kan användas • Snabbtangenter användas • Texteditor stödjer skrivarbetet i olika representationsformer • Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet) • Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva objekt

24. Learning Analytics Students profil och förkunskaper (testade) Prestationer Aktiviteter Betyg, bedömningar, poäng Närvaro (även mobilt) Statistik Diskrepans (avvikelser/skillnader) Förbättra frågor till test/prov/tentor Följa studentens studie-, användar- och interaktionsmönster Stödja svaga elever/studenter/kursdeltagare Nyttja befintlig data som stöd för utveckla läromedel och examinationsformer

25. Learning Analytics (Objektanalys) – för kvalitetssäkring

26. Nya examinationsformer - snabbare analyser

27. Flera färdiga systemlösningar finns

28. Arbetsprocessen digitaliseras Förberedelse Tentamen Bedömning Efterarbete

30. Arbetsprocessen digitaliseras – rutiner och regler Förberedelse Tentamen Bedömning Efterarbete Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder (krav på IT-arkitektur, interoperabilitet) Lokalanpassningar - ström, nät/WiFi och möblering Anpassning funktionshindrade Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR) Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)

31. Arbetsprocessen digitaliseras – management/kvalitet Förberedelse Tentamen Bedömning Efterarbete Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering - spårbarhet i hela arbetsprocessen Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter (frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via internet, övervakning/säkerhet, incidenthantering, intern IT-kompetens Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes) Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete. Arkivering (notera: GDPR)

32. Hur hanteras fusk?

33. Säkerhet/Risk: examinationformer (high stake)

34. Minska möjligheterna till fusk Randomisera frågor med frågebank En fråga åt gången Låsa skärm – ingen internet Övervaka dataskärm Ej kunna backa Avskärma

35. Säkerhet – Level of Assurance (LoA)

36. Har våra papperstentor validitet & reliabilitet? • Standard error of measurement (SEM), Analyzing individual questions (items). Discriminator (incorrect options) discrimination, Difficulty index, Cronbach-alpha, Writing Good Multiple Choice Test Questions, • Multifactor evaluation (Learning Analytic) - With Exam overview (i realtid, faktabaserat beslutsunderlagstyrka valet av examinationsfrågorna) • Pass marks, pass/fail, Grade, pass mark, pass rate, discrimination • Question preformance (Pearson’s % item discrimination) • Candidate performance, score discrimination Avarage SD • Difficulty vs Discrimination • Excluded items Reliability consistency, reproducibility - a reliable test (repeat the test with the same results). Cronbach-alpha, measure over 0.0 considered good .90 and up excellent .80-.89 good .70-79 adequate Below .70 lower or acceptable Item discrimination is measured in two different ways. 20% low and 20% highest. The range are +1 to -1. Above 0.4 very good Above 0.2 OK Below 0.1 Little or no value Below 0.0 Negative impact on test, should be removed Discriminator (incorrect options) discrimination Measure how well the incorrect answers distract from the correct answer If distractor is never or seldom chosen, then why have them Rewriting distractor can improve a question Difficulty index Easy or difficult Different from item discrimination Q close to 100% correct don’t add not any value Incorrect most are also poor question 20% (in 1 out of 5) means 80-40% is good, an indicator that the question has a problem

37. Kompetensutveckling NU2810.se & ecdea.org E-assessment & E-exams Frågor och Frågetyper – skapa, skriva och utvärdera samt kvalitetssäkra Examinationsformer Representationsformer 3:dje parts programvara Autentiska VR/AR

38. Varför har vissa inte kommit igång ännu? Ledarskap från toppen Institutionellt engagemang och investeringar Robust och tillförlitlig infrastruktur Effektivt och tillgängligt stöd & utveckling för akademisk personal Förmåga att demonstrera fördelarna av upplevelse för student, lärare och administrativ personal Evidensbaserade beslutsfattande och en kontinuerlig förbättrings- cykel

39. Digital tentamen är… Digital transformation & verksamhetsutveckling • Ta position - börja pilottesta • Välj rätt vågor - omvärldsanalys (bevaka, agera eller ignorera) • Gör det mesta av vågorna (vad som ändå kommer) – ha engagemang, nyttja andras erfarenheter och gör investeringar 1. Mobilisering – skapa pilottester och skapa projektgrupp med IT-avdelning, tentabokning, IKT-stödorganisationen och sprid erfarenheter från andra lärosäten 2. Koordination – samverka med alla nödvändiga intressenter för rutiner och kompetensutveckling samt upphandla robust systemlösning 3. Acceleration – skala upp, integrera och ständiga förbättringar med datastöd

40. Vad vi investerar i tid och kompetens får vi tillbaka – mål bespara manuellt administrativt arbete och utveckla formerna för kunskapsprövning och öka kvalitet i examination Inputs • What we invest … e. g. infrastrucure/integrations (LTI, LIS) • Staff time, Tech expertice, Systems, Training, User Group Outputs • Less time on tasks for teachers • Better student experiences Outcomes • Lower indirect costs and costs per exam • Better quality och flexible forms of exams

41. Rekommendationer • Skapa inte egna systemlösningar – för kostsamt • Börja med pilottester med intresserade lärare/examinatorer – vinn tid och erfarenhet • Samla alla intressenter – förankra • Ledningsbeslut och dokument – bra, men får inte bli hyllvärmare • Nyttja projektets resurser – besök andra lärosäten

42. Frågan om gemensam upphandling Upphandling via SUNET LIS Integrering LADOK3 Intresset Kravspecifikation Disclaimer/ansvarsfriskrivning: ”Det finns absolut mycket att lära av de som lyckats bra, men förutsättningarna runt om i landet kan vara så olika för alla lärosäten och fakulteter ska kunna göra lika. (Jmf. Införandet och arbetsrutiner kring LADOK3).”

43. FRÅGOR OCH TACK! Mats Brenner, projektledning Projekt Digital tentamen II- SUNET Inkubator Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33 Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6 https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande

DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande

Similaire à DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande(20)

Plus de Mats Brenner

Plus de Mats Brenner(10)

DIGITALA EXAMINATIONER: Nuläget och erfarenhetsutbyte av införande