Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer

1. Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer Mats Brenner, IKT-pedagog vid Högskolan i Gävle – Learning Center 2018-03-08 MAH

2. Digital examination - möjligheter och utmaningar • Hur har andra gjort • Learning Analytic • Administration • Att formulera frågor

3. Uppdraget – förbättra examinationer

4. Kvalitet, Access och Kostnader – en avvägningsfråga inom all utbildning – även för utveckla examinationsformer Kvalitet Access – flexibla och säkra former KostnadAkademisk Framtiden/mål

5. Syfte • Lärande - studenten ökar sitt lärande i kurs (ipsativ eller normen – synliggöra t ex med en e-portfölj) • Ökad kompetens - läraren i sitt ständiga förbättrings- arbete (ipsativt, gradera sig i förhållande till sig själv, självprogression - där den svarande endast jämförs med sig själv) • Metoder med evidens – kursmål, bedömning och skattning, examinationsvillkor, pedagogisk modell och examinationsformer (både formativa och summativa) • Digital- och informationskompetens – studenterna kommer ut i arbetslivet (eller som lärare eller forskare)

6. Vilken kompetens I Ledningssystem för kompetensförsörjning - SS 62 40 70 så finns följande definition gällande begreppet kompetens: SIS har definierats begreppet kompetens som ”förmåga och vilja att utföra en uppgift genom att tillämpa kunskaper och färdigheter” där följande innebörd har lagts bakom orden: • Förmåga erfarenhet, förståelse och omdöme att omsätta kunskap och färdigheter. • Vilja attityd, engagemang, mod och ansvar. • Kunskap fakta, metoder – att veta. • Färdigheter kunna utföra i praktiken – att göra.

7. Hur ser kursupplägget ut…planerad metod förväntat utfall? Planera och utveckla din kurs effektivare med: 1. Kursverkstaden kummel.slu.se 2. Kursutveckling kursutveckling.se 3. TALOE Webtool taloetool.up.pt Bild: Nick8jun, Wikimedia Commons

8. Examination är ett lärtillfälle Skolnivå:” Eleverna lär sig mycket mer om en stor del av tiden ägnas åt prov”. Provmetoden ger inte samma behagliga känsla av kontroll, men den får elevernas hjärnor att gå igång på ett helt annat sätt. Prov kanske inte är så kul, men de etsar fast kunskapen i hjärnan. (DN 2015-01-23, Vetenskap sid 23, Karin Bojs – Elever pluggar bäst med prov) Lärosätesnivå: Assessment and feedback - Transforming assessment and feedback in UK higher education with technology-enhanced solutions REF: https://www.jisc.ac.uk/rd/projects/assessment-and-feedback EU-projekt: TALOE: …help you decide which e-assessment strategies to use… REF: http://taloetool.up.pt Nationellt Sverige: Projekt Digital tentamen II – SUNET Inkubator REF: https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

9. Blooms Taxonomi Aktiva Verb Hur vi uttrycker oss explicit i studiehandledning och vid uppgiften…

10. Bedömningsmallar (Rubrics) Tydliga examinationskriterier, examinationsvillkor. Nu kan ni enkelt utbyta Rubrics – helst direkt i din LMS/lärplattform - med varandra samt Bologna s k kurskrav: https://hig.se/Ext/Sv/Biblioteket/Learning-Center/Pedagogiska- verktyg/Bedomningsmallar-i-Blackboard---Kriterier-Rubrics.html

11. Rapport 2008:36 R från HSV: Rättssäker examination ”Datorbaserad tentamen Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats som prov där frågorna görs tillgängliga för studenterna via Internet och studenterna redovisar sina svar via Internet eller via e-post. Det är uppenbart att denna examinationsform är beroende av att de tekniska förutsättningarna fungerar. I övrigt torde de rättssäkerhetsfrågor som kan uppkomma vara desamma som för examinationsformer som inte är datorbaserade. Myndigheten för Sveriges nätuniversitet publicerade 2005 en rapport där rättssäkerheten vid nätburen examination diskuterades (rapport Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten var att ”rättssäkerheten vid nätburen examination inte skiljer sig från examination på campus.” ” (sid 89)

12. Examinations- former även som nätbaserade kursutveckling.se

13. Vanliga och mindre vanliga examinationsformer

14. Digitaliseringen på lärosätena 1. Lärplattformar, LMS 2. Webb- och videokonferenssystem 3. Mediaportaler och appar 4. Pågång: Systemlösningar för digital tentamen 5. Få använder: Integreringar mellan beroendesystem (LIS, LTI etc) 6. Diskuteras/Få använder: E-portföljer 7. Påbörjat: AR och VR samt spelbaserat lärande • REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet med aktuell omvärldsanalys. Nätbaserat lärande, s k blended learning, digital examination ökar i omfattning vid lärosätena.

15. Nationellt projekt – Digital tentamen II Projekt Digital tentamen genomfördes under år 2015. Under hösten 2017 och 2018 så fortsätter projektet Digital tentamen II. Rapporten Datoriserad tentamen (170 sidor) – som ger en översikt hur digitalisering av arbetsprocesserna kan genomföras från ax till limpa av den traditionella papperstentamen med salsskrivning. Webbplats: http://bit.ly/2zmN4y6 https://wiki.sunet.se/display/Inkubator/Digital+Tentamen+II

16. Salstentan – en av flera examinationsformer Studenter och elever i Sverige är inte så vana med summativa (High Stake) testsituationer. Kortkortprovet, ja. Här finns en erfarenhet av digitalt test/certifiering. Men vi har inga inträdesprov (endast vid konstnärliga utbildningar) eller t ex examensprov som i Finland. Test och provsituationer känns förstås ovant då en inte gör de så ofta eller lärt sig studieteknik för att fokusera på en större prestation under längre tid, med tidspress. Högskoleprov är inte avgörande för att söka till högre studier. Lärarutbildningar har få eller inga salsskrivningar som tentamen – mestadels används hemtentor och gruppuppgifter. REF: http://www.provainfact.se/publish/examination/9127- Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9291

17. Sista pappersbastionen… Högskolan i Gävle har 47% distansstudenter och 17000 studenter - därför endast ca 8000 papperstentor. Örebro universitet 66000 papperstentor, med 17000 studenter. Jmf med Högskolan i Skövde, ca 8000 studenter med 22000 papperstentor. Göteborgs universitet (GU) med Chalmers ca 1250000 papperstentor, ca 10000 digitala tentor 2017 enligt GU. Linköping har minst 130000-140000 studenter som gör papperstentor (5000 tentor) Större lärosäten som Uppsala och Lund har över 100000 papperstentor vardera. Totalt kan vi nog räkna med över 500000 papperstentor/år. En del digitalisera! Lärosätena ha alltför många papperstentor fortfarande…

18. Salstentamen – fördelar och nackdelar Fördelar • Salsskrivningar är rättssäkra då det exempelvis minskar riskerna för olika former av fusk. • Formen är välbekant för de flesta studenter. • Med genomtänkta strategier, uppgifter och bedömningsgrunder kan djupinlärning stimuleras. Nackdelar • Salsskrivning kan vid ovarsamhet uppmuntra ytinlärning. • Studenterna kan vara pressade av tidsbegränsningar och att vara i form vid tillfället för salsskrivning • Uppgifter som stimulerar djupinlärning kan ge hög rättningsbörda för läraren.

19. Använda fler representationsformer – fler frågetyper Digital media (multimodal): bilder, video, videoquiz, podcast, animeringar, simuleringar, interaktiva element VR, AR eller 3:dje part programvara Fördelar: Ökade representationsformar för tentand visa sina kunskaper, förmågor och färdigheter Fler frågetyper och frågebanker för lärare att nyttja för test/prov, versionshantering Möjligheter till automatisk rättning & feedback Ger data/användarstatistik för att förbättra mätningsinstrumenten, spårbarhet

20. Frågetyper

21. Lärosäten inför nu datoriserad tentamen • Införs nu på bred front datoriserad tentamen, både med studenternas egna datorer (BYOD) och med lärosätes datorutrustning. • Testverktyget i sina lärplattformar används, andra har upphandlat speciellt anpassade systemlösningar för e- exam/digitala tentamen. • Studenter positiva • Lärare, IKT-ped och pedagogiska utvecklare testar, kompetens- utveckling kring frågetyper, lära sig systemlösning och arbeta in rutiner med tentabokning. Tentavärdar behöver utbildas.

22. Fördelarna med datoriserad tentamen Fördelarna (Brenner & Sandström, 2015) med datoriserad tentamen är bl a att bedömning/rättning kan ske snabbare (30- 70%) och bättre med högre kvalitet utförd, då det blir enklare när studenternas svar är digitala – då framförallt genom: • Att använda digitala bedömningsmallar • Att fler lärare är med och granskar/gör bedömning med rättningsprotokoll (Moderation) • Att studenternas svar är och lärarnas bedömning är anonym • Att lärarna kan sitta var som helst för att göra sin rättning/bedömning • Att lärarna enklare och flexiblare kan kommentera i dokument, markera på bilder m m som feedback till studenter

23. Fördelar lärare/examinator • Översiktligt och enkelt med fler representationsformer • Tidsbesparande, mindre arbetstid behövs emot manuellt för rätta/bedöma • Enklare bedöma, hitta de som gjort samma fel och därmed få en bättre och mer likvärdig bedömning • Sparar tid i utformning och poängsättning • Kan ha flera examinatorer • Kan ha negativa poäng, ge extra poäng • Använda plausibla svar och goda distraktorer • Kan ha mallar för tenta (antal frågor, typ av frågor, begränsar/standardiserar) • Kan använda 3:djeparts applikationer • Spara och återanvända frågor i frågebank • Enklare utvärdera frågor och frågetyper • Plagiatkontroll går genomföra • Prestationerna bättre – läsbart, omdisponerad text, kan infoga bilder/skisser • Anpassning för studenter med funktionsvariationer förbättras

24. Inkludering, Tillgänglighet, Access, Likvärdighet…

25. Funktionshinder och funktionsvariationer Krav på testsituation och programvara som används: • Lokalen (tillgång till mindre rum - lugn och ro, ståbord, belysning, rullstolsanpassning etc) • Publicering för extra skrivtid • Använda egen dator med speciell programvara t ex för talsyntes, rättstavningsprogram för svenskspråkiga som skriver engelska eller som rättar stavfel och grammatikfel på svenska • Intuitiv och tydlig navigation • Storlek och färg på text och bakgrund kan justeras • Talsyntes kan användas • Snabbtangenter användas • Texteditor stödjer skrivarbetet i olika representationsformer • Rita med digital penna, mus med scanner, musplatta med extra funktioner (interoperabilitet) • Format ska stödjas, text (Ascii), matematiska symboler, bildformat, ljud/video-filer, interaktiva objekt

26. Arbetsprocessen digitaliseras Förberedelse Tentamen Bedömning Efterarbete

27. Arbetsprocessen digitaliseras – rutiner och regler Förberedelse Tentamen Bedömning Efterarbete Stödsystem – bokning/anmälan, planering, tentamensspecifika, IT-standarder (krav på IT-arkitektur, interoperabilitet) Lokalanpassningar - ström, nät/WiFi och möblering Anpassning funktionshindrade Datorer - studenternas egna (BYOD), surfplattor/portabla eller i datasalar ID-hantering (anonymisering) och övervakning - monitoring/proctoring (GDPR) Överföring av data och arkivering – säker datalagring, rättssäker (GDPR)

28. Arbetsprocessen digitaliseras – management/kvalitet Förberedelse Tentamen Bedömning Efterarbete Roller och behörighet i system och systemförvaltning - access, säkerhet, kvalitetsarbete, versionshantering - spårbarhet i hela arbetsprocessen Provkonstruktion - frågetyper, frågebanker, Learning Analytic, förbättringsarbete, immateriella rättigheter (frågebanker), metadata för söka/beskriva frågorna i kategori, kunskapsnivå, sökord Testsituationen - autentisering, funktionshinder, säker webbläsare/låsa skärm, ej kommunicera via internet, övervakning/säkerhet, incidenthantering, intern IT-kompetens Bedömning- och betygsättning via digitala bedömningsmallar – Kriterier, bedömningsmallar (Rubrics) och referensramar för kvalifikationer – kopplingen till lärandemål (Learning Outcomes) Resultathantering – feedback/besked till tentand, Objektanalys (Learning Analytic) förbättringsarbete. Arkivering (notera: GDPR)

29. Learning Analytics (Objektanalys) – för kvalitetssäkring

30. Nya examinationsformer - snabbare analyser

31. Hur hanteras fusk?

32. Minska möjligheterna till fusk Randomisera frågor med frågebank En fråga åt gången Låsa skärm – ingen internet Övervaka dataskärm Ej kunna backa Avskärma

33. Säkerhet – Level of Assurance (LoA)

34. Öppen data – låt studenterna forska och redovisa Verktyg OpenScholar (Harvard) Content management verktyg FoU i Sverige Gratis dataprogram och IT-verktyg för forskare Nesstar Verktyg för webbpublicering av data (freeware) Open Data Commons Verktyg för att tillhandahålla och använda öppen data Tableau Software verktyg för visualisering av data REF:http://hig.se/Ext/Sv/Biblioteket/Soka/Internetresurser/Oppen- offentlig-data.html

36. Projektarbete Rollspel Kollegial bedömning Seminarium Grupp- examinationer

37. Askultation Praktikperioder (VFU) Studiebesök Caseskrivande

38. Examinations- portfölj Fallstudie Loggbok/dagb ok/journal Affisch- utställning Bokrecension Minutpapper

39. Laboration Flervalsfrågor Praktiska prov Ungefärliga analogier Salsskrivning Muntlig examination Självskattning

40. Abstract Undersöknings- plan Artikel i Wikipedia Självständiga skriftliga arbeten Examensarbete Ex-jobb (för org./företag)

41. Skapa frågor i en video - video quiz Att lägga till interaktiva quiz i video (med flervalsfrågor) är ett bra sätt att hålla studenten engagerad och ett effektivt sätt att låta betraktaren ”arbeta direkt” med presentationen av ämnet. Men funktionen Analytic så kan du som lärare även se kursdeltagarnas användarmönster; se hur många som sett videon, hur svarsfrekvenserna ser ut m.m. • Du kan skapa obegränsat antal frågor i en video och flervalsfrågor med 2 eller 3 svarsalternativ per fråga. • Du kan som lärare ställa in så studenten kan hämta frågorna i en PDF-fil (laddas upp på skärm) innan videofilmen startas och testet därmed startas. • Studenten kan få ”hintar” som hjälp till att välja rätt svar – med en enkel inställning. • Studenten kan även tillåtas att hoppa över frågor och återgå till dem för att besvara dem senare. • Studenten kan se videofilmen flera gånger och ta emot feedback, korrekta svar och djupgående förklaringar när frågorna besvaras.

42. Tips för att skapa flervalsfrågor och quiz i videofilmer • Säkerställ att du blandat dina svarsalternativ. • Se till att alla felaktiga svarsalternativ bör vara rimliga. • Rekommenderas inte att använda "alla ovanstående" och "inget av ovanstående" som felaktiga svarsalternativ. • Säkra att frågan är meningsfull i sig och representerar ett konkret problem. • Försök hålla liknande längd på svaren. • Försök inte att skapa ”knepiga” frågor, snarare tillåta konstruktivt lärande. • Använd endast ett (1) rätt svar och se till att det framgår varför andra inte är rätt alternativ. • Rekommenderat sätta den sista frågan i slutet av videon, för att hålla användaren engagerad genom hela presentationen av ämnet (genom hela videofilmen).

43. FRÅGOR OCH TACK! Mats Brenner, projektledning Projekt Digital tentamen II- SUNET Inkubator Kontakt: mats.brenner@hig.se , tfn: 026-64 82 18, 070-350 02 33 Webbsidan/kontaktadresser: http://bit.ly/2zmN4y6 https://wiki.sunet.se/display/Inkubator/Digital+ Tentamen+II

Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer

Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer

Similaire à Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer(19)

Plus de Mats Brenner

Plus de Mats Brenner(9)

Digitala examinationer - utvecklingsmöjligheter för flertalet examinationsformer