Presentation vid konferensen Administratör i Högskolan 2019. I Sthlm den 5 december, 2019.

1. Digitala prov och examination –
är verksamhetsutveckling
Exempel på olika typer av lösningar för att
komma igång med digitala prov och digital
examination.
Samverkansgruppen IKT/Lärmiljöer –
Mats Brenner, IKT-pedagog

2. Digitaliseringen på lärosätena
1. Lärplattformar, LMS
2. Webb- och videokonferenssystem
3. Mediaportaler och appar
4. Pågång: Systemlösningar för digital tentamen
5. Få använder: Integreringar mellan beroendesystem
(LIS, LTI etc)
6. Diskuteras/Få använder: E-portföljer
7. Påbörjat: AR och VR samt spelbaserat lärande
• REF: Erfarenheter är från distansutbildning och nätbaserade utbildning sedan slutet av 1990-talet med aktuell
omvärldsanalys. Nätbaserat lärande, s k blended learning, digital examination ökar i omfattning vid lärosätena.

3. Trender inom e-assessment och HR
REF: https://www.cut-e.com/fileadmin/user_upload/HR_Trends/Article_Ten_assessment_trends_.pdf

4. The Benefit of Digital Exams

5. The Future of high
stake assessment

6. Trender och nya sätt examinera pröva, bedöma
kunskaper och färdigheter
REF: http://www.serolearn.com/
http://perigeantechnologies.com/

7. Funktionshinder
och funktions-
variationer
Ökade möjligheter till anpassning till testsituation
och programvara som används:
• Lokalen (tillgång till mindre rum - lugn och ro,
ståbord, belysning, rullstolsanpassning etc)
• Publicering för extra skrivtid
• Använda egen dator med speciell programvara t ex
för talsyntes, rättstavningsprogram för
svenskspråkiga som skriver engelska eller som
rättar stavfel och grammatikfel på svenska
• Intuitiv och tydlig navigation
• Storlek och färg på text och bakgrund kan justeras
• Talsyntes kan användas
• Snabbtangenter användas
• Texteditor stödjer skrivarbetet i olika
representationsformer
• Rita med digital penna, mus med scanner,
musplatta med extra funktioner (interoperabilitet)
• Format ska stödjas, text (Ascii), matematiska
symboler, bildformat, ljud/video-filer, interaktiva
objekt

8. Salstentan – en av flera
examinationsformer
Papperstentamen är endast en av över 30-
tal examinationsformer.
Hemtentor och inlämningsuppgifter är ofta
digitala.
Dock så har flera andra examinationsformer
inte digitaliserats.
Framförallt så sker nu digitalisering av
papperstentamen till digital tentamen.
Gruppinlämningar t ex görs ofta i en och
samma Wordfil istället för Wiki – med
spårbarhet i historik.
Inlämning och feedback med video, ljudfiler,
digitala poster etc sker ännu i begränsad
form
Hantering av öppen offentlig data – för mer
autentisk examination är ännu begränsad.
REF: http://www.provainfact.se/publish/examination/9127-
Examinationsformer___vanliga_och_mindre_vanliga/index.html#/929
1

9. Sista pappers-bastionen…

10. Salstentan – fördelar och nackdelar
och nackdelar
Fördelar
• Salsskrivningar är rättssäkra då det exempelvis
minskar riskerna för olika former av fusk.
• Formen är välbekant för de flesta studenter.
• Med genomtänkta strategier, uppgifter och
bedömningsgrunder kan djupinlärning stimuleras.
Nackdelar
• Salsskrivning kan vid ovarsamhet uppmuntra
ytinlärning.
• Studenterna kan vara pressade av
tidsbegränsningar och att vara i form vid tillfället
för salsskrivning
• Uppgifter som stimulerar djupinlärning kan ge
hög rättningsbörda för läraren.

11. Vanliga och
mindre vanliga
examinations-
former –
KAN
DIGITALIERAS

12. Nya
examinations
-former…
snabbare
analyser

13. Har våra papperstentor
validitet & reliabilitet?
• Standard error of measurement (SEM),
Analyzing individual questions (items).
Discriminator (incorrect options) discrimination,
Difficulty index, Cronbach-alpha, Writing Good
Multiple Choice Test Questions,
• Multifactor evaluation (Learning Analytic) - With
Exam overview (i realtid, faktabaserat
beslutsunderlagstyrka valet av
examinationsfrågorna)
• Pass marks, pass/fail, Grade, pass mark, pass
rate, discrimination
• Question preformance (Pearson’s % item
discrimination)
• Candidate performance, score discrimination
Avarage SD
• Difficulty vs Discrimination
• Excluded items
Reliability consistency,
reproducibility - a reliable
test (repeat the test with
the same results).
Cronbach-alpha, measure
over 0.0 considered good
.90 and up excellent
.80-.89 good
.70-79 adequate
Below .70 lower or
acceptable
Item discrimination is
measured in two
different ways. 20%
low and 20% highest.
The range are +1 to -1.
Above 0.4 very good
Above 0.2 OK
Below 0.1 Little or no
value
Below 0.0 Negative
impact on test, should
be removed
Discriminator (incorrect options) discrimination
Measure how well the incorrect answers distract from the correct
answer
If distractor is never or seldom chosen, then why have them
Rewriting distractor can improve a question
Difficulty index
Easy or difficult
Different from item
discrimination
Q close to 100% correct don’t
add not any value
Incorrect most are also poor
question
20% (in 1 out of 5) means 80-
40% is good, an indicator that
the question has a problem

14. Learning Analytics (Objektanalys) – för kvalitetssäkring

15. Effektivitet
Verksamhetsutveckling
• Målet är att bespara manuellt administrativt arbete och
utveckla formerna för kunskapsprövning och kvalitet i
examination – detta ger effektivitet.
Inputs
• What we invest … e. g. infrastrucure/integrations (LTI, LIS)
• Staff time, Tech expertice, Systems, Training, User Group
Outputs
• Less time on tasks for teachers
• Better student experiences
Outcomes
• Lower indirect costs and costs per exam
• Better quality och flexible forms of exams

16. Projekt Digital tentamen II projekt –
Digital tentamen II
Rapporten Datoriserad
tentamen (170 sidor) –
som ger en översikt hur
digitalisering av
arbetsprocesserna kan
genomföras från ax till
limpa av den traditionella
papperstentamen med
salsskrivning.
Webbplats:
http://bit.ly/2zmN4y6

17. Fördelarna – digital examination
Fördelarna – flera representationsformer för både
formativ och summativ examination, feedback och
bedömning.
• Att använda video, ljudfiler, simuleringar
(multimedia)
• Att använda digitala annoteringar, kommentarer,
feedback i t ex pdf-filer eller webbsidor
• Att använda kommenterar från andra studenter -
peer review / kamratbedömning, kollegial
bedömning
• Att använda digitala bedömningsmallar (Rubrics)
• Att lärarna enklare och flexiblare kan ge samma
feedback till flera/alla studenter som har liknande
svar

18. Fördelarna – digital tentamen
Fördelarna (Brenner & Sandström, 2015) med datoriserad
tentamen är bl a att bedömning/rättning kan ske snabbare
(30-70%) och bättre med högre kvalitet utförd, då det blir
enklare när studenternas svar är digitala – då framförallt
genom:
• Att använda digitala bedömningsmallar
• Att fler lärare är med och granskar/gör bedömning med
rättningsprotokoll (Moderation)
• Att studenternas svar är och lärarnas bedömning är
anonym
• Att lärarna kan sitta var som helst för att göra sin
rättning/bedömning
• Att lärarna enklare och flexiblare kan kommentera i
dokument, markera på bilder m m som feedback till
studenter

19. Fler fördelar än nackdelar…
lärare/examinator
• Översiktligt och enkelt med fler representationsformer
• Tidsbesparande, mindre arbetstid behövs emot
manuellt för rätta/bedöma
• Enklare bedöma, hitta de som gjort samma fel och
därmed få en bättre och mer likvärdig bedömning
• Sparar tid i utformning och poängsättning
• Kan ha flera examinatorer (rättningsprotokoll)
• Kan ha negativa poäng, ge extra poäng
• Använda plausibla svar och goda distraktorer
• Kan ha mallar för tenta (antal frågor, typ av frågor,
begränsar/standardiserar)
• Kan använda 3:djeparts applikationer – streaming av
programvara för autentisk tenta
• Spara och återanvända frågor i frågebank
• Enklare utvärdera frågor och frågetyper
• Plagiatkontroll går genomföra
• Prestationerna bättre – läsbart, omdisponerad text, kan
infoga bilder/skisser
• Anpassning för studenter med funktionsvariationer
förbättras

20. Flera färdiga systemlösningar finns

21. Frågetyper.
Vad kan lärplattformen?
Canvas: Frågetyper. För Moodle:Third-party question types
se: https://docs.moodle.org/35/en/Third-party_question_types

26. Digital tentamen i praktiken
• Tentavärdar får nya
roller
• Lokal och utrustning
anpassas
• Systemlösningen
• Nya frågetyper
används mäta
kunskap och
kompetens

27. Göteborgs universitet och Chalmers
• Nya anpassade
lokaler. Lånedatorer.
• Samtida digital-
/papperstenta. Inspera
Assessment.
• Högre krav på
tentavakterna

29. Örebro och Karlstad
• Byggt om och byggt till
nya anpassade lokaler
• WISEflow med
FLOWlock
• Lånedatorer
• Högre krav på
tentavärdarna

30. Sophiahemmet högskola
• Alla tentor är nu digitala
tentor
• Pilot till genomförande 1
år
• Många lånedatorer i
förhållande till studenter

31. Stockholms Universitet - EXIA
• En fast lokal, flera flexibla
lokaler
• Både BOYD och lokal
med egen utrustning
• Skalar upp – har ett
stort/utspritt campus

32. Förstudie, Pilotestar och Upphandlar
• Mälardalens högskola – 3
system parallellt
• Centrala projekt: Lunds-
och Umeå universitet
• Uppsala har upphandlat
klart – byggt om
• Gävle, pilottestar
Dugga.se och använder
LMS Bb sedan över 15 år

33. Säkerhet -
Level of
Assurance
MINSKA FUSK - PUBLICERINGFORM
MINSKA FUSK - EXAMINATIONSFORM
Randomisera frågor med frågebankRandomisera frågor med frågebank
En fråga åt gångenEn fråga åt gången
Låsa skärm – ingen
internet
Låsa skärm – ingen
internet
Övervaka dataskärmÖvervaka dataskärm
Ej kunna backaEj kunna backa
AvskärmaAvskärma

34. Säkerhet/Risk: examinations
former (high stake)

35. Säkerhet i systemlösningen
Säker webbläsare:
Respondus Lockdown
Browser (Licens)
SEB (Open Source)

36. Exempel: TeSLA
Webbplats: http://tesla-project.eu/
Video: https://vimeo.com/164100812

37. Arbetsprocessen
digitaliseras –
management &
kvalitet
Provkonstruktion - frågetyper, frågebanker,
Learning Analytic, förbättringsarbete,
immateriella rättigheter (frågebanker),
metadata för söka/beskriva frågorna i
kategori, ämnesområde, kunskapsnivå,
sökord.
Testsituationen - autentisering,
funktionshinder, säker webbläsare/låsa
skärm, ej kommunicera via internet,
övervakning/säkerhet, incidenthantering,
intern IT-kompetens.
Bedömning- och betygsättning via digitala
bedömningsmallar – Kriterier,
bedömningsmallar (Rubrics), utveckla
feedback och referensramar för
kvalifikationer – kopplingen till lärandemål
(Learning Outcomes).

38. Kritiska design-principer –
digitalisering
• Underhållsmässighet: Om lösningen kan anpassas eller återa
nvändas för att möta mer än ett behov/möta flera behov.
• Kompatibilitet: Om lösningen kan dela information med andra
lösningar så att användare kan dra fördel.
• Effektivitet: Om lösningen driver kostnads-
och tidsbesparingar.
• Maintainability: Whether the solution can be adapted or
reused to meet more than one need.
• Compatibility: Whether the solution can share information with
other solutions such that users can benefit.
• Efficiency: Whether the solution drives cost and time savings.
REF: When.. ”decide that the fundamental design principles for supporting educational technology are agility and
interoperability – all technology must enable adaptation to changing environments.” URL: https://encoura.org/helping-
institution-realize-vision-five-edtech-companies-watch/ och http://pubs.opengroup.org/architecture/togaf8-
doc/arch/chap29.html

39. De kritiska faktorerna vid
införandet
 Ledarskap från toppen
 Institutionellt engagemang och investeringar
 Robust och tillförlitlig infrastruktur
 Effektivt och tillgängligt stöd & utveckling för akademisk
personal
 Förmåga att demonstrera fördelarna av upplevelse för
student, lärare och administrativ personal
 Evidensbaserat beslutsfattande och en kontinuerlig
förbättringscykel

40. Digital
transformation &
verksamhets-
utveckling
• Ta position - börja pilottesta
• Välj rätt vågor - omvärldsanalys (bevaka, agera eller
ignorera)
• Gör det mesta av vågorna (vad som ändå kommer)
– ha engagemang, nyttja andras erfarenheter och gör
investeringar
1. Mobilisering – skapa pilottester och skapa
projektgrupp gärna med IT-avdelning, tentabokning,
IKT-stödorganisationen och sprid erfarenheter från
andra lärosäten
2. Koordination – samverka med alla nödvändiga
intressenter för rutiner och kompetensutveckling
samt få till en robust systemlösning (kanske
upphandling behövs)
3. Acceleration – skala upp, integrera och ständiga
förbättringar med datastöd

41. FRÅGOR OCH TACK!
Kontakt: mats.brenner@esh.se
Tfn: 076 893 1061