1. www.infrastrukturkompetens.eu
SIK Pilot 1 Vinterveg
Evalueringsseminar, Fredrikstad, 2013-09-11
Pilot-test 2013
Verifisering av kompetanse
Utforming av spørsmål
Oppsummering fra pilot-tester
Ver. 2013-08-24/JMJ
2. 2013-08-24 www.infrastrukturkompetens.eu 2
Pilot 1
Vinterveg
Deltagere i testen Deltagere Styring Utfører Byggherre
Mesta, Konsmo
42 24 14 4
Mesta, Helsingborg
PEAB, Kungälv
PEAB, Berger
Svevia, Uddevalla
NCC, Hamar
NCC, Borås
Skanska, Karlskrona
3. 2013-08-24 www.infrastrukturkompetens.eu 3
Pilot 1
Vinterveg
Riktige svar - % Styring Utfører Byggherre
Samlet resultat 50-88 47-85 73-77
«Riktig» svar: Riktig svaralternativ i henhold til vår fasit.
Vårt svaralternativ bygger på en del forutsetninger som ikke
alltid framgår av spørsmålet.
Vårt svaralternativ bygger noen ganger på informasjon gitt i
vinterkurs.
Riktig svar kan være et annet svaralternativ, dersom deltageren legger inn sine
forutsetninger.
5. 2013-08-24 www.infrastrukturkompetens.eu 5
Pilot 1
Vinterveg
Antall spørsmål i test
Tilbakemelding:
Spenn fra 30 til 50
30 bør være nok for å
klarlegge kompetanse
50: Noen blir slitne/trøtte
Vurdering:
Statistisk teori: 20-25
Mange fag skal dekkes: 50
Tid for gjennomføring
Tilbakemelding:
De fleste ville levert like
raskt ved virkelig test.
50 spørsmål:
Anslag 1-2 timer
Behov for pause
Vurdering:
Tidsbehovet er individuelt
Behov for pauser
Få vil «se over» svarene sine
6. 2013-08-24 www.infrastrukturkompetens.eu 6
Pilot 1
Vinterveg
Spørsmål/svaralternativer – generelle forhold 1
•Test i tilknytning til kurs/uten tilknytning til kurs (eventuelt definert
pensum): Betyr mye for forståelsen av benyttede begrep - større krav
«uten kurs/pensum»
•Bruk av begrep som kan ha ulik betydning i normalt språk og i
fagspråket (eks. «normal», «store nedbørsmengder»)
•Bruk av begrep som kan ha ulik betydning på ulike steder (eks.
«drivsnø/fokksnø»)
•Bruk av faguttrykk hvor man lokalt benytter andre begrep (eks.
plogtyper og detaljer på plog)
•Behov for større presisjon og bedre beskrivelse av forutsetningene
(eks. presisering at spørsmålet gjelder «bar veg»)
7. 2013-08-24 www.infrastrukturkompetens.eu 7
Pilot 1
Vinterveg
Spørsmål/svaralternativer – generelle forhold 2
•Figurer/bilder/diagrammer anses å kunne bidra til bedre forståelse av
spørsmål (unngår misforståelse av begreper, presiserer
forutsetningene bedre, mindre «skriftlighet», nærmere praktisk
virkelighet)
•Ikke entydig tilbakemelding på hva som er egnede spørsmål for
driftsledere og operatører, ulik oppfatning om kompetansekravene for
de to gruppene, skyldes kanskje ulik rolle fra sted til sted mht ansvar
for utkalling og annet. (eks. spørsmål 2)
•I stor grad tilbakemelding på at man ikke skal testes på det man ikke
har behov for (salting/ikke salting, veg/g-s-veg, o.a.)
[også et policyspørsmål – hvilken basiskompetanse ønsker
vi hos utøverne? Behov for å utføre andre oppgaver/reserve?]
8. 2013-08-24 www.infrastrukturkompetens.eu 8
Pilot 1
Vinterveg
Gir testen godt bilde av teoretiske kunnskaper?
•I hovedsak bekreftende positiv tilbakemelding på dette
•Men for å dekke total nødvendig kompetanse, er det i tillegg
nødvendig med:
– Kompetanse på utstyr, montering, innstilling, kalibrering,
vedlikehold, HMS, o.l (dokumentert vinterdag)
– Kompetanse på praktisk utførelse, inkludert HMS,
trafikksikkerhet, forholdet til trafikanter og naboer, o.l.
(oppkjøring med sensor, læretid med erfaren sjåfør)
– Og riktig holdning/adferd – som flere angir som vanskelig å
måle, men som muligens kan sjekkes ut gjennom spesielle typer
spørsmål?
9. 2013-08-24 www.infrastrukturkompetens.eu 9
Pilot 1
Vinterveg
Krav til % riktige svar?
•Tilbakemeldingene angir 70 – 80 %
•Behov for sikkerhetsnett for de som ligger rett under kravet
(muntlig gjennomgang)
•70 % bør benyttes fordi spørsmålene aldri vil være 100
entydige, må ta høyde for at ulik tolking av spørsmålet kan gi
annet svaralternativ enn det «riktige».
•Krav bør gjelde for hvert delområde (ikke kompensatorisk)
10. 2013-08-24 www.infrastrukturkompetens.eu 10
Pilot 1
Vinterveg
De som stryker - Tilbud om muntlig test?
•Tilbud om muntlig test/gjennomgang må gis til de som «så vidt»
stryker – og kanskje til alle som stryker?
•Hovedentreprenør må også ta ansvar for de som får dårlig
resultat – avklare hva som er årsaken og rette på dette forholdet
•Tilbud om muntlig test må også gis til kandidater med
lese/skrive-vansker og til andre som ikke er vant til å håndtere
skriftlige problemstillinger (før testen starter)
11. 2013-08-24 www.infrastrukturkompetens.eu 11
Pilot 1
Vinterveg
Beskrivelse av kompetansekrav
– klarer vi dette tilstrekkelig presist?
1.Kortfattede beskrivelser av kompetanseområder (som vi har
arbeidet med i SIK-prosjektet)
2.Utdypede og konkretiserte beskrivelser
3.Spørsmålsdatabase
4.Pensumoversikter/Læreplan
5.Kurs/kursinnhold
6.Annet?