Geir Stene-Larsen 18.09.13: Hvordan sikre at evalueringer er nyttige for forvaltningen

1. Hvordan sikre at evalueringer er
nyttige for forvaltningen
Geir Stene-Larsen
Helse- og omsorgsdepartementet

2. Furan
 En beretning om barnebarn og bekymring

3. Saken
 Furan kan forårsake kreft
 Furan finnes i ferdigmat på glass til små
barn
 VKM er bekymret

4. Det store bildet
 Furan finnes i all mat som er
varmebehandlet
 Furan gir god smak
 Både ung og gammel får i seg for mye
Furan

5. Oppdraget utført
 Mattilsynet berVKM om befolkningens
inntak av Furan fra industrielt fremstilte
matprodukter er innenfor
sikkerhetsgrensene
 VKMs evaluering viser at inntaket er over
faregrensene

6. Hva vi ikke får svar på
 Er hjemmelaget mat tryggere?
 Hvor stor er helsefaren?
 Hva skal småbarnsforeldre gjøre?
 Hva er alternativet?
 Hva bør myndighetene gjøre?

7. Lærdom
 Viktig å tenke igjennom hva resultatet kan bli –
og hvordan man vil bruke det – før man bestiller
oppdraget
 Viktig å ta stilling til om det er et
evalueringsoppdrag eller et forskningsprosjekt,
man trenger
 Viktig å ta tenke igjennom hvordan mediene vil
bruke resultatene før man gjør dem kjent for
publikum

8. Dent-O-Sept
 Historien om en munnpensel og det
umulige – og om sterke radiobilder

9. Saken
 231 pasienter smittet av pseudomonas
 50 døde
 Årsak?

10. Årsak
 Munnpensel fra Snøgg
 Brukes til å fukte munnen hos alvorlig
syke
 Leveres i bakteriedrepende væske
 Hvordan er det mulig?

11. Dramaturgi
 Fase 1: ”heltene”
 Fase 2: ”skurkene”
 Fase 3: ”granskningen”
Evaluering

12. Utgangspunktet
 Hva kan vi lære?
… eller …
 Hvorfor gikk det så galt?

13. Dynamikken
 Evaluatorenes mål: avdekke mangler, feil,
skyld
 Den evaluertes mål: unngå offentlig kritikk
 Evaluatorenes makt: offentliggjøring
 Den evaluertes makt: kunnskap

14. Frustrasjonen
 Opplever ofte at revisorene/evaluatorene
bare vil vurdere skriftlig materiale
 Føler at viktige deler av hendelsesforløpet,
nyansene forsvinner
 Må bruke stadig mer ressurser på å
dokumentere
 Blir mer opptatt av å unngå feil enn av å
skape noe nytt

15. Smertefull læring
 Historien om kjøttdeig, morrpølse og
faglig stolthet

16. E-coli
 En variant av bakterien E-coli kan gi
nyresykdom og blødninger
 Rammer særlig små barn og eldre
 Tre tilfeller meldt fra sykehus i løpet av 3
måneder
 Telefonrunde avslører 6 til = vi har et
utbrudd

17. Hvor kommer smitten fra?
 Hva er vanlige smittekilder?
 Hvor har barna vært?
 Hva har de gjort?
 Hva har de spist og drukket?
 Hva har pårørende spist og drukket?
Gildes kjøttdeig - 95 prosent
sannsynlig

18. Ikke kjøttdeig likevel?
 Nye tilfeller selv om kjøttdeigen ble borte
 Holder alle muligheter åpne
 Nytt spor – morrpølse
 Hvor sikkert er sikkert nok?

19. Suksess eller fjasko?
 Sporet e-coli til morrpølse – slakteri –
sauebesetninger
 Internasjonal anerkjennelse
 Men nasjonalt?
”E-coli skandalen”

20. Lærdom
 Informasjonsbehovet må fylles hver dag
 Talspersonenes måte å opptre på, er viktig
for utfallet
 Viktig å feile på den riktige siden – ikke ta
frykten fra folk

21. Krav om granskning
 Etter tre uker uttaler Sponheim på
Stortinget:
”Det er en skandale at det er gått to
måneder uten at Folkehelseinstituttet har
funnet årsaken til e-coliutbruddet.Vi
trenger en offentlig granskning av
Folkehelseinstituttet”

22. Oppfølging av evalueringen
 Ny matsmittekomité
 Ny epidemigruppe

23. Kontrollspørsmål
 Kan vi måle det interessante?
 Er det mulig å isolere effektene av tiltaket?
 Finnes det ”før og etter data”?
 Er tiltaket omfattende nok?
 Blir perspektivet langt nok?
 Er lederen og institusjonen motivert?

24. Det politiske spillet
 Historien om posisjon, opposisjon og
evaluering som virkemiddel

25. Gode evalueringsprosjekter
 Fastlegereformen
 HPV-vaksineprogrammet

26. Hvordan sikre at evalueringer er
nyttige for forvaltningen?
 Etablere en læringskultur
 Gjennomføre evalueringer med høy
kvalitet
 Velge riktige problemstillinger
 Skape trygghet og forankring
 Vise at resultatene blir brukt