Hans Henrik Bull 18.09.13: Prioriteringer av virkemidler med størst effekt - enkel logikk og kompleks virkelighet

1. Kommunal- og regionaldepartementet
Prioriteringer av virkemidler med
størst effekt - enkel logikk og
kompleks virkelighet
Hans Henrik Bull, KRD
Evalueringskonferansen 18. sept. 2013

2. Kommunal- og regionaldepartementet
Obama 2009
“The question we ask
today is not whether our
government is too big or
too small, but whether it
works, (…)
Where the answer is yes,
we intend to move
forward. Where the
answer is no, programs
will end.”
2

3. Kommunal- og regionaldepartementet3

4. Kommunal- og regionaldepartementet
Eksempel 1
• Evaluering av fylkeskommunenes
regionale utviklingsmidler
• Utvikling av et effektindikatorsystem
– Bedret lønnsomhet :
• INs støtte direkte til bedrifter: 45 % (andel bedrifter)
• Annen indirekte støtte: 19 % (andel prosjekter)
– Mye enklere å måle resultater og effekter av
midler som går direkte til bedrifter
– Ingen klare svar på hva man skal prioritere
4

5. Kommunal- og regionaldepartementet
Eksempel 2 -
• Evaluering av kommunale næringsfond (KNF)
• Problemstilling: Både Innovasjon Norge og
KNF kan gi midler direkte til bedrifter. Hva gir
mest effekt?
• Førundersøkelse som undersøkte om det var
mulig å bruke
– Samme type data (survey)
– Samme metode
– Samme målevariable
5

6. Kommunal- og regionaldepartementet
Hvor viktig har tilskuddet/prosjektet
vært for…
6

7. Kommunal- og regionaldepartementet
Eksempel 3
• INs kundeeffektundersøkelser
• Hvor mye koster hver enkelt arbeidsplass
i offentlige midler?
7

8. Kommunal- og regionaldepartementet
Skapte og sikrede arbeidsplasser
etter virkemiddel
Ordning
Arbeidsplassar
per prosjekt
Totalt
Kostnad per
arbeidsplass
Distriktsrettet
risikolån
1,8 287 187 095 kr
Distriktsutviklings-
tilskudd
1,4 1 535 258 362 kr
OFU/IFU 2,2 288 625 797 kr
Etablererstipend 0,6 350 280 993 kr
Totalt 1,2 2 460
8
Kjelde: Oxford Research (2012). I pose og sekk? Utredning om
hensiktsmessigheten ved et høyere innovasjonsinnhold i de distrikts- og
regionalpolitiske virkemidlene.

9. Kommunal- og regionaldepartementet
Erkjennelser
• Effektmåling ≠ effektevaluering
• Vi har i for stor grad bedt om ett svar; hva er
effekten av virkemiddelet
– Dekker kontrollbehovet
• Vi må i mye større grad etterspørre en
vurdering av virkemiddelet etter flere
evalueringskriterier:
– Relevans, gjennomførbarhet, effektivitet,
nytte, bærekraft, komplementaritet,
sammenheng
9

10. Kommunal- og regionaldepartementet
Erkjennelser
• Effektmåling er veldig krevende.
– Data, metode og analyseramme må stå til
hverandre.
• Eks. Survey eller økonometriske analyser krever ulike
typer data
– Dette må være på plass før man setter ut
selve effektevalueringen
• Programteori: Hvilke resultater eller effekter man skal
se etter
• Data må samles inn underveis
10

11. Kommunal- og regionaldepartementet
Hva gjør vi nå?
• Plan for evaluering
– Hva trenger vi å vite?
– Hva må utvikles for å kunne gjennomføre en god
evaluering?
• Programteori:
– Eks: attraktivitet og nettverk
• Data:
– Eks: rapportering og monitorering
• Metode:
– Eks: Utvikle nytt MRS-system med effektindikatorer
for SIVA og IN
11

12. Kommunal- og regionaldepartementet12
• Kan vi bruke
effektevalueringer til
å prioritere mellom
virkemidler?
• ”Yes, we can”

13. Kommunal- og regionaldepartementet13