Kuvaus: Sitran järjestämät Vaikuttavuuden Boot Camp -työpajat tukivat yritysten ja järjestöjen vaikuttavuuslähtöisten palveluiden kehitystä vuosina 2018-2019. Kolmen työpajan sarja keskittyi vaikuttavuuden mallintamiseen, vaikutusten mittaamiseen ja vaikuttavuuslähtöisen liiketoiminnan kehittämiseen. Koulutuskumppanina toimi Deloitte.
Lisenssi: Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
2. 2
Vaikuttavuuden Boot Camp
Boot Campin kokonaisuus muodostuu kolmesta työpajasta, jotka rakentavat
osallistujien ymmärrystä vaikuttavuudesta ja vaikuttavuuslähtöisestä liiketoiminnasta
Vaikuttavuuden
perusteet
Työpaja 1 Työpaja 2 Työpaja 3
Ilmiön
ymmärtäminen ja
rajaaminen
Vaikuttavuuden
mallintaminen
vaikuttavuusketjuksi
Vaikuttavuuden
todentamisen
perusteet
Mittariston
rakentaminen
Tiedonkeruu-
suunnitelma
Vaikuttavuuden viestintä & liiketoimintalähtöisyys
Asiakkaan ja
asiakkaan tarpeiden
tunnistaminen
Liiketoimintamallin
tiivistäminen
Vaikuttavuusketjun
kehittäminen
Mentorointi I ja
välitehtävä
Mentorointi II
3. 3
Päivän tavoitteet
Vaikuttavuuden Boot Camp:
Työpaja 2
Mittaamisen ja
todentamisen perusteet
Miten vaikuttavuutta
todennetaan ja mistä
voimme lähteä liikkeelle?
Vaikuttavuuden
kommunikointi
Miten pystymme viestimään
vaikuttavuuttamme
vakuuttavasti ja kertomaan
houkuttelevan tarinan
toiminnastamme?
Mittariston rakentaminen ja
tiedonkeruusuunnitelma
Mitä tietoa meidän tarvitsee
kerätä, millaisia mittareita
voimme hyödyntää ja mitä
meidän tarvitsee huomioida
jatkokehityksessä?
5. 5
Lyhyt kertaus 1. työpajasta
”Vaikuttavuuden mallintaminen alkaa
kyseessä olevan ilmiön rajaamisesta ja
ymmärtämisestä”
6. 6
Lyhyt kertaus: 1. työpaja
Vaikuttavuuslähtöinen liiketoiminta edellyttää vaikuttavuuden ja
tarkasteltavan ilmiön ymmärtämistä sekä vahvaa liiketoimintaosaamista...
• Tahto
yhteiskunnallisen
hyödyn tuottamiseen
• Ymmärrys haasteesta
ja ilmiöstä
• Ilmiön rajaaminen
• Liiketoimintamallin
kehittäminen
• Toiminnan pitkän
aikavälin
kannattavuus
• Osaaminen ja
resurssit
7. 7
Lyhyt kertaus: 1. työpaja
Tunnista toiminnalliset
tavoitteet
Luo ratkaisuja
Sovita
ratkaisut palvelun
käyttäjille
Ymmärrä
palvelujen
käyttäjiä
Luo ratkaisuja
Rakenna toiminnalliset
puitteet
M i s t ä … M i h i n …
Keskeistä on siirtää fokus ennen kaikkea asiakkaan sekä palvelunkäyttäjän
tilanteeseen ja luoda ratkaisuja pohjautuen heidän todellisiin tarpeisiin.
9. 9
• Palkatut
työntekijät
• Koulutukset ja
perehdytys
• Kotikäynnit:
Vanhuksille
tarjotaan
mielekästä
tekemistä ja
säännöllistä
seuraa
• Vanhuksen
toiminnalliset
kyvykkyydet
paranevat
• Vanhus viihtyy
paremmin ja kokee
olonsa mielekkääksi
• Vanhusten terveet
elinvuodet lisääntyvät;
vanhusten yleinen
hyvinvointi kasvaa
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Käytetyt
resurssit
Mitattava
tehty työ
Konkreettinen
muutos
ihmisissä,
rakenteissa tai
ympäristössä
Ihmisten
hyvinvointi ja
laajempi
yhteiskunnallinen
hyöty
Lyhyt kertaus: 1. työpaja
Vanhuksien aktivointi
ja seuran tarjoaminen
10. 10
Lyhyt kertaus: 1. työpaja
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Käytetyt
resurssit
Mitattava tehty
työ
Konkreettinen
muutos ihmisissä,
rakenteissa tai
ympäristössä
Ihmisten
hyvinvointi ja
laajempi
yhteiskunnallinen
hyöty
Mittariston rakentamisen kannalta erityisesti
‘vaikutus’ ja ‘teko’ sarakkeet ovat yksittäisen
organisaation näkökulmasta olennaiset.
1. Työpajan jälkeen
jokaisella osallistujalla
tulisi olla käsitys omasta
vaikuttavuusketjustaan
12. 12
Mittaamisen hyödyt
Vaikuttavuuden todentamisen perusteet
Vaikuttavuuden mittaaminen on
tärkeää, sillä se:
• Auttaa ymmärtämään, mitkä asiat muuttuvat oman
toiminnan seurauksena
• Mahdollistaa hypoteesien ja oletusten
testaamisen
• Mahdollistaa oman toiminnan seuraamisen ja
auttaa ymmärtämään, mitkä asiat toimivat ja
mitkä ei
• Mahdollistaa oppimisen ja antaa palautetta oman
toiminnan tai palvelun jatkuvaan
kehittämiseen
• Tarjoaa todisteen oman toiminnan hyödyistä ja
mahdollistaa niiden näkyväksi tekemisen ja
kommunikoinnin eri sidosryhmille
13. 13
Hyvin tehty vaikuttavuuden mallintaminen on perusedellytys sille, että tavoitellut
muutokset saadaan näkyväksi ja tarkoituksenmukainen mittaristo rakennettua
Vaikuttavuuden todentamisen perusteet
Päivän lähtökohtana on hyvä mallintaminen:
Ilmiön ja tavoiteltujen vaikutusten ymmärtäminen:
Osallistuja ymmärtää tarkasteltavaa ilmiötä ja on määrittänyt
vaikuttavuusketjun muodossa sen millaisia vaikutuksia
toiminnalla pyritään saamaan aikaiseksi.
Tavoitteet: Osallistuja on määrittänyt ja täsmentänyt
toiminnalleen selkeät tavoitteet, jotka ohjaavat toimintaa –
tarvittaessa tavoitteet on purettu pienemmiksi ja
konkreettisemmiksi osatavoitteiksi.
Selkeän kokonaisuuden rajaaminen: Osallistuja on
määrittänyt tarkasteltavat toiminnot ja kohderyhmät siten, että
ne muodostavat selkeän kokonaisuuden mittaamista varten -
tarvittaessa kohderyhmät on rajattu tarkempiin segmentteihin ja
näistä on valittu sopivat.
Vaikuttavuuden
mallintaminen
Ymmärrys siitä, mitä
ollaan mittaamassa
Mikäli mittareiden kehittäminen tuottaa vaikeuksia,
palaa näihin kysymyksiin ja yritä uudelleen.
14. 14
Mittareiden valitseminen ja liittäminen osaksi todentamista pohjautuu huolella tehtyyn
mallinnukseen ja ymmärrykseen toiminnan aikaansaamista vaikutuksista
Vaikuttavuuden todentamisen perusteet
Vaikuttavuuden
mallintaminen
Mittarit
Mittaaminen ja vaikuttavuuden
todentaminen
Mistä mittaaminen
koostuu?
1. Todentamisen tavoitteita
tukevan mittariston
rakentaminen
2. Tiedonkeruun
suunnittelu
3. Tiedon kerääminen
mittariston mukaisesti
Toiminnan
seuranta
Lisäksi olennaista on
tiedon analysointi ja
hyödyntäminen.
Ymmärrys siitä, mitä
ollaan tavoittelemassa
ja mittaamassa
15. 15
Mitä mitataan? – Tärkeimpänä fokuksena on vaikutusten arviointi konkreettisia
muutoksia mittaamalla
Vaikuttavuuden todentamisen perusteet
Yksittäisen toimijan kannalta olennaista on:
• Pystyä mittaamaan vaikutuksia (outcomes)
eli konkreettisia pysyviä ja pitkäaikaisia
muutoksia valitussa kohderyhmässä,
ympäristössä ja/tai rakenteissa.
• Ymmärtää, miten oma vaikutukset johtavat
laajempaan ja pidempiaikaisempaan
yhteiskunnalliseen vaikuttavuuteen
(impact).
• Tutkimustiedon hyödyntäminen
avainasemassa!
Vaikuttavuus
(impact)
Vaikutus
(outcome)
16. 16
Esimerkki: tavoitteen kirkastaminen
Vaikuttavuuden todentamisen perusteet
Vamos tukee nuoria kohti koulu- ja
työelämää.
Vamos pyrkii toiminnallaan ratkomaan
monimutkaisia ongelmia, joita voi olla
haastavaa esittää selkeiden
tulostavoitteiden kautta. Ratkaisuna
tähän Vamos segmentoi
kohderyhmät ja asetti näille
eritasoisia tavoitteita.
Abstraktit, moniulotteiset tavoitteet kannattaa pilkkoa pienempiin osiin ja
määritellä ensin esimerkiksi hyödynsaajien tai kohderyhmien näkökulmasta
Segmentti A: Henkilöt, joilla todennäköiset
mahdollisuudet siirtyä avoimille työmarkkinoille tai
opiskella
Tavoitteet segmentti A:n osalta
1) Soveltuvan tutkinnon, työpaikan tai työkokeilupaikan
löytyminen
2) Asiakkaan voimavarojen ja toimijuuden
vahvistamainen
Segmentti B: Henkilöt, joilla voimavarat tai kyvykkyydet
eivät vielä mahdollista siirtymistä avoimille
työmarkkinoille tai opiskelemaan
Tavoitteet segmentti B:n osalta
1) Henkilön mahdollisuuksien paraneminen siirtymiseksi
kohti työelämää
• Toimintakyky, hyvinvointi yms.
Lähde: Vamos ja Hyvän Mitta
17. 17
Oppi #1:
”Kaikkea ei voi tehdä kerralla - on
parempi aloittaa pienin askelin ja
edetä kohti laajempaa ja tarkempaa
arviota.”
18. 18
Vaikuttavuus ja vaikuttavuuden mittaaminen
Vaikuttavuuden todentamisen perusteet
• Vaikuttavuuden todentamisen tavoitteena on ymmärtää oman toiminnan tuottamia muutoksia valitussa
kohderyhmässä sekä pyrkiä mahdollisuuksien mukaan osoittamaan näiden asioiden välinen syy-
seuraussuhde.
• Keskeistä on myös alusta asti ymmärtää millä aikajänteellä muutoksia voi odottaa näkyvän. Tämä
vaikuttaa suoraan seurantajakson pituuteen mittaristoa rakennettaessa.
• Ei ole yhtä oikeaa tapaa tai mallia vaikuttavuuden todentamiseen vaan todentamisen keinot riippuvat toiminnan
luonteesta ja tavoitteista.
• Vaikuttavuuden todentaminen pitää sisällään niin ‘kevyet’ toimenpiteet kuin ‘resurssi-intensiivisemmät’
todentamisen ja mittaamisen keinot – näitä voi ja tuleekin käyttää rinnakkain.
• Olemassa olevan tutkimustiedon hyödyntäminen auttaa pääsemään liikkeelle – olennaista on pohtia
millaista tietoa on valmiina saatavilla ja millaista tietoa on tarve kerätä.
• Valittuun todentamisen lähestymistapaan vaikuttaa myös se millaista tietoa organisaatioltanne odotetaan -
ketä varten ja mistä näkökulmasta lähestytte vaikuttavuuden todentamista ja mitä käyttäjä teiltä toivoo -
pyrkikää tuottamaan tätä vastaavaa tietoa.
Pidä mielessä seuraavat asiat, kun lähdet pohtimaan
vaikuttavuuden mittaamista:
19. 19
Vaikuttavuuden mittaamisen portaat tukevat organisaatiosi ambitiotason määrittämistä
sekä auttavat hahmottamaan eri arvioinnin lähestymistapoja
Vaikuttavuuden todentamisen perusteet
Vaikuttavuuden
mittaamisen
portaat:
Nesta on määrittänyt
vaikuttavuuden
mittaamiselle eri
tasoja riippuen
valitusta
lähestymistavasta.
Lähde: Sitra - Vaikuttavuuden askelmerkit, pohjautuen Nestan määritykseen
20. 20
Esimerkki: vaikuttavuus ja tiedon hyödyntäminen
Vaikuttavuuden todentamisen perusteet
Tietokantoja, tutkimuksia ja muuta jo olemassa olevaa
tietoa suositellaan hyödynnettäväksi
Vamoksen vaikuttavuus:
• Vuonna 2017 yli 50 prosenttia
nuorista kiinnittyi kouluun ja
työelämään
Kansantaloudelliset hyödyt: Vuonna
2017 nuorten kiinnittyminen kouluun
ja työhön tuottaa jopa 7,8
miljoonan euron vuosittaisen
kokonaisvaikutuksen julkiseen
talouteen ensimmäisen viiden vuoden
aikana.
Työuran aikana vaikutukset
kansantuloon nousevat yli 130
miljoonaan euroon, 384
jatkopoluille siirtyneen nuoren osalta.
Vamos mittaa työn vaikutuksia
vuosittain ja datan keruuseen
käytetään kyselyitä esimerkiksi
nuorten koetun hyvinvoinnin
kartoittamiseksi (kolmen kuukauden
välein palvelun aikana ja
seurantajaksolla) sekä tietokantoja
ja –palveluita.
Toiminnan vaikutuksia todennetaan
sekä nuorten tilanteissa
tapahtuvien muutosten sekä
yhteiskunnallisten
kustannusvaikutusten
näkökulmista.
Lähde: Vamos ja Hyvän Mitta
Vaikuttavaa tukea
Vuonna 2017 Vamos-palvelun
päättäneistä nuorista
97 %
suosittelisi Vamosta muille.
87 %
koki elämänsä muuttuneen
parempaan.
80 %
uskoo asioiden olevan
tulevaisuudessa paremmin.
79 %
koki psyykkisen hyvinvointinsa
parantuneen.
21. 21
Oppi #2:
”Olennaista on riittävän tason ja
oikean tasapainon löytyminen valitun
lähestymistavan ja käytännön
rajoitusten välillä.”
22. 22
Mittaamisessa on keskeistä huomioida riittävän tason ja tasapainon määrittäminen
mittaamisen lähestymistavalle ja tavoitteille - käytännön rajoitukset huomioiden
Vaikuttavuuden todentamisen perusteet
Mitä huomioida mittaamisen suunnittelussa – keskeisiä periaatteita:
• Priorisointi: Ymmärrä, millainen mittaaminen on organisaatiollesi tärkeintä tavoitteiden kannalta
• Tavoitteiden huomioiminen: Ymmärrä, millainen mittaaminen ja data tukevat asetettuja
tavoitteita
• Taloudelliset realiteetit: Arvioi, mikä on organisaatioillesi taloudellisesti järkevää –
mittaamisen hyötyjen tulisi olla isommat kuin kustannukset
• Resurssirajoitteet: Huomioi ja arvioi, kuinka paljon organisaatiollasi on resursseja
käytettävissä
• Mittaamisen lähestymistapa: Pidä mittaaminen ja datankeruu mahdollisimman
yksinkertaisena
• Datan laatu: Panosta hyvälaatuiseen dataan ja vältä huonoa, sillä datan saatavuus ja
luotettavuus ovat olennaisia tekijöitä tulosten hyödyntämisen kannalta
• Toiminnan negatiiviset vaikutukset: Tiedosta, että toiminnasta voi seurata myös
negatiivisia seurauksia ja pyri ymmärtämään myös näitä
24. 24
Tavoitteena on pystyä tekemään näkyväksi konkreettiset muutokset tavoitellussa
kohderyhmässä ja rakentaa tätä tukeva mittaristo
Vaikuttavuuden todentamisen perusteet
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Käytetyt resurssit Mitattava tehty
työ
Konkreettinen pysyvä
muutos ihmisissä,
rakenteissa tai
ympäristössä
Ihmisten hyvinvointi
ja laajempi
yhteiskunnallinen
hyöty
Päivän fokus
Toimintaan
liittyvät mittarit
(prosessimittarit)
Muutos-mittarit
Vaikuttavuus-
mittarit
Vaikuttavuusketjun eri
tasoille on määritettävissä
oman tasoiset mittarit
kuvaamaan tarkasteltavaa
toimintaa/muutosta.
25. 25
Mittariston rakentaminen – eri tasoiset mittarit
Vaikuttavuuden todentamisen perusteet
• Prosessimittarit seuraavat
panosten ja tekojen
toteutumista
• Usein organisaation itse
keräämää sisäistä dataa
• Muutosmittarit kertovat
(kohderyhmän) rakenteessa,
käyttäytymisessä, osaamisessa, tai
hyvinvoinnissa / ympäristön
tilassa tapahtuvista muutoksista
• Tietoa kerätään kohderyhmältä tai
muista ulkoisista lähteistä
• Vaikuttavuusmittareiden avulla
seurataan muutosten näkymistä
yhteiskunnallisella tasolla.
• Vaikuttavuusmittareita
tarkastellaan suhteessa muihin
toimijoihin ja pitkällä aikavälillä
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Toimintaan liittyvät mittarit
= Prosessimittarit
Muutosmittarit Vaikuttavuusmittarit
26. 26
Esimerkkejä vaikuttavuusmittareista
Vaikuttavuuden todentamisen perusteet
Kohderyhmä Kategoria Mittari Yksikkö Tiedonkeruu
Nuoret ja aikuiset
Hyvinvointi ja
työllisyys
Työkyvyttömyyseläkkeelle
jäävien väheneminen
Suomessa
€ ja %-
muutos
Määrällinen
Ikäihmiset Elämänlaatu
Ikääntyneiden parantunut
elämänlaatu
%-osuus Laadullinen
Suomalaiset
Terveys ja
hyvinvointi
Terveydenhuollon kustannusten
aleneminen
€ ja %-
muutos
Määrällinen
Yhteiskunta Ympäristö Hiilipäästöjen väheneminen
tCO2 ja %-
muutos
Määrällinen
• Vaikuttavuusmittareiden avulla todennetaan, miten oman organisaation toiminta on ollut osana
yhteiskunnallisella tasolla aikaansaatua muutosta.
• Vaikuttavuuden mittaamiseen ja todentamiseen tarvitaan luotettavaa tietoa syy-seuraussuhteista ja
käsiteltävään ilmiöön liittyvä tieteellinen tutkimus toimii tässä tärkeänä lähteenä
• Vaikuttavuutta tarkastellaan yhteiskunnan tasolla, mutta linkki yrityksen tai organisaation omaan
toimintaan ja tavoitteisiin täytyy olla selvästi todennettavissa, ja sen tulee pohjautua tarkoin
valittuihin tietoihin.
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
27. 27
Esimerkkejä muutosmittareista
Vaikuttavuuden todentamisen perusteet
Kohderyhmä Kategoria Mittari Yksikkö Tiedonkeruu
Lapset ja nuoret
Asenne tai
käyttäytyminen
Positiivinen asenne
koulua kohtaan
Kyselytulos Laadullinen
Ikäihmiset Elämänlaatu
Lisääntynyt
itsenäisyyden tunne
Kyselytulos, %-
osuus
Laadullinen
Helsinkiläiset
kotitaloudet
Asenne tai
käyttäytyminen
Biojätteen
kierrätyksen
paraneminen
Kg/taloyhtiö Määrällinen
Maahanmuuttajat Tiedot ja taidot Parantunut lukutaito Testitulos Määrällinen
• Muutosmittarit pohjautuvat kohderyhmältä kerättyyn tietoon tai tutkimukseen – tavoitteena on
kuvata muutoksen suuntaa ja sen suuruutta.
• Määrän sijasta on syytä kiinnittää huomiota mittareiden laatuun – mittareiden asettaminen pohjautuu
toiminnalle asetettuun tavoitteeseen.
• On tärkeää osata perustella ja todentaa, miten muutos on syntynyt oman toiminnan myötä.
Joissain tapauksissa varmuutta voi olla lähes mahdoton esittää, mutta todentamisessa auttavat
esimerkiksi 1) laajojen ja luotettavien tutkimusten hyödyntäminen liittyen aihepiirin syy-yhteyteen sekä
2) vertailumuuttujien käyttöönotto.
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
28. 28
Esimerkkejä toimintaan liittyvistä mittareista (prosessimittarit)
Vaikuttavuuden todentamisen perusteet
Kategoria Mittari Yksikkö Tiedonkeruu
Palveluiden tuottaminen Käytetyt työtunnit h/henkilö Määrällinen
Palveluiden käyttö Asiakkaiden määrä Kpl Määrällinen
Palveluiden käyttö Käyttömäärä Kertaa/asiakas Määrällinen
Palveluiden tehokkuus ja
laatu
Asiakaspalautteet - Laadullinen
• Toimintaan liittyvien mittareiden määrittäminen saattaa olla helpompaa, sillä ne perustuvat
pääsääntöisesti organisaation sisäiseen dataan.
• Näitä mittareita on usein eniten käytössä ja niillä on tärkeä rooli toiminnan ohjaamisen ja laadun
kannalta.
• Prosessimittareiden määrittämisen yhteydessä tulee mittareita miettiä vaikutusten ja vaikuttavuuden
näkökulmasta, jotta ne auttavat todentamaan, miten muutos syntyi oman organisaation
toiminnan myötä.
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
29. 29
Mittariston rakentaminen – muutoksen todentamisen haasteet ja keinot
Vaikuttavuuden todentamisen perusteet
Hyvän mittariston rakentamisen
haasteena on mm. seuraavia asioista:
• Luotettavan seuranta-aineiston puute
• Ilmiöiden välisten kausaalisten suhteiden
hahmottamisen ja todentamisen vaikeus
• Väliin tulevien muuttujien kontrollointi
• Ei-aiottujen vaikutusten (myönteiset ja
kielteiset) huomiointi ja ennakointi
• Ajallisen vaikutuksen (muutoksen
esiintyminen, pysyvyys) huomioon
ottaminen
Miten muutosta voidaan todentaa?
• Olemassa oleva luotettava tutkimus syy-
seuraussuhteista on keskeinen lähde
tavoitellun muutoksen todentamiselle
• Alku- ja loppukartoitukset ja/tai tietyin
väliajoin toteutettavat kyselyt tarjoavat
keinon muutosten esiin saamiseksi, mutta ne
eivät suoraan ota kantaa vaikutusten syy-
seuraussuhteisiin
• Tiheämpi seuranta ja tilastointi sekä
vertailumuuttujien hyödyntäminen voivat
lisätä ymmärrystä tavoitellusta muutoksesta
• Viime kädessä vertailu- ja kontrolliryhmien
käyttäminen auttavat varmentamaan, että
muutos on arvioitavan ratkaisun ansiota.
30. 30
Mittariston rakentaminen – tulosten saaminen
Vaikuttavuuden todentamisen perusteet
Mitä tehdä, jos tuloksia ei tulekaan tai tulosten osoittaminen
on hankalaa?
Oleellista on pystyä osoittamaan, että toiminta on toteutettu halutulla, laadukkaalla tavalla.
Tässä kohtaa on tärkeää huomioida, ovatko toimintaan liittyvät prosessimittarit asetettu
oikein, sillä ne mittaavat myös toiminnan laatua.
Mikäli toiminta on toteutunut halutulla laadulla, mutta tuloksia ei tule, on tarpeen palata
vaikuttavuusketjun ja tarkasteltavan ilmiön ymmärtämisen ja rajaamisen pariin.
Vaikuttavuusketjun oletukset ja syy-seuraussuhteet voivat olla huonosti tai väärinkin
mietittyjä, ja tästä syystä alusta asti tarkoin kartoitetut juurisyyt ovat avainasemassa.
Prosessimittareita saa olla runsaasti käytössä ja näitä onkin usein kaikista eniten
mittaristossa.
31. 31
Mittariston rakentaminen
Vaikuttavuuden todentamisen perusteet
Ohjaa toimintaa ja
varmistaa sen laatua
Seuraa matkaa kohti
tavoiteltua vaikutusta
Kattaa toteutuksen
eri vaiheet
Todentaa eri
aikaväleillä
tapahtuvia
muutoksia
Tuottaa tietoa eri
sidosryhmien
näkökulmasta
Sisältää sekä laadullisia että määrällisiä ja
subjektiivisia ja objektiivisia mittareita
Kiinnittyy osaksi
toimintaa
Yhteenveto hyvän mittariston ominaisuuksista:
Lähde: Sitra, Vaikuttavuuden askelmerkit
32. 32
Mittarin valinta edellyttää käytännönläheisyyttä ja kokonaisarviota sen sopivuudesta -
Harva indikaattori täyttää kaikki toivotut kriteerit yhtä hyvin
Vaikuttavuuden todentamisen perusteet
Kriteerit mittarin
valitsemiselle:
Täsmällinen Täsmällinen ja helposti kommunikoitava:
• Onko selvää mitä tarkalleen ottaen mitataan?
• Onko mittari riittävän tarkka kuvaamaan haluttua muutosta?
Mitattavissa oleva Priorisoi mitä mitataan ja mitä ei:
• Kuvaako mittari tavoiteltua muutosta pohjautuen tehtyyn
mallinnukseen?
• Onko mittari luotettava, selkeä ja tuottaa yhdenmukaista tietoa?
Saavutettava Onko tavoiteltu vaikutus realistinen:
• Millaisia muutoksia on odotettavissa ratkaisunne johdosta ja ovatko
nämä realistisia odotuksia?
Relevantti Mittarin tulee vastata tavoiteltua vaikutusta:
• Onko mittari relevantti kuvaamaan haluttua asiaa?
Seurattavissa
oleva
Varmista datan saatavuus:
• Onko tarvittava data saatavilla kohtuullisella kustannuksella ja
vaivalla?
• Mikä on tarvittavan datan lähde ja onko meillä pääsy siihen?
Millainen on
hyvä
mittari?
33. 33
Esimerkkejä hyödynnettävistä mittareista ja lähteistä
Vaikuttavuuden todentamisen perusteet
Hyvinvointi-
kompassi, THL
https://www.hyvinvointikompassi.fi
Sotkanet.fi ja THL
https://sotkanet.fi/sotkanet/fi/index
Kuntien vertailutieto
Sosiaali- ja terveysalan indikaattoreita
• Sotkanet.fi palvelusta löydät yli 2 000 eri tilastotietoa väestön terveydestä
ja hyvinvoinnista sekä palvelujärjestelmän toiminnasta.
• THL:n sivuilta saa vertailutietoa kuntien toiminnasta, jonka kautta
pyritään edistämään kuntalaisten terveyttä ja hyvinvointia.
Terveys ja hyvinvointi
• Hyvinvointikompassi on asiantuntijoiden valitsema tilastotietopaketti
suomalaisten kuntien asukkaiden terveyden ja hyvinvoinnin edistämisen
tukemiseksi.
IRIS-indikaattorit,
GIIN
https://iris.thegiin.org/metrics
Ympäristö- ja sosiaalisia vaikutuksia kuvaavia indikaattoreita
• Kansainvälisen Global Impact Investing Network (GIIN) –verkoston IRIS-
indikaattorit tarjoavat laajan indikaattoripankin, josta voi hakea esimerkkejä
omille mittareille
• Rakennettu vaikuttavuussijoittamisen tueksi vaikuttavuuden todentamiseen
Tilastokeskuksen
aineistot
https://www.stat.fi/
Monipuolisesti yhteiskunnallisia ja kansantaloudellisia aineistoja
• Tilastokeskus tuottaa ja tarjoaa laajan joukon yhteiskuntaoloja kuvaavia
luotettavia tilastoja, selvityksiä ja aineistoja.
35. 35
Mietintätehtävä
1. Pohdi, miksi haluatte organisaationa pystyä
todentamaan vaikuttavuuttanne? Mitä teette
saadulla tiedolla?
2. Jaa tämän jälkeen ajatuksesi organisaatiossa ja
kysy palautetta.
Mitä
mitataan?
Miten
mitataan?
Miksi
mitataan?
36. 36
Mittariston rakentamisen tärkein askel on ensimmäinen askel – ensimmäinen askel on
sen määrittäminen mitä lähdet mittaamaan
Mittariston rakentaminen
Iso joukko potentiaalisia
mitattavia asioita…
…valikoidut ja toteutettavissa
olevat mittarit
Mikä vaikuttavuus on
organisaatiollesi tärkeää?
Mikä on toiminnan
kannalta olennaista?
Mikä on järkevää ja
teknisesti mahdollista?
Mitä
mitataan?
Miten
mitataan?
37. 37
Mittariston rakentaminen – mistä lähteä liikkeelle?
Mitattavien asioiden määrittäminen:
1. Kirkasta asettamasi vaikuttavuustavoite ja siihen liittyvät vaikutuksesi mahdollisimman
selkeään muotoon. Saatat joutua yksinkertaistamaan vaikuttavuusketjuasi.
2. Laadi vaikuttavuusketjun avulla mahdollisimman kattava lista vaikutuksista (outcome),
joita toiminnallanne tavoittelette ja joilla saavutatte asetetun tavoitteen. Listaa kaikki
ajatukset ylös tässä vaiheessa. Kirjaa vaikutukset mitattavassa muodossa!
3. Priorisoi listaa sen osalta, mikä on organisaatiollesi kaikkein tärkeintä (vaikuttavuuteen
liittyen) ja mitä haluaisit kyetä mittaamaan kaikkein eniten.
Mittareiden etsiminen ja määrittäminen:
1. Pohdi priorisoidun listan pohjalta a) mahdollisia muutosmittareita kullekin
listaamallesi vaikutukselle – aloita niistä, jotka olet priorisoinut korkeimmalle.
2. Pohdi mitkä teot (output) johtavat edellisessä vaiheessa määrittelemiisi vaikutuksiin ja
määritä tämän pohjalta relevantit b) prosessimittarit
3. Laadi valituille mittareille tiedonkeruusuunnitelma, joka konkretisoi sen miten ja mistä
keräät dataa
Tavoitteena on varmistaa,
että jokainen tietää mitä
lähteä mittaamaan.
Mitä
mitataan?
Miten
mitataan?
38. 38
Tehtävä: Vaikutusten kirkastaminen ja priorisoiminen
Aikaa: 15 min
Vaikutusten tiivistäminen
1. Kirkasta vaikuttavuustavoitteesi ja vaikutuksesi
mahdollisimman yksinkertaiseen muotoon.
2. Laadi mahdollisimman kattava lista vaikutuksista
(outcome), joita toiminnallanne tavoittelette ja joilla
saavutatte asetetun tavoitteen. Listaa kaikki ajatukset
ylös tässä vaiheessa. Kirjaa vaikutukset mitattavassa
muodossa!
3. Priorisoi listaa sen osalta, mikä on organisaatiollesi
kaikkein tärkeintä asetetun vaikuttavuustavoitteen
saavuttamiseksi ja mitä haluaisit kyetä mittaamaan
kaikista eniten.
Voit tämän yhteydessä
käydä katsomassa muilta
osallistujilta saamasi
kommentit
vaikuttavuusketjuusi
liittyen.
Panosta siihen, että
kirjaat vaikutukset
kohderyhmän
näkökulmasta ja
muotoilet ne
mahdollisimman hyvin
mitattavaan muotoon
jo tässä vaiheessa.
39. 39
Tehtävä: Vaikutusten kirkastaminen ja priorisoiminen
Aikaa: 15 min
Panosta siihen, että kirjaat vaikutukset kohderyhmän
näkökulmasta ja muotoilet ne mahdollisimman hyvin
mitattavaan muotoon jo tässä vaiheessa.
Avainasemassa on pohtia,
miten saat muutoksen
näkyviin sekä kuinka kauan
muutoksen näkyväksi
tulemisessa kestää!
Ei (suoraan) mitattavissa Mitattavissa (esimerkkejä!)
Ikääntyneiden turvallisuus paranee
Ikääntyneen turvallisuudentunteen lisääntyminen
toteutetun intervention ansiosta
Maahanmuuttajien integraatio suomalaiseen
yhteiskuntaan on helpompi
Maahanmuuttajan kielitaito parantuu kielitestin
tulosten perusteella
Työttömyys vähenee Työtön työllistyy ja on pysynyt työssään 6kk ajan
Koululuokassa on rauhallisempaa ja kaikilla on
hyvät työskentelyolosuhteet
Opettajan raportoima luokan häiriökäyttäytyminen
ja poissaolojen määrä vähenevät
Yritysten asenteet vaikeasti työllistyviä kohtaan
muuttuvat
Vaikeasti työllistyneille suunnattujen avoimien
työpaikkojen lukumäärä kasvaa
40. 40
Tehtävä: Mittariston rakentaminen
Aikaa: 20 min
Mittariston rakentaminen: Muutosmittarit
1. Täydennä annetulle pohjalle organisaationne
vaikuttavuustavoite sekä tavoiteltu kohderyhmä
pohjautuen vaikuttavuusketjuunne.
• Mikäli sinulla on useampia tunnistettu kohderyhmiä,
täyttäkää halutessanne useampi pohja.
2. Pohdi priorisoidun listan pohjalta mahdollisia
muutosmittareita kullekin listaamallesi vaikutukselle –
aloita niistä, jotka olet priorisoinut korkeimmalle.
• Pidä mielessä miten kyseiset mittarit auttavat sinua
saamaan muutoksen esiin.
Teemme vielä
myöhemmin tänään
tiedonhaku-
suunnitelman, mutta
tässä vaiheessa on
tärkeää miettiä hyviä
mittareita
Myös ulkopuolisia
lähteitä on hyvä
hyödyntää oman
organisaation sisältä
löytyvän tiedon lisäksi
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Käytetyt
resurssit
Mitattava tehty
työ
Konkreettinen
muutos ihmisissä,
rakenteissa tai
ympäristössä
Ihmisten
hyvinvointi ja
laajempi
yhteiskunnallinen
hyöty
41. 41
Tehtävä: Mittariston rakentaminen
Aikaa: 20 min
Mittariston rakentaminen: Prosessimittarit
1. Siirrä haluamasi vaikutukset prosessimittari-
pohjalle – huomioi, että yhdellä vaikutuksella voi
olla useampia tähän liittyviä tekoja
2. Pohdi mitkä teot (output) johtavat edellisessä
vaiheessa määrittelemiinne vaikutuksiin ja määritä
tämän pohjalta relevantit prosessimittarit
• Voit halutessasi määritellä myös muita
prosessimittareita, joiden avulla pystytte
seuraamaan toimintaanne ja sen laatua
3. Täydennä valituille teoille sopiva mittari sekä sille
määritelty yksikkö
Panos
(input)
Teko
(output)
Vaikutus
(outcome)
Vaikuttavuus
(impact)
Käytetyt
resurssit
Mitattava tehty
työ
Konkreettinen
muutos ihmisissä,
rakenteissa tai
ympäristössä
Ihmisten
hyvinvointi ja
laajempi
yhteiskunnallinen
hyöty
Varmista, että
prosessimittarit
liittyvät edellä
määrittämiisi
vaikutuksiin ja
muutosmittareihin.
Prosessimittareita on
helppo keksiä, joten
panosta niiden osalta
erityisesti laatuun.
42. 42
Asetettu vaikuttavuustavoite
Vähennetään nuorisotyöttömyyttä Etelä-Suomessa 50% vuoteen
2022 mennessä
Konkreettinen
muutos (vaikutus)
Mittari
Esimerkki: Muutosmittarit
Kohderyhmä
15-24 –vuotiaat Etelä-Suomessa asuvat
nuoret
Työpaikan saaneiden
työnhakijoiden osuus
kaikista hakijoista
Työnhakijoista 3/5:lle on
löytynyt soveltuva tutkinto,
työpaikka tai
työkokeilupaikka vuoteen
2019 mennessä
Yksikkö
kpl ja %-muutos
Organisaation nimi
43. 43
Esimerkki: Prosessimittarit Organisaation nimi
Teko, jolla
vaikutus toteutuu
(output)
TMittari 1
Yksikkö 1
Mittari 2
Yksikkö 2
Toteutunut
koulutusten määrä
Kappalemäärä
Palveluiden tuottaminen
kohderyhmälle:
koulutusten järjestäminen
Käytetyt työtunnit
koulutuksen toteuttamiseksi
Tuntia per henkilö
Mittari 3
Yksikkö 3
Osallistujien määrä sekä
uusien asiakkaiden osuus
Kappalemäärä, %-osuus
Konkreettinen
muutos
(vaikutus)
Työnhakijoista 3/5:lle on löytynyt soveltuva tutkinto,
työpaikka tai työkokeilupaikka vuoteen 2019 mennessä
Huomioi, että yhden
vaikutuksen takana
saattaa olla useita
eri tekoja!
44. 44
Keskustelutehtävä (10 min)
1. Esittele laatimasi mittarit vähintään 1-2 muulle
osallistujalle.
2. Kerro mitä haasteita sinulla on ja mitkä mittarit
mielestäsi toimivat hyvin.
3. Kuuntelijana anna palautetta ja auta
esittelijää kehittämään omia mittareitaan.
4. Täydennä mittareita keskustelujen pohjalta.
47. 47
Uuden tiedon hankintaa on syytä edeltää huolellinen arvio siitä, onko tietoa saatavilla
jo valmiina muista lähteistä
Tiedonkeruusuunnitelma
Onko kukaan
aikaisemmin
osoittanut halutun
syy-seuraus-
suhteen?
Hyödynnä
olemassa olevaa
tutkimusta omien
resurssien
säästämiseksi
Onko sinun
todellakin tärkeä
saada dataa
kyseiselle
muutokselle?
Älä kerää dataa
ellei se ole sinulle
todella tärkeätä
Keräätkö jo
valmiiksi kyseistä
dataa?
Kerääkö kukaan
muu kyseistä
dataa?
Onko sinulla
pääsy tähän
dataan?
Käytä tätä dataa,
jos se sopii
tarkoitukseen
Tee oma
tiedonkeruu
tarvittavalle
datalle
Kyllä
Ei
Kyllä
Ei
Kyllä
Ei
Ei
Kyllä
Kyllä
Ei
48. 48
Tiedonkeruusuunnitelman laatiminen mittaristolle: miten ja mistä keräätte dataa?
Tiedonkeruusuunnitelma
Etene tiedonkeruussa seuraavassa
järjestyksessä:
1. Millaista mittareihimme sopivaa
tutkittua tietoa on jo olemassa?
2. Millaista tietoa olemme jo
keränneet itse?
3. Millaista tietoa joudumme
keräämään ja miten sen
toteutamme?
49. 49
Oikean tutkimusmenetelmän valinta pohjautuu kokonaisarvioon kustannuksista, tiedon
luotettavuudesta sekä menetelmän soveltuvuudesta
Tiedonkeruusuunnitelma
Tapaustutkimus
Havainnointi asiantuntijan toimesta
Strukturoitu/semi-strukturoitu haastattelu
Fokusryhmähaastattelu
Lainaukset, referenssit ja palaute
Standardoitu kysely
Toistettava standarditesti
Vertailu- ja kontrolliryhmät
Kustannukset:aika,rahajne.
PitkittäistutkimusMuutoksen esiin
saaminen ja
todentaminen:
• Alku- ja loppukartoitukset
auttavat muutoksen
näkyväksi tekemisessä
• Vertailu- ja kontrolliryhmät
auttavat varmentamaan,
että muutos johtuu
omasta toiminnasta
• Muistakaa olemassa
olevan tutkimustiedon
hyödyntäminen
Laadullinen tieto
Määrällinen tieto
Mittaamisen standardoinnin taso
Kuinka pitkän
seurantajakson
tarvitsette muutoksen
näkyväksi tekemiselle?
50. 50
Sekä laadullinen että määrällinen tiedonkeruu tukevat vaikutusten näkyväksi tekemistä
- monipuolinen tiedonkeruu mahdollistaa täydentävän tiedon hyödyntämisen
Tiedonkeruusuunnitelma
Laadullinen tiedonkeruu
• Auttaa ymmärtämään miten ja
miksi toimenpiteet vaikuttavat
• Auttaa ymmärtämään mikä toimii
ja mikä ei – toiminnan
kehittäminen
• Tukee mahdollisten negatiivisten
seurausten kartoittamista
Määrällinen tiedonkeruu
• Auttaa hahmottamaan toiminnan syy-
seuraussuhteita
• Tarjoaa tilastollisen aineiston, jonka
avulla on mahdollista arvioida
tarkasteltua kohdetta
51. 51
Muuta huomioitavaa tiedonkeruusuunnitelman
laatimisessa
Tiedonkeruusuunnitelma
• Ymmärrä miksi vaikuttavuuden todentaminen on
organisaatiollesi tärkeää ja mitä saadun tiedon
avulla konkreettisesti teet?
• Hanki tietoa omatoimisesti aktiivisesti ja
mahdollisimman monipuolisesti
• Luo kontakteja tutkijoihin ja muihin asiantuntijoihin
(esim. tutkimuslaitokset, yliopistot,
asiantuntijaorganisaatiot)
• Luo kontakteja muihin vaikuttavuuden
todentamisen parissa työskenteleviin
organisaatioihin ja tahoihin
• Pohdi miten voit edistää yhteistyötä eri
sidosryhmien kesken ja ketkä ovat sinulle
tärkeimmät sidosryhmät
52. 52
Tehtävä: Tiedonkeruusuunnitelman laatiminen
Aikaa: 40 min
Tiedonkeruusuunnitelman laatiminen:
1. Täydennä annettuun pohjaan aamupäivän työskentelyn pohjalta kullekin
valitsemallenne mittarille
• mitä tietoa sinulla on jo saatavilla
• mitä tietoja tarvitset ulkopuolisista lähteistä
• mitä tietoa mittaamanne asian osalta on jo olemassa
• tietolähde, josta saatte mittaria varten tarvittavat tiedot
• miten ja kuinka usein tieto kutakin mittaria varten tullaan keräämään
Voitte täydentää pohjia niin monta kuin valitsemillenne mittareille tarvitsette.
56. 56
Jatkakaa omatoimisesti pitchauksenne kehittämistä – tämä on tärkeä työkalu jokaiselle
ja 3. työpajaan jatkavat pääsevät vielä harjoittelemaan tätä työpajassa
Jatkotyöskentelyä varten
1. Ongelman määrittely
2. Ratkaisu
3. Markkinapotentiaali
4. Ansaintamalli
Miksi:
tukee organisaation koko viestintää,
auttaa hahmottamaan toiminnan suuntaa
ja pakottaa kiteyttämään toimintaa.
Yleinen rakenne
hyvälle pitchaukselle
”Pitch on työkalu, jonka avulla yritys
pystyy jäsentämään itselleen,
kumppaneilleen, asiakkailleen ja
potentiaalisille rahoittajille mitä yritys
tekee ja mihin se on menossa. Se kertoo
yrityksestä kaiken olennaisen.”
5. Kilpailijat
6. Tiimi
7. Tulokset
8. Tarve
Lähde: http://etula.fi/sijoittaminen/hyva-pitch-nain-rakennat-hyvan-pitch-esityksen/
57. 57
Kirjaa 3-5 konkreettista tekoa, toimenpidettä ja ideaa, joita lähdet työstämään
työpajan pohjalta.
Konkreettinen teko/idea ym. Lyhyt kuvaus sisällöstä Aikataulu ja vastuu
Tehtävä 5: Miten jatkamme alkanutta työtä?
Välitehtävä omassa organisaatiossa toteutettavaksi
