1.
Steff Deprez, 4 April 2014Steff Deprez, 4 April 2014
SteffDeprez-March2014
1

2.
Een rijke waaier aan methoden
SteffDeprez-March2014
2

3.
• Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar mogelijke toepasbare
methodes voor jouw context
3
SteffDeprez-March2014

4.
4
SteffDeprez-March2014
Peilen naar Impact
Praktijken vanuit de ontwikkelingssamenwerking:
Vredeseilanden
•Aanpak impactevaluatie
•Concrete methode: SenseMaker

5.
ACTIVITEITEN
INPUTS
Time
SteffDeprez-March2014
IMPACT
5

6.
ACTIVITIES
OUTPUTS
OUTCOMES
IMPACT
INPUTS
Time
Bron: Ricardo.Wilson-Grau@inter.nl.net
Werken met een resultatenketen
(causale keten)
SteffDeprez-March2014
6

7.
OUTPUT
OUTCOME
INPUTS
ACTIVITY
INPUTS
ACTIVITY
INPUTS
ACTIVITY
INPUTS
OUTPUT
OUTPUT
ACTIVITY
OUTPUT
OUTPUT
OUTCOME
OUTCOME
OUTCOME
OUTCOME
OUTCOME
OUTCOM
E
Ricardo.Wilson-Grau@inter.nl.net
De realiteit echter …
Evaluatiemethoden:
-Outcome Harvesting
-Ouctome Mapping
-Most Significant Change
-Learning / Innovation Histories
-Success Case Method
-Process Tracing
- …
SteffDeprez-March2014
7

8.
SteffDeprez-March2014
Werken met “pathways”(veranderingstheorie)
8

9.
SteffDeprez-March2014
Bron: OXFAM/Adinda Van Hemelrijck
9

10.
SteffDeprez-March2014
Gebruik
1. In planning en ontwerpfase
> Begeleiding en opvolging
van de praktijk
2. Tijdens impactevaluatie in
retrospect
> De causaliteit en het
‘verhaal’ van de impact
verandering blootleggen
Evaluatiemethoden
-Contribution analysis
-General Elimination
Methodology
-Process Tracing
-Multiple lines & levels of
evidence
-…
10

11.
Werken met controle, invloed en interesse
sfeer
Gebaseerd op Outcome Mapping
•Actorbenadering: ontwikkeling gaat over hoe mensen samenwerken en
omgaan met hun omgeving
•Outcomes = gedragsveranderingen van mensen, groepen en organisaties
waar je direct mee samenwerkt en die cruciaal zijn om bij te dragen aan de
visie en de impact van de praktijk te realiseren
SteffDeprez-March2014
11

12.
SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
Privé-bedrijven
-Afname van boeren
-Eerlijke contracten
-Investeren in boeren
-…
Dienstverleners
•Kredieten
•Technische ondersteuning
•Certificering
•…
Boerenorganisaties
•Ondernemerschap
•Collectieve vermarkting
•Betere dienstverlening leden
•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten
• Budgetten
• Staf
Werken met controle, invloed en interesse sfeer
Gebaseerd op Outcome Mapping
12

13.
SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
Privé-bedrijven
-Afname van boeren
-Eerlijke contracten
-Investeren in boeren
-…
Dienstverleners
•Kredieten
•Technische ondersteuning
•Certificering
•…
Boerenorganisaties
•Ondernemerschap
•Collectieve vermarkting
•Betere dienstverlening leden
•…
Interesse of ambitiesfeer
Invloedssfeer
Controlesfeer
• Activiteiten
• Budgetten
• Staf 13
Basis voor planning, opvolging en impactevaluatie
Resultaten + indicatoren

14.
Impact meten?
Mix van methodes
•Surveys
•Groep en individuele interviews
•Focus groepen
•Bedrijfskundige data van de landbouwketen
•Secundaire data
•SenseMaker
Self-assessment + externe evaluator
Elke 3 jaar
SteffDeprez-March2014
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhoging veerkracht
•…
14

15.
Impact meten?
Mix van methodes
•Organisatie scan
•Self-assessment
•Werken met ‘progress markers’
•Zakencijfers boerenorganisaties
•Case Studies
•SenseMaker
Self-assessment + Externe evaluator
Elke 6 maand
SteffDeprez-March2014
Boerenorganisaties
•Ondernemerschap verhogen
•Betere dienstverlening leden
•Organisatieversterking
•Collectieve vermarkting
•…
16

16.
SteffDeprez-March2014
Boerenfamilies
Boerenorganisaties
Hoe hebben activiteiten van
Vredeseilanden bijgedragen
aan gedragsveranderingen
partners?
Wat werkte? Wat niet?
Heeft een beter
functioneren van
de organisatie
positieve effecten
op het leven van
boeren?
Privé-bedrijven
18
Hoe is de relatie tussen
bedrijven en
boerenorganisaties?
Dienstverleners
Is het verhoogd
inkomen een effect
van het programma?
Impact is niet alleen ‘meten’, maar ook …
•Causale verbanden leggen
•Het ‘verhaal’ kunnen vertellen
•Bijdrage van Vredeseilanden en partners begrijpen

17.
SenseMaker
• Verzamelen groot aantal verhalen (> 300) en ervaringen van
mensen rond een bepaald thema of verandering
• Verhalen/ervaringen worden getriggered door een vraag
• Groot aantal korte verhalen (micro-narratives/fragments)
• De verhalen worden gecodeerd door de verhalenverteller op
het moment dat het verhaal gedeeld wordt.
• Er is geen interpretatie door een externe persoon
SteffDeprez-March2014
19

18.
SenseMaker
Vraag: Denk aan een specifiek moment of een ervaring waar je
werd aanmoedigd of gedemotiveerd om thee/koffie/bananen te
produceren en te verkopen aan het bedrijf?
SteffDeprez-March2014
20

19.
SenseMaker
Codering
•Multi-choice vragen
•Polaire schalen
•Driehoeksvragen
SteffDeprez-March2014
X X
X
X
X 21

20.
22
SteffDeprez-March2014

21.
SteffDeprez-March2014
23

22.
SteffDeprez-March2014
24
Gebruik voor impact
evaluatie
Begin programma (“nulmetting”)
Gewenste situatie

23.
25
SteffDeprez-March2014
Voorbeeld Nederland

24.
SenseMaker
• Software (SenseMaker) > patronen detectie
• Zoeken van patronen en vergelijkingen maken tussen
leeftijdsgroepen, geografische gebieden, thema’s, …
• Het zien van de realiteit door de ogen van mensen
• Het geeft inzichten in verschillende perspectieven, attitudes en
waarden van diverse actoren rond bepaalde thema’s
• Snel inzichten verwerven in veranderingen en eventueel snel
aanpassingen doorvoeren (snelle feedback, …)
• Combinatie van kwalititieve methode en kwantitatieve methode
SteffDeprez-March2014
26

25.
• Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar mogelijke toepasbare
methodes voor jouw context
27
SteffDeprez-March2014

26.
SteffDeprez-March2014
Outcome Mapping
28

27.
SteffDeprez-March2014
SenseMaker
29