4. 4
WAT WERKT BEWEGING
praktijkontwikkeling / verantwoording / legitimering
wetenschap, praktijk
evidence based practice
EBP
Wetenschap
Ervaring en
vakmanschap
Kenmerken,
voorkeuren
doelgroep
Missie en visie
overheidsbeleid
evidence based public management
nieuw publiek management
NPM
Competitie
Responsa-
bilisering
Resultaat-
gerichtheid
Efficiëntie
5. 5
OVERHEID – MIDDENVELD
beperkte invloed NPM
verzakelijking, contractualisering
§ Competitie: sociale economie, arbeidsmarkt, daklozenopvang in
Antwerpen
§ Resultaatfinanciering (projecten): ontwikkelingssamenwerking
§ Voorzichtige tendens in de richting van NPM: cultuur
▫ Beleidsplan
▫ Efficiënt inzetten subsidies
▫ Klantgerichtheid
▫ Goed bestuur
6. OVERHEID – SCvW
“In ruil voor de toegekende middelen verwacht de
overheid dat een SCvW-organisatie zijn ‘governance’ –
hoe ze de middelen inzet om vanuit de missie, doelen
en principes te komen tot effectieve praktijken – helder
kan verantwoorden en dat ze kan aantonen dat ze ook
bereikt wat ze wil bereiken.”
Sven Gatz
Conceptnota 2016
6
8. OVERHEID – SCvW
In het domein van het SCvW organisaties subsidiëren die, vanuit een civiel
perspectief en met respect voor de gemeenschappelijke sokkel van waarden,
fundamentele rechten en vrijheden, een betekenisvolle bijdrage leveren aan de
emancipatie en dialoog van mensen en groepen én aan de versterking van een
duurzame, inclusieve, solidaire en democratische samenleving door sociaal-
culturele participatie en gedeeld burgerschap van volwassenen te bevorderen en
gedeelde samenlevingsvraagstukken tot publieke zaak te maken. Hiervoor
ontwikkelen en verspreiden zij praktijken die hierop een werkend antwoord
kunnen bieden.
8
9. OVERHEID – SCvW
DOELORIENTERING
§ sociaal-culturele participatie
§ emancipatie van mensen en groepen
§ gedeeld burgerschap
§ dialoog tussen mensen en groepen van
mensen
§ publiek gemaakte gedeelde
samenlevingsvraagstukken en een
werkend antwoord hierop
§ een sterkere democratische, duurzame,
inclusieve en solidaire samenleving
9
10. OVERHEID – SCvW
AANPAK
§ in de vrije tijd van volwassenen
§ op basis van drie rollen en een functiemix
§ inclusief en/of categoriaal
§ vanuit een civiel perspectief
§ met respect voor een gemeenschappelijke
sokkel van waarden
§ met relevantie en uitstraling voor
Vlaanderen – al dan niet ook Brussel – of
een bepaalde regio
10
12. DEFINITIE
IMPACT = effecten § op lange termijn
§ gevolg van een sociaal-
culturele praktijk
§ MINUS wat toch zou gebeurd
zijn zonder die praktijk
§ positief en negatief
§ bedoeld en onbedoeld
§ direct of indirect
12
13. DEFINITIE
Sociaal-culturele praktijk § Bedoeld
▫ missie- en visiegedreven
▫ doeloriëntering en aanpak (decreet)
§ In een gemeenschap, relatie
tussen gemeenschappen
= complex systeem
▫ verschillende dynamieken en
invloeden
▫ tegenstellingen
13
14. COMPLEXITEIT
Zekere kennis Onzekere kennis
Duidelijke waarden
Eenvoudige
(beleids)uitvoering
Complexe
studie en onderzoek
Onduidelijke waarden,
discussie
Maatschappelijk
omstreden
publiek en politiek debat
Lastige
maatschappelijke
maatschappelijk innoveren
14
SAMENLEVINGSVRAAGSTUKKEN
15. COMPLEXITEIT
complex
simpelchaotisch
ingewikkeld
uitproberen –
waarnemen –
reageren
waarnemen –
analyseren –
reageren
ageren –
waarnemen –
reageren
waarnemen –
inrichten –
reageren
goede praktijken
innovatieve praktijken beste praktijken
praktijkontwikkelin
g
relaties tussen
oorzaken en
gevolgen niet
vanzelfsprekend
relatie tussen
oorzaak en gevolg
voorspelbaar
geen oorzaken en
gevolgen
diverse invloeden
zonder duidelijke
relaties tussen
oorzaken en
gevolgen
Dave Snowden, cynefin-model
15
17. DRIE BENADERINGEN
ATTRIBUTIE
Zeldzaam in SCvW
§ Eenvoudige uitdaging
in simpel systeem
§ Gestandaardiseerde
praktijk met controle
over randvoorwaarden
§ Voldoende aantallen
voor impactevaluatie
18. 18
Vooronderstellingen impactdenken Ondertussen in de werkelijkheid
Oorzaak - gevolg Open systeem
Positieve bedoelde resultaten Onverwachtte positieve en negatieve resultaten
Focus op ultieme effecten Samenspel van veel tussenliggende effecten
Toewijzen aan één actor, programma Samenstroom van veel actoren, programma’s en factoren
Eindpunt (succes geboekt) Never ending veranderingsprocessen
Het geworstel met impact
DRIE BENADERINGEN
21. DRIE BENADERINGEN
CONTRIBUTIE
§ Realistisch maar complex
§ Eenduidige oorzaak-gevolg relaties blootleggen is onmogelijk
§ Mechanismen verklaren en vooronderstelde mechanismen toetsen
21
22. DRIE BENADERINGEN
Waarde § Geen na te streven effect
§ Praktijk zelf is het doel
§ Peilen naar impact =
waarden en betekenissen
van een praktijk vanuit
verschillende invalshoeken
duiden.
22
23. DRIE BENADERINGEN
§ Attributie: geen sprake van :-)
§ Contributie: “betekenisvolle bijdrage leveren
aan …”
§ Waarde: geen expliciete aanknopingspunten
Activiteiten die op zichzelf waardevol zijn voor een
democratische, duurzame, solidaire en inclusieve
samenleving vallen mits een goede duiding van die
waarde in principe binnen de scoop van het decreet.
23
26. 26
IMPACTGEDREVEN WERKEN
context
beginsituatie
visie en
gewenst effect
input activiteit output outcome impact
tussenliggend lange termijn
wat we
investeren
gerealiseerde
diensten en
producten
wat we doen wat gebeurt omwille van onze
activiteiten
efficiëntie effectiviteit
31. DEFINITIE
=
31
Vooraf, tijdens de uitvoering en achteraf uitleggen en aantonen
hoe je praktijk bijdraagt aan de beoogde resultaten.
De verbanden tussen context, doelstellingen, input, activiteiten,
output, outcome en impact voortdurend duiden en aantonen
met gegevens.
33. 33
GROEIPAD
ontwikkelingsniveau
praktijk
bewijskracht
effectiviteit
omschrijving bronnen
VOORWAARDELIJK
descriptieve
aanwijzingen,
geen bewijskracht
de aanleiding, doelstellingen, inputs, activiteiten,
outputs van de praktijk en de verbanden daartussen zijn
duidelijk omschreven
beleidsplan, projectplan,
SISCA, …
VEELBELOVEND
theoretische
aanwijzingen
+ geloofwaardige veranderingslogica (TOC)
onderbouwd met modellen, theorie en/of literatuur
literatuurstudie,
deskundigen, …
DOELTREFFEND
eerste empirische
aanwijzingen
++ onderzoek toont aan dat outcomes bereikt zijn:
tevreden deelnemers, minder problemen, sterkere
vaardigheden, betere participatie
outcome mapping,
outcome harvesting, …
PLAUSIBEL
goede empirische
aanwijzingen
+++ het is enigzins aannemelijk dat de outcomes
veroorzaakt zijn door de praktijk
veranderingstheoretisch
onderzoek (TOC)
WERKZAAM
sterke empirische
aanwijzingen
++++ het is zeer aannemelijk dat de outcomes
veroorzaakt zijn door de praktijk.
experimenteel
onderzoek
38. SCOPE
§ Werkende antwoorden op
samenlevingsvraagstukken lopen
vaak over langdurende processen
waarbij verschillende inspanningen
van verschillende actoren
samenstromen.
§ Geen cultuur en (infra)structuur om
impactgedreven te werken in onze
sector.
§ Volledig beleidsplan als scope voor
impactevaluatie ligt niet voor de
hand.
38
39. SCOPE
Klein begonnen is half gewonnen!
§ Focus op concrete en specifieke tussendoelen
(zeker bij beoogde effecten als emancipatie van
mensen en groepen en versterking van een
democratische, duurzame, inclusieve en solidaire
samenleving)
§ Focus op cruciale doelen uit je beleidsplan
§ Focus op één activiteit of een samenhangend geheel
van activiteiten (vaak in lijn met 1 operationeel doel).
§ Focus eerst op outcome en in een volgende stap
eventueel op impact
§ Focus op een haalbare reikwijdte (buurt, gemeente,
streek, regio, Vlaanderen, …)
39
46. WAT IS HET?
46
PROCES
wijze van plannen specifiek voor inspanningen met oog op
maatschappelijke veranderingen
§ een aanpak voor ontwerp, planning en evaluatie van sociale
veranderingsprogramma’s
§ een gestructureerde wijze van denken en plannen om gewenste
veranderingen in een logisch kader (oorzaken – gevolgen) te
vatten
§ participatief en collaboratief proces
§ stap voor stap achterhalen (backwards mapping process) van
essentiële voorwaarden om een verandering te realiseren
47. WAT IS HET?
47
PRODUCT, een plan van aanpak om een concrete vooropgestelde
maatschappelijke verandering te bewerken
§ het resultaat van een TOC-proces
§ een schematische en een narratieve weergave
50. § Deelnemers (sociale dienstverleningsinstelling, tewerkstellingsbureau en
opvangcentrum voor slachtoffers van huiselijk geweld) debatteren en beslissen
over de lange-termijn doelen en hun ambities
‘Duurzaam werk voor vrouwelijke slachtoffers van huishoudelijk geweld’
§ Op basis van onderzoek, literatuur, eigen ervaring basisvoorwaarden bepalen nodig
voor het behalen van de doelstellingen
▫ Vrouwen hebben ‘coping’ vaardigheden
▫ Vrouwen hebben professionele vaardigheden die goed in de markt liggen
▫ Vrouwen hebben een aangepast gedrag om adequaat te werken in een
professionele omgeving
SCHOOLVOORBEELD
50
51. Aannames
A. Jobs in niet traditionele sectoren (elektriciteit, loodgieter, ...) garanderen een beter salaris, zijn
sociaal beschermd en bieden jobzekerheid
B. Er zijn jobs beschikbaar voor vrouwen met niet traditionele vaardigheden
C. Vrouwen die slachtoffer zijn van huiselijk geweld hebben meer nodig dan professionele
vaardigheden – ook sociale en psychologische ondersteuning
D. Vrouwen kunnen niet traditionele vaardigheden aanleren en competitief zijn
SCHOOLVOORBEELD
51
53. STAP 2
veranderingslogica mappen
§ Veranderingen die leiden tot de doelstelling mappen en met elkaar
linken
§ Kader voor een coherent en plausibel verhaal ontwikkelen
Verschillende niveaus van veranderingen (hoofdoorzaken van een
probleem, gevolg, tussentijdse resultaten, korte -en lange termijn, ...)
Proces
§ Iteratief proces: resultaten wijzigen, toevoegen, verwijderen tot een
veranderingsmodel waar iedereen zich kan in vinden.
§ Individuele logica en aannames expliciteren, debatteren en beslissen
over de logica.
53
55. § Logica verder uitbouwen tot aan de initiële condities:
coalitie van drie organisaties die zich engageren om
samen te werken aan een job programma voor
vrouwelijke slachtoffers van huiselijk geweld.
§ Aannames en basisvoorwaarden expliciteren,
bijvoorbeeld: niet voor alle vrouwen – minimum
competenties, voldoende graad van stabiliteit in hun
leven.
SCHOOLVOORBEELD
55
58. STAP 2
veranderingslogica mappen
58
CONTEXT sociaal en cultureel (stimulansen, drempels, …)
leefwereld (relaties, rollen en functies)
interventie (controlesfeer, invloeden van buitenaf)
omgevingsdynamieken (sociaal-economisch, gemeenschap, groep)
ACTOREN sociaal-cultureel werker
deelnemers
andere betrokkenen
INTERVENTIES van sociaal-cultureel werker, van deelnemers, van anderen
MECHANISMEN sociale, sociaal-psychologische, psychologische mechanismen
RESULTATEN outputs
outcomes (direct, indirect, op lange termijn, bedoeld, onbedoeld)
CAIMeR
59. POLITIEKE VERANDERING MAPPEN
59
Ultieme doel
Tussenliggende outcomes
Langetermijn outcome
Politiek Praktijk Representatie
Welke beleidsmaatregelen bevorderen of remmen het
bereiken van de tussenliggende outcome?
Welke praktijken en instituties bevorderen of remmen het
bereiken van de tussenliggende outcome?
Welke culturele betekenissen en vormen (geloof,
overtuigingen, gewoonten, media, …) bevorderen of
remmen het bereiken van de tussenliggende outcome?
PPR
60. POLITIEKE VERANDERING MAPPEN
60
Ultieme doel
Tussenliggende outcomes
Langetermijn outcome
Politiek Praktijk Representatie
Macht Tegenwerking Governance
Wie heeft meest macht en invloed om de
beleidsmaatregelen te veranderen?
Welke weerstanden, besparingslogica’s en
tegenkantingen zijn er en waar situeren ze zich?
Hoe wordt de zaak bestuurd? Wie speelt welke rol?
66. Outcome 1: Langetermijn en inkomenszekere jobopportuniteiten
§ Indicator: tewerkstelling
§ Populatie: vrouwen die programma doorlopen hebben
§ Norm: minstens zes maanden tewerkgesteld aan 12 euro per uur
Outcome 2: Vrouwen uit de doelgroep beschikken over gevraagde competenties voor niet
traditionele jobs
§ Indicator: kwalificatie / verworven competenties specifiek voor bouwsector
§ Populatie: vrouwen die programma doorlopen hebben
§ Norm: opleiding met succes doorlopen (Ja/Nee)
Outcome 3: Vrouwen uit de doelgroep nemen deel aan training voor niet traditionele jobs
§ Indicator: deelname
§ Populatie: vrouwen die programma doorlopen hebben
§ Norm: Vrouwen missen niet meer dan 3 sessies uit de opleiding
SCHOOLVOORBEELD
66
68. Sommige veranderingen/stappen/linken gebeuren
vanzelf als de basisaannames juist zijn:
Geen interventie nodig
Andere veranderingen/stappen/linken zullen nooit
plaatsvinden:
Interventie noodzakelijk
STAP 4
relevante interventies identificeren
68
69. § Interventie moet voldoen aan de vereiste kwaliteit en
passen binnen de globale logica van het plan? (bv.
participatief)
§ WANNEER: ideaal moment om zo veel mogelijk effect
te halen met de interventie?
§ WIE: wie voert de interventie?
STAP 4
relevante interventies identificeren
69
71. 1. Promotiecampagne
2. Screening van de vrouwen
3. Opzetten van individuele adviessessies
4. Faciliteren van groepssessies
5. Ondersteuning bieden voor kortetermijncrisissen
6. Individuele begeleiding
7. Ontwikkeling van aangepaste lespakketten
8. Zoeken van geschikte werkplaatsen
9. Regelen van stageplaatsen
10. ...
SCHOOLVOORBEELD
71
72. § Metabeschrijving van een programma of initiatief
§ Uitgeschreven tekst (zonder boxen, pijltjes, logica’s,
nummers)
§ Communiceren naar buitenstaanders
§ Back-up van het veranderingsmodel
STAP 5
narratief uitschrijven
72
77. PRAKTIJKVOORBEELD
77
1. Het schoolteam heeft een flexibele, cultuursensitieve en oudergerichte houding à De school kiest spel- en
leersituaties die aansluiten om de leefomgeving van kinderen thuis.
Actie Indicator Type indicator (inspannings-
/resultaatsindicator)
Meetmethode Wanneer voldaan? /
Opmerkingen
Tijdens een sessie van Spring mee
worden ouders betrokken bij het
opzetten van een uitleensysteem van
speelmateriaal.
Ouders denken mee na over het
ontwerpen en uitrol van het
speelmateriaal en helpen bij de
praktische organisatie ervan.
Resultaatsindicator Kwalitatief – Focusgesprek
ouders
Evaluatievraag: ‘Wie
heeft de tassen
gemaakt’?
Tijdens een Spring mee sessie maken
de ouders kennis met het
spelmateriaal van de klas
Aantal ouders die naar de sessie
komen
Ouders geven feedback over het
speelgoed in de klas
Resultaatsindicator
Resultaatsindicator
Kwantitatief – Deelnemerslijst
Kwalitatief – Storytelling
(adhv veldnotities)
Ouders en leerkrachten doen samen
een buurtwandeling en wisselen
ervaringen en tips uit over opgroeien
in de buurt
De leerkrachten laten zich inspireren
door ervaringen van ouders in de
buurt (vb kind gaat vaak naar een
bepaalde speeltuin spelen, de
leerkracht praat over deze speeltuin
tijdens de les)
Resultaatsindicator -
gedragsindicator
Kwalitatief – Evaluatief
interview zorgco
78. PRAKTIJKVOORBEELD
78
Rationele opvatting van social(-cultureel werk) Dagelijkse reraliteit waarin sociaal(-cultureel) werkers functioneren
Spanning tussen ‘hoe sociaal (-cultureel) werk verondersteld wordt te werken’ en ‘hoe sociaal (-cultureel) werk moet kunnen
werken (Roose, R. (2008). Beheersen van het onbeheersbare? Het belang van ruimte voor onvoorspelbaarheid in het social werk.)
82. NARRATIEVE METHODEN
Dataverzameling
Deelnemers of staal uit je doelgroep vertellen
mondeling of schriftelijk in eigen woorden over voor
hen relevante ervaringen (kan tekst, foto of film zijn)
Vraagstelling
§ open en breed (wat gebeurde er tijdens de
wandeling?)
Of
§ gesloten en sturend (hoe was het om tijdens de
wandeling nieuwe mensen te leren kennen?)
§ Peilen naar:
▫ een tijdstip of periode
▫ een specifieke gebeurtenis
▫ een extreme gebeurtenis (kritisch incident)
▫ een keerpunt
82
83. NARRATIEVE METHODEN
Analyse
§ de verhalen duiden (onderzoeker, evaluator,
team) om ze te gebruiken binnen een
specifieke context
§ verhalen opdelen in losse onderdelen en –
gestuurd door de (evaluatie)vraag – een
nieuwe synthese maken
▫ vertikale analyse (één respondent/deelnemer)
▫ horizontale (vergelijken van
respondenten/deelnemers)
§ daarbij zoveel mogelijk recht doen aan het
verhaal
▫ resultaat terugkoppeling aan
verhalenvertellers
83
85. 85
VERGELIJKEND OVERZICHT
Informatie uit de organisatie van
een praktijk halen en valideren met
leden uit de gemeenschap:
gemeenschap
gemeenschap
praktijkpraktijk
Informatie uit gemeenschap halen
Learning history,
EXPLORE!THESTORY
deelnemers
Sensemaker, babbelbox, review,
digital storytelling
Outcome harvesting
outcome mapping
86. NARRATIEVE METHODEN
§ Mobiele applicatie waarop
deelnemers een persoonlijke
videoboodschap kunnen
achterlaten
§ En om achteraf een digitale
deelnemersboek te maken
en te delen.
86
89. NARRATIEVE METHODEN
§ Digital story = montage van foto’s, geluiden,
muziek, tussentitels en/of eigen stem
§ Digital story = persoonlijk verhaal of
persoonlijke kijk op een bepaald onderwerp
§ Digital storytelling = eenvoudige en
toegankelijke manier om zonder specifieke
technische kennis en vaardigheden via een
filmpje een verhaal te vertellen
https://maksvzw.org/v2/wp-
content/uploads/2017/05/vertel_je_eigen_verhaal_met_digital_stories.pdf
89
90. NARRATIEVE METHODEN
LEARNING HISTORY
Veranderingsprocessen gestructureerd
vastleggen
Data:
§ verhalen (herinneringen en
ervaringen van sleutelmomenten)
§ verschillende betrokkenen,
perspectieven
§ documenten (plannen, verslagen,
publicaties, studies, …)
90
96. SENSEMAKER
§ Groot aantal verhalen (> 300) en ervaringen van
mensen rond een bepaald thema, verandering of
moment verzamelen
§ Verhalen uitlokken met één goed geformuleerde vraag
§ De verhalenverteller codeert zelf zijn of haar verhaal
§ Kwantitatieve en kwalitatieve analyse
96
106. SENSEMAKER
ANALYSE
§ Basispatronen van de
vragen visualiseren
§ Verdere interpretatie
§ statistische analyse
§ verhalen lezen
§ vergelijkingen maken naar
leeftijd, afkomst, …
106
Wat heeft
bijgedragen
aan mijn
verhaal is ...
111. SENSEMAKER
* Bijkomende kost voor consult aangewezen: 750 à 900 euro/dag (10 tot 25 dagen)
licentie gebruik Prijs*
gebruik 1 toepassing 1.225 euro
+ 325 euro/maand voor
datacollectie
organisatie ongelimiteerd 8.150 euro/jaar
pool 15 toepassingen/jaar 8.150 euro/jaar
of 545 euro/toepassing
111
112. OUTCOME MAPPING
Outcomes – invloedsfeer
Veranderingen in gedrag, relaties, activiteiten van
mensen, groepen of organisaties direct betrokken bij
de praktijk in kaart brengen.
Vooronderstelling:
De gedragsveranderingen bij die mensen, groepen of
organisaties (outcomes – invloedsfeer) dragen bij tot duurzame
effecten op langere termijn (impact – interessesfeer).
112
115. 115
OUTCOME MAPPING
Praktijk Effecten Impact
Control
e-sfeer
Invloed-
sfeer
Interesse
- sfeer
Ultieme bereik: wie we
allemaal voor ogen hebben
om impact te hebben
116. 116
OUTCOME MAPPING
Praktijk Effecten Impact
Control
e-sfeer
Invloed-
sfeer
Interesse
- sfeer
Ultieme bereik: wie we
allemaal voor ogen hebben
om impact te hebben
Partners: beïnvloed door
praktijk
117. 117
OUTCOME MAPPING
Praktijk Effecten Impact
Control
e-sfeer
Invloed-
sfeer
Interesse
- sfeer
Effectief bereik:
rechtstreeks
betrokken bij de
praktijk
Ultieme bereik: wie we
allemaal voor ogen hebben
om impact te hebben
Partners: beïnvloed door
praktijk, maar niet als
deelnemer
119. OUTCOME MAPPING
Waarom? Wie? Wat? Hoe?
1. beoogde
langetermijnverandering
beschrijven
3. identificeren van
indiviuen, groepen,
organisaties rechtstreeks
betrokken bij activiteiten
4. ideale gedrags-
veranderingen deelnemers
bepalen
5. indicaties voor tussen-
liggende gedragsverander-
ingen bepalen
• Expect to see
• Like to see
• Love to see
2. bijdrage praktijk aan visie?
6: acties die leiden tot
verwachte outcomes
7: interventielogica: bijdrage
activeiteiten aan missie?
123. OUTCOME HARVESTING
123
≈ Outcome mapping
= focus op gedragsverandering bij deelnemers activiteiten
≠ retrospectief: geen vooraf bepaalde indicatoren, achteraf gedragsveranderingen vaststellen
en relateren aan de activiteiten.
1. Actoren die beïnvloed zijn en veranderingen identificeren (gedrag, relaties,
beleid, praktijken)
2. Bepalen of en hoe de geïndentificeerde veranderingen verband houden met de
activiteiten
124. 124
OUTCOME HARVESTING
1. sleutelvragen en methode (documenten, interviews,
focusgroepen, …) bepalen
2. oogst 1: documentanalyse, gedragsveranderingen en
verband met de activiteit(en) zoeken
3. oogst 2: interviews, focusgroepen met informanten om
eerste oogst aan outcomes en verbanden aan te vullen
4. bevindingen verder uitdiepen met hulp van deskundige
buitenstaanders
5. analyse en interpretatie
6. resultaten valoriseren