Presentatie tijdens gastcollege voor de de Orde van Organisatieadviseurs, Nyenrode Business University. Wat is Evidence Based Consultancy? Hoe kan een complexe interventie geevalueerd worden. Ontwikkeling van een ‘bijsluiter’ voor het effectief gebruik van Large Scale Interventions.

1. Evidence Based Consultancy
Lopen op twee benen
van wetenschappelijke kennis en praktijkervaring
Tonnie van der Zouwen
13 oktober 2011

2. 2
Aanleiding onderzoek
Een storend gat tussen succesverhalen uit de literatuur en mijn
eigen ervaringen als consultant en als trainer LSI methoden voor
adviseurs
Groeiend gebruik, en ook misbruik, van participatieve
veranderbenaderingen
Claim op “sustainable change” in de literatuur, maar nauwelijks
systematisch onderzoek van effecten na enige tijd
Waarom wel bijsluiters voor medische en financiële interventies
en niet voor consultancy?

3. 3
Agenda
Presentatie en inhoudelijke vragen:
Hoe ontwikkel je een bijsluiter voor consultancy in
wetenschappelijk verantwoord onderzoek
Een voorbeeld van een onderzoek naar een participatieve
interventie: Effectiviteit van Large Scale Interventions (LSI)
Een voorbeeld van een bijsluiter, met evidence based richtlijnen
voor een veranderbenadering
Discussie:
Hoe kunnen praktijk en wetenschappelijk onderzoek elkaar
versterken? Wat zie je als voordelen, nadelen, dilemma’s?

4. 4
Onderzoeksvraag en -doel
Hoofdvraag: Wanneer en hoe is een Large Scale Intervention effectief
voor duurzame verandering?
Wat is LSI precies, wat is al bekend over de effectiviteit?
Hoe ziet duurzame verandering eruit in de praktijk?
Hoe kan effectiviteit van een interventie als LSI geëvalueerd
worden?
Wat zou er in een “bijsluiter” voor LSI moeten komen?

5. 5
Wat is LSI?
Large Scale Interventions (LSI) is een participatieve
veranderbenadering, waarbij het hele systeem
(organisatie en stakeholders) in alle fasen van het traject
wordt uitgenodigd om een bijdrage te leveren.
Een of meer werkconferenties met het hele systeem in
één ruimte is kenmerkend voor LSI (whole system in the
room).
De taak/vraagstuk bepaalt wat het systeem is. Wie heb
je nodig voor succes?

6. 6
Top-down benadering
“I have shared my vision, so now we have a shared vision”
Cartoon van Mark de Koning

7. 7
Participatieve benadering
Interactief werken aan een gedeeld beeld en nieuwe betekenissen
Cartoon van Mark de Koning

8. Research Model
Based on the model “The elements of an intervention” of Jac Geurts et. al. 2006
Context/Task
Effectiveness
Client
Consultant
Intervention
Methods
Large Scale
Interventions
Conceptualisation
Concepts
Relationships
Theory
Logic of feeling,
Collective learning,
Systems thinking,
Sensemaking
Sustainable change
Results in : Insights
Results in: Insights
Selects
& steers
Fills &
deepens
Structure
& steer
Structure
& steer
Contribute to
Operations
Actions & Events
in LSI trajectories
Loading
Characteristics of
the cases
Results in : Experiences

9. 9
Research design
Een Naturalistic Inquiry, gebruik van meerdere
onderzoeksmethoden en meerdere bronnen
Zoeken naar patronen van verbanden, in plaats van een
lineaire relatie tussen twee factoren
Deductie, inductie en abductie door de onderzoeker

10. 10
Fasen en stappen in het onderzoek
1. Veldverkenning: Wat is LSI? Wat is bekend over de effectiviteit?
2. Bouwen van een evaluatie instrument:
Wat is duurzame verandering en hoe kan het geëvalueerd
worden?
3. Testen en verbeteren van het evaluatie instrument
4. Testen validiteit en bruikbaarheid van de bijsluiter

11. 11
Fase 1:Veldverkenning
Doel: Wat is al bekend over LSI? Wat zijn succesfactoren en effecten
van LSI?
Activiteiten:
1. Bronnen onderzoek: literatuur, websites, interviews met
grondleggers en consultants, deelname aan conferenties,
lidmaatschap wereldwijde netwerken, volgen online platforms
2. Tekstanalyse van ca. 50 in artikelen gedocumenteerde LSI cases
Resultaten:
Beschrijving van “the state of the art of LSI”
Lijst met succesfactoren en effecten, met waarneembare
indicatoren

12. Impressies veldverkenning

13. 13
Fase 2: Bouwen evaluatie instrument
Hoe kan effectiviteit van LSI geëvalueerd worden?
1. Bouwen theoretisch kader voor duurzame en niet duurzame
verandering:
Niet duurzame verandering draagt bij aan meer en beter
werk gedaan krijgen (1e orde collectief leren)
Duurzame verandering betekent het ontwikkelen van
capaciteiten om beter met veranderingen om te kunnen
gaan (2e orde collectief leren)
2. Ontwikkelen evaluatiemethode op basis van auditmethoden uit
kwaliteitsmanagement systemen van ISO 9000: audit matrix,
scoretabellen, evaluatie rapportage

14. Theoretisch kader: De logica van het gevoel
Doet recht aan de complexiteit, gelaagdheid van een situatie
Tijd komt in beeld
Geen vaste indelingen maar dynamische verbanden
Aandacht voor informele aspecten (macht, relaties,
eigenschappen van mensen) en formele aspecten (structuren,
procedures)
Gevoel speelt een belangrijke rol
Kapstok voor ontwikkeling van zinvol organiseren/ innoveren

15. structuren, regels,
procedures, functies,
managementsystemen
formele
eigenschappen
Concept voor organisatieontwikkeling
Tijd
Ontwikkeling
capaciteiten
natuurlijk systeem
interne sturing:
lef
sociaal regelsysteem
externe sturing: discipline
communicatief
zelfsturings-
systeem
Zelfsturing:
communicatie
Ons gevoel geeft aan of en waar nieuwe
waarnemingen passen
angst
zich thuis voelen
boosheid
rechtvaardigheid
verdriet
erkenning
symbolen, tradities,
verhalen, rituelen,
huisstijl
informele
eigenschappen
beelden voor
de toekomst
communicatieve
eigenschappen
Gebaseerd op “De Logica van het gevoel” van
Arnold Cornelis, 1996

16. Duurzame verandering als
tweede orde collectief leren
natuurlijk
systeem
lef
sociaal
regelsysteem
discipline
communicatief
zelfsturings-
systeem
communicatie
tijd
ontwikkeling
collectief leren
in een organisatie
Nulde orde leren
- alleen individuen leren
- impliciete spelregels, meest onbewust
- interne sturing door lef
Eerste orde leren
-collectief leren
-expliciete procedures en regels
-externe sturing door discipline
Tweede orde leren
- principes achter de regels
- toetsing aan doelen
- doorgaand collectief leren
depressiviteit
collectieve inzichten, leiden
niet tot bijsturing
stuurloosheid:
ontbreken van
richtinggevende
toekomstbeelden
groeifixatie
niet denken maar
doen
stagnatie
niet ontwikkelen
chaos
geen expliciete
regels voor
samenwerking
verstarring
bestaande inzichten blijven
de norm
emancipatie
disciplinering
burn-out
agressie

17. Evaluatie instrument

18. 18
Fase 3: Testen en verbeteren evaluatie instrument
1. Testen instrument door reconstructie van 3 cases, 2 jaar na
afloop van de LSI: interviews, documentenonderzoek,
waarnemingen doen
2. Verbeteren van het instrument
3. Ontwikkelen van een bijsluiter voor LSI, op basis van een
voorbeeld uit de medische praktijk: “The practical guide for
identification, evaluation and treatment of overweight and
obesity in adults”
4. Maken van een Executive Summary (Client Information Leaflet)

19. 19
Fase 4: Testen validiteit en bruikbaarheid
van de practical guide
Is de bijsluiter correct, adequaat, bruikbaar?
1. Twee internationale Research conferences, met
onderzoekers, consultants en opdrachtgevers van LSI
2. Testen bruikbaarheid, door 4 master studenten in
evaluatie van 7 cases.
3. Verbeteren van de guide

20. Impressies case study

21. Evaluatie instrument

22. Impressies Research conference

23. Inhoud praktijkgids voor LSI
Bijsluiter voor cliënten (Client Information Leaflet):
Wat is LSI?
Wat doet LSI?
Voordat je LSI gaat gebruiken, contra-indicaties
Hoe LSI te gebruiken?
Mogelijke risico’s
Naslagwerk voor experts met richtlijnen voor toepassing:
Vooraf: Toetsen van pre-condities voor LSI
Tijdens: Ontwerp en uitvoering van LSI
Achteraf: Procedure en hulpmiddelen voor evaluatie van de
effecten

24. Belangrijke principes LSI-traject

25. 25
Match van situatie en veranderstrategie
Omstandigheden
Laag Niveau eigenaarschap en commitment Hoog
Duidelijk Kwestie/ gewenste resultaten / route Onduidelijk
Laag Complexiteit Hoog
Weinig Onzekerheid Veel
Ligt vast Uitkomst Open
Enkelvoudig Belangengroepen/ agenda’s Meervoudig
Figuur van Paul Miller en Martin Leith, gebaseerd op een model van Bryan Smith, bewerkt door Tonnie van der Zouwen, april 2005

26. Succesfactoren van LSI
Participatie moet de moeite waard zijn: Een belangrijk vraagstuk
waarbij stakeholders elkaar nodig hebben voor succes
Het systeem moet er aan toe zijn: leiders nemen bijdragen van
stakeholders serieus
Facilitators moeten ‘koken met de principes’, om een goede
match te maken tussen de situatie, de taak en het ontwerp
De juiste mensen in de werkconferentie(s); bepalen van het
systeem is cruciaal
Verwachting management is essentieel om vertrouwen op te
bouwen en in stand te houden
Sustainable change vraagt om goede follow up: Focus op traject
(prolonged engagement) en niet op events

27. Effecten van LSI
Betere en sneller implementatie van beoogde veranderingen
Toegenomen verandervermogen: Collectief leren en veranderen
gaan door
Communicatie is directer (tweerichtingsverkeer) en constructiever
Ontwikkelen van reflectie- en stuurvermogen
Grenzen tussen delen van het systeem worden beter
doordringbaar

28. Meer informatie
Large Scale Interventions: www.largescaleinterventions.com
Onderzoek LSI: www.tonnievanderzouwen.nl/wiki
Kader voor duurzame verandering, op basis van de kennistheorie
van de Logica van het gevoel: www.tonnievanderzouwen.nl en
http:arnoldcornelis.ning.com

29. 1. Hoe kunnen praktijk en wetenschappelijk onderzoek elkaar
versterken?
2. Wat zie je als voordelen, nadelen, dilemma’s van Evidence Based
Consultancy?
Discussie