1. Sturen op resultaten
Zijn gestandaardiseerde vragenlijsten bruikbaar?
Anna van Spanje (Kenniscentrum Kinder- en Jeugdpsychiatrie)
Jan Willem Veerman (Radboud Universiteit, NJi / SEJN)
Congres Transformeren doe je samen
Ede, 16 juni 2014

2. • Inleiding
• Inventarisatie thema’s
• Bespreking thema’s
• Afsluiting
Opzet workshop

3. Onze ‘niche’
Bron: Van Yperen e.a. (2014)

4. • Routine outcome monitoring (ROM)
• Routine outcome measurement (ROM)
• Periodieke uitkomstmetingen
• Herhaalde effectmetingen
• Uitkomstenmonitoring
• Uitkomstenmanagement
• Patient-focused research
• Praktijkgestuurd effectonderzoek
• Resultaatgericht meten
Veel gebruikte termen

5. • Het systematisch volgen van veranderingen in
problematiek of competenties bij cliënten die
(jeugd)zorg ontvangen
• Via het periodiek, als onderdeel van het werk, afnemen
van gestandaardiseerde tests of vragenlijsten
• En het benutten van deze uitkomsten voor interne
behandelplanning en evaluatie in primair proces en
beleid, voor externe verantwoording naar derden (o.a.
financiers) en voor verder onderzoek
Een definitie

6. Een voorbeeld: Hoe gaat het met cliënt X?

7. Nog een (fictief) voorbeeld:
Hoe doen we het als instelling vergeleken met anderen?
0%
10%
20%
30%
40%
50%
60%
70%
80%
Onze instelling Andere instelling Landelijke benchmark
Hundreds
Verbeterd Gelijk Achteruit

8. • Praktijk: Vergroten kwaliteit en effectiviteit
jeugdzorg
• Onderzoek: Beter onderzoekbaar maken van
de jeugdzorg
• Beleid: Verantwoording van de jeugdzorg
Wat heb je eraan?

9. Inventarisatie thema’s

10. • Betrokkenheid inhoudelijk verantwoordelijken
• Psychologen, pedagogen, psychiaters
• Eigenaarschap: “onderzoek is van ons”
• Benutting in praktijk en beleid
• Betrokkenheid directie/ management
• Visie op interne ontwikkelingen
• Visie op externe ontwikkelingen
• Partnership met onderzoeksorganisaties
• Financiën
• Aanstelling procesbewaker
• Aanschaf/ licentie computerprogramma (internet)
Implementatie (1)

11. • Geschikte meetinstrumenten
• Aansluitend bij inhoud en doelen behandeling
• Snel en makkelijk in te vullen
• Vaak af te nemen (wekelijks of maandelijks)
• Genormeerd, betrouwbaar en valide
• Ondersteuning
• Vanuit de “lijn”: bewaking logistiek
• Secretariaat: invoer, verwerking
• Contact met onderzoekers
• Techniek: computerprogramma, bijv. BergOp
• Training in gebruik vragenlijsten
• Regelmatige terugkoppeling
• van respons
• van inhoud
Implementatie (2)

12. Wat gaat goed?
Nr. Item Gem. Niet Deels Geheel
C1 Er is goed werkende software aanwezig om individuele profielen
uit te draaien, gegevens op te slaan en zo nodig voor verder
onderzoek aan te leveren.
1,69 1 6 19
A2 Werkers zijn geïnstrueerd om meetinstrumenten in te (laten)
vullen.
1,58 0 11 15
A1 Er wordt gebruik gemaakt van betrouwbare en valide
meetinstrumenten.
1,54 1 10 15
A3 Er is sprake van een voormeting en een nameting. 1,38 2 12 12
A8 Het afnemen van meetinstrumenten is zichtbaar ingebed in de
werkprocessen.
1,35 1 15 10
A4 Er is een voor iedereen duidelijk protocol voor de
gegevensverzameling.
1,31 4 10 12
C2 Er is een (pro)actief secretariaat voor het invoeren en controleren
van gegevens.
1,27 3 13 10
Enquête SEJN-leden
(N=26)

13. Wat kan beter?
Nr. Item Gem. Niet Deels Geheel
B7 Resultaten worden aantoonbaar gebruikt voor verdere
wetenschappelijke theorievorming en onderzoek.
0,42 16 9 1
A7 Er is respons van minimaal zestig procent op de voor- en
nameting
0,50 15 9 2
B2 Individuele uitslagen van voor- en nametingen spelen een rol bij
intervisie en supervisie (bijvoorbeeld in werkoverleg en
behandelplanbesprekingen).
0,62 11 14 1
B6 Resultaten van meerdere teams (afdelingen, interventies, hele
instelling) worden door directie en management zichtbaar benut
voor sturing van het beleid van de instelling.
0,65 11 13 2
A6 Er is respons van minimaal 80% op de voormeting 0,69 12 10 4
C9 Er is een programma voor scholing en bijscholing voor het werken
met instrumenten en het benutten van uitkomsten.
0,77 10 12 4
C6 Monitoring en bewaking van gegevensverzameling zijn verankerd
in de lijn.
0,81 8 15 3
Enquête SEJN-leden
(N=26)

14. Benutting
‘Cijfers spreken niet voor zich, er moet over gesproken worden’
Activiteit Vraag
Herkennen Zijn de uitkomsten te plaatsen?
Begrijpen Kunnen we ze verklaren?
Waarderen Vinden we ze goed genoeg?
Handelen Zijn er verbeteracties nodig?
Op individueel cliëntniveau en op niveau van teams en instellingen

15. 0
0.2
0.4
0.6
0.8
1
1.2
1999 2000 2001 2002 2003 2004 2005
Effectsize
Opvoedingsbelasting Gedragsproblemen
Toelichting Effect sizes:
< 0,20: verwaarloosbaar 0,20 – 0,50: klein effect
0,50 – 0,80: middelgroot effect > 0.80: groot effect
Jaarlijks meten en verbeteren
(Leijsen, 2008)

16. • Verschillende vragenlijsten
• ASEBA (CBCL, YSR, TRF)
• SDQ
• Kidscreen
• HoNOSCA
• …
• Verschillende informanten
• Ouder
• Kind
• Leerkracht
Werken met vragenlijsten (1)

17. • Benutting in de behandeling
• Benutting in het team of in de instelling
• Benutting voor wetenschappelijk
onderzoek
Werken met vragenlijsten (2)

18. • Casemix: appels en peren
• Belangenmix: naar jezelf toepraten
• Instrumentenmix: grote verschillen
• Meetmix: weet wat je meet
• Copyrightmix: betalen of niet?
Kritische noten voor sturing
(zie Van Os e.a., 2012)

19. Beleid
Praktijk Wetenschap
Samenwerking is een ‘must’

20. • Praktijk
• Werk meetbaar willen maken
• In gesprek durven gaan
• Beleid
• Vragen naar effecten van het werk
• In gesprek willen gaan
• Wetenschap
• Ondersteuning in methoden en technieken
• In gesprek mogen gaan
Ingangen voor samenwerking

21. Samenvatting en afsluiting
Samen sturen!

22. Anna van Spanje
Jan Willem Veerman
jw.veerman@pwo.ru.nl
a.vanspanje@kenniscentrum-kjp.nl