1.
1
Cynthia C. S. Liem
c.c.s.liem@tudelft.nl | @informusiccs
Multimedia Computing Group
Delft University of Technology
Als zoeken te fanatiek wordt
Een digitale analyse van het
toeslagenschandaal

2.
2

3.
3
Wat kunnen we vinden en bereiken?

4.
4
Wat kunnen we vinden en bereiken?

5.
5
relevant
Wat kunnen we vinden en bereiken?

6.
6
Wat kunnen we vinden en bereiken?

7.
7
irrelevant?
Wat kunnen we vinden en bereiken?

8.
8
irrelevant?
prediction error?
Wat kunnen we vinden en bereiken?

9.
9
Betrouwbare machine learning
Validering en validiteit

10.
10
• De gebruikelijke focus van mijn vakgenoten
Betrouwbare machine learning
Validering en validiteit

11.
11
• Focus van de domeinexpert?
Betrouwbare machine learning
Validering en validiteit

12.
12
• Focus van de domeinexpert?
Betrouwbare machine learning
Validering en validiteit

13.
13
• Wat betekent ‘working as intended’?
Betrouwbare machine learning
Validering en validiteit

14.
14
Publieke podia
https://www.youtube.com/watch?v=tnBcVwcoMYY
https://www.trouw.nl/politiek/hoe-de-
belastingdienst-lage-inkomens-profileerde-in-
de-jacht-op-fraude~bbb66add/
https://www.vpro.nl/argos/media/luister/argos-radio/onderwerpen/2021/In-het-vizier-van-
het-algoritme-.html#2d297224-7f38-4724-9855-31a16b085d42

15.
15
Wat gebeurde in het
toeslagenschandaal?
https://www.theguardian.com/world/2021/jan/14/dutch-government-faces-collapse-over-child-benefits-scandal
https://www.amnesty.nl/content/uploads/2021/10/20211014_FINAL_Xenophobic-Machines.pdf?x77572

16.
16
Het politieke sentiment rond 2010
• ‘Bulgarenfraude’: gecoördineerde criminele activiteit
• Roep om het opsporen van fraudeurs, met harde
handhaving
• ‘Verdachte’ mensen worden zeer streng behandeld
– Snel als ‘Opzet/Grove Schuld’ aangemerkt
– Vermoeden: 96% van de gevallen onterecht als fraude
bestempeld
– Bij opzet/grove schuld: geen genade bij betalingsregeling
(bij ‘gewone’ schuld: 2 jaar betalen naar draagkracht)

17.
17
Groot optimisme over Big Data
• Algemeen Directeur leidt ‘informatiegestuurde
subjectgerichte handhavingsregie’
https://decorrespondent.nl/2720/baas-
belastingdienst-over-big-data-mijn-missie-
is-gedragsverandering/83656320-f6e78aaf

18.
18
Groot optimisme over Big Data

19.
19
Groot optimisme over Big Data

20.
20
Het risicoclassificatiemodel
https://www.rijksoverheid.nl/documenten/rapporten/2021/03/11/gegevensbescherming-effectbeoordeling-
risicoclassificatiemodel-toeslagen

21.
21
De inputkenmerken (‘indicatoren’)
• Expertsessies in de vroege
jaren 2010
• Rond de 100 ‘indicatoren’
(veel hiervan weggelakt)
• We weten dat ‘het hebben
van een 2e nationaliteit’
een indicator was

22.
22
Trainingdata
• 30000 dossiers,
‘goed’ en ‘fout’
• Verschillende
bronnen,
wisselende kwaliteit
– Dossier lang niet bekeken? ‘goed’
– BSN in ‘Fraude Signaleringsvoorziening’? ‘fout’
• FSV was dubious (boze buur of jaloerse ex kon je daarop krijgen)
• ‘in FSV staan’ lijkt ook een indicator te zijn geweest

23.
23
Het model
• Scorecard
• Vaak gebruikt bij kredietrisico
• Intervallen per kenmerk die
‘goede’ en ‘slechte’ klanten
maximaal uit elkaar houden
https://documentation.sas.com/doc/en/e
mref/14.3/n181vl3wdwn89mn1pfpqm3w
6oaz5.htm

24.
24
Het model
• In kredietrisico is een
‘slechte klant’ iemand die
waarschijnlijk niet een
lening kan terugbetalen
• In kredietrisco wordt vaak
geaccepteerd dat
gecorreleerde variabelen
herhaaldelijk risico
vergroten
https://documentation.sas.com/doc/en/e
mref/14.3/n181vl3wdwn89mn1pfpqm3w
6oaz5.htm

25.
25
Wat gedachten
• Ik ben bezorgd dat ‘slechte klant voor krediet’ gelijk is
getrokken met ‘slecht dossier’
• Een ‘slecht’ dossier bevat fouten. Misschien zijn
belastingformulieren moeilijk?
– 2e nationaliteit niet meer van voorspellende waarde vanaf
oktober 2018
– Na verbetering in communicatie en dienstverlening
https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/ond
erzoek_belastingdienst_kinderopvangtoeslag.pdf

26.
26
Risicoscoring
• Scorecard gebruikt om risico nieuwe dossiers in te
schatten

27.
27
Risicoscoring
• Menselijke ambtenaar moet besluiten wat te doen

28.
28
De ambtenaar…
• …kon niet zien hoe de risicoscore tot stand kwam
• …was veel lager opgeleid dan de data scientists
• …werkte in een cultuur van ‘gedane investering
zoveel mogelijk terugverdienen’

29.
29
Risicoscoring
• De ambtenaar checkte alleen de hoogste-risico
bestanden
• Alleen die bestanden warden gebruikt voor
updating/retraining
 feedbackloop

30.
30
Wie heeft hoge risicoscores?
Groep Woont
in 4
grote
steden
Heeft
NLse
nationali-
teit
Inkomen <
20 kEUR
Alleen-
staande
ouder
Minstens
3 kinderen
in opvang
Minstens
200 u
opvang
Woont
verder
dan 10 km
van
opvang
1000 hoogste
risicoscores
30.8% 78.8% 82.3% 86.9% 12% 34.7% 3.8%
Anderen
(buiten top
1000)
12.5% 95.5% 7.3% 14% 6.2% 1.2% 0.9%
• Top-1000 en daarbuiten zijn echt verschillende
groepen

31.
31
Het drama van de afwikkeling

32.
32
Het drama van de afwikkeling
• Bulgarenfraude was minder dan 4 miljoen EUR.
Toeslagenbudget rond 3 miljard EUR.
• Nu grote terughoudendheid richting machine
learning en datagedreven beslisvorming
• Politici, journalisten, publieke opinie vragen om
antwoorden, maar worstelen met vragen

33.
33
• Imprecies taalgebruik
– AI, algoritme, systeem,
robot bijna synoniem in
publieke debatten
– ‘Wat is het exacte
algoritme?’
– Roep om ‘meer
transparantie’
Wat zie ik als informaticus?

34.
34
Wat zie ik als informaticus?
• Perverse prikkels
• On(der)gespecificeerde vereisten
• Slechte meetprocessen op data
• Weinig aandacht voor evaluatie
• Wegduiken is makkelijk
• Regulering moet nog komen…

35.
35
Vragen om te stellen
• Waarom willen we dit systeem?
• Wie helpen we en wie schaden we?
• Hebben we wel overzicht op het gehele
proces?
• Hoe kunnen de ‘technische’ en ‘niet-
technische’ partijen constructief schakelen?

36.
36
Cynthia C. S. Liem
c.c.s.liem@tudelft.nl | @informusiccs
Multimedia Computing Group
Delft University of Technology
Als zoeken te fanatiek wordt
Een digitale analyse van het
toeslagenschandaal