De gemeenten Amsterdam gebruikt een algoritmeregister om transparant te zijn bij de inzet van algoritmen in de gemeentelijke dienstverlening. Tijdens deze sessie wordt er (interactief) ingegaan op de vraag hoe een register voor het onderwijs er uit kan zien en wat dan de toegevoegde waarde is.

1. AI register voor het
onderwijs
Without trust, there is no use for AI
Chief Digital Officer Mikko Rusama, City of Helsinki
Wilco te Winkel, EUR
Duuk Baten, SURF
9 November2021

2. Why?
• Mogelijkheden èn uitdagingen rondom de inzet van AI nemen toe
• Er is behoefte aan ethische kaders en grip op de toepassing van AI
• Een algoritme register biedt een manier om organisatorische afspraken rondom AI te borgen
Waarom is een algoritme register voor de onderwijssector interessant

3. Why?
Sturen op digitalisering vanuit kernwaarden

4. What?
Wat is een algoritmeregister

5. What?
Wat is een algoritmeregister

6. What?
Wat is een algoritmeregister
• Data: Overzicht van de belangrijkste datasets die gebruikt zijn in de ontwikkeling en de toepassing van het algoritme.
• Dataverwerking: Hoe gebruikt het systeem de data?
• Discriminatie: Hoe bevordert het algoritme gelijke behandeling of gaat het ongelijke behandeling tegen?
• Menselijk toezicht: In hoeverre houden mensen toezicht op de werking van het algoritme?
• Risico’s en waarborgen: Welke risico’s heeft het gebruik van het algoritme en wat doet de gemeente om deze risico’s te ondervangen?

7. Publieke waarden & algoritme register
What?
Rechtvaardigheid
• Gelijkheid
• Gelijke behandeling
ü Non-discrimination: Audience and testing for unfair bias, Accessibility, Stakeholder participation
• Integriteit
• Betrouwbaarheid van informatie, content, data en systemen
ü Datasets: Dataset name, Dataset description, Data source details, Sample data, Link to open datasets
• Transparantie
ü Data processing: Model architecture, Performance measurement, Features, Link to the source code
• Democratische controle
ü Overview: Purpose, Use cases, Impacted People, Key functionality, Link to the live service
• Doelmatigheid
ü Eenmalig inrichten van register, toegankelijk voor alle stakeholders
ü Wijzigingen normenkaders & wet- en regelgeving wordt landelijk bijgehouden en gecommuniceerd
Autonomie
• Bescherming persoonlijke levenssfeer
ü Human Oversight: Oversight mechanisms, Needed skills & training
ü Risks and limitations: Risk level, Risk management overview including key tradeoffs, List of identified risks and mitigation methods
ü References: Privacy policy, Data protection, Impact assessment, Human rights impact assessment

8. Publieke waarden & algoritme register
What?
Rechtvaardigheid
• Gelijkheid
• Gelijke behandeling
ü Non-discrimination: Audience and testing for unfair bias, Accessibility, Stakeholder participation
• Integriteit
• Betrouwbaarheid van informatie, content, data en systemen
ü Datasets: Dataset name, Dataset description, Data source details, Sample data, Link to open datasets
• Transparantie
ü Data processing: Model architecture, Performance measurement, Features, Link to the source code
• Democratische controle
ü Overview: Purpose, Use cases, Impacted People, Key functionality, Link to the live service
• Doelmatigheid
ü Eenmalig inrichten van register, toegankelijk voor alle stakeholders
ü Wijzigingen normenkaders & wet- en regelgeving wordt landelijk bijgehouden en gecommuniceerd
Autonomie
• Bescherming persoonlijke levenssfeer
ü Human Oversight: Oversight mechanisms, Needed skills & training
ü Risks and limitations: Risk level, Risk management overview including key tradeoffs, List of identified risks and mitigation methods
ü References: Privacy policy, Data protection, Impact assessment, Human rights impact assessment

9. How?
Doelmatigheid
Eenmalig inrichten van register, toegankelijk voor alle stakeholders
Instelling #1
Leverancier A
Register
A gebruikt bij #1
Welke algoritmes
hebben effect op
mij?
Instelling #2
Leverancier B
A gebruikt bij #2
B gebruikt bij #2
B gebruikt bij #1
Medewerker aan
Inst. #x
Welke instelling
gebruikt al
algoritme B?
Student aan Inst. #1

10. How?
Doelmatigheid
Wijzigingen normenkaders & wet- en regelgeving wordt landelijk bijgehouden en gecommuniceerd
Leverancier
Kennis over techniek
VNG
Kennis over wetgeving en kaders
Gemeente
Kennis over organisatie

11. Leverancier
Kennis over techniek
SURF
Kennis over wetgeving en kaders
Instelling
Kennis over organisatie
How?
Doelmatigheid in de onderwijs sector

12. Werkzaamheden
• Invoeren informatie
• data, dataverwerking en tegengaan van discriminatie
• menselijke toezicht, risico’s en waarborgen
• Kennis van wijzigende wetgeving en kaders
• Uitvoeren audits
• Leverancier
• Instelling
• Aansturing leverancier algoritmeregister
How?
Doelmatigheid in de onderwijs sector

13. Leverancier
Kennis over techniek
• Aanleveren informatie over data, dataverwerking
en tegengaan van discriminatie
SURF
Kennis over wetgeving en kaders
Instelling
Kennis over organisatie
How?
Doelmatigheid Scenario 1 “Schuurtje bij het huisje”
• Kennis van wijzigende wetgeving en kaders
• Invoeren informatie over data, dataverwerking
en tegengaan van discriminatie
• Invoeren informatie over menselijke toezicht,
risico’s en waarborgen
• Uitvoeren audits instelling & leverancier
• Aansturen leverancier algoritmeregister

14. Leverancier
Kennis over techniek
SURF
Kennis over wetgeving en kaders
Instelling
Kennis over organisatie
How?
Doelmatigheid Scenario 1 “Schuurtje bij het huisje”
• Kennis van wijzigende wetgeving en kaders
• Invoeren informatie over data, dataverwerking
en tegengaan van discriminatie
• Invoeren informatie over menselijke toezicht,
risico’s en waarborgen
• Uitvoeren audits instelling & leverancier
+ Autonomie
- Uitbreiden formatie en opbouwen expertise binnen instelling
• Aansturen leverancier algoritmeregister
+ Huidige inzet SURF
Kennis over techniek
• Aanleveren informatie over data, dataverwerking
en tegengaan van discriminatie
+ Onderscheidend t.o.v. concurrenten
+ Ondersteunend aan missie bedrijf
- Moet meerdere keren dezelfde informatie aanleveren aan
verschillende organisaties

15. Leverancier
Kennis over techniek
SURF
Kennis over wetgeving en kaders
Instelling
Kennis over organisatie
How?
Doelmatigheid Scenario 2 “Gedeelde verantwoordelijkheid”
• Invoeren informatie over menselijke toezicht,
risico’s en waarborgen
• Kennis van wijzigende wetgeving en kaders
• Uitvoeren audits instelling & leverancier
• Aansturen leverancier algoritmeregister
• Invoeren informatie over data, dataverwerking en tegengaan
van discriminatie

16. Leverancier
Kennis over techniek
SURF
Kennis over wetgeving en kaders
Instelling
Kennis over organisatie
How?
Doelmatigheid Scenario 2 “Gedeelde verantwoordelijkheid”
• Invoeren informatie over menselijke toezicht,
risico’s en waarborgen
+ Kan register raadplegen en verrijken
+ Transparant naar studenten en medewerkers
+ Hoeft slechts beperkt formatie uit te breiden en expertise op te bouwen
• Kennis van wijzigende wetgeving en kaders
• Uitvoeren audits instelling & leverancier
• Aansturen leverancier algoritmeregister
+ Kennispartner wet- regelgeving
+ Voegt autoriteit toe door onafhankelijke positie
+ Centraal contactpunt leveranciers
- Nieuwe rol SURF
• Invoeren informatie over data, dataverwerking en tegengaan
van discriminatie
+ Hoeft slechts één keer informatie in te voeren
+ Onderscheidend t.o.v. concurrenten
+ Ondersteunend aan missie bedrijf

17. Leverancier
SURF
Instelling
Kennis over organisatie
How?
Doelmatigheid Scenario 3 “Niets doen”
- Vertrouwen over vragen rondom
• gelijke behandeling
• betrouwbaarheid van data
• transparantie over werking algoritme
• bescherming persoonlijke levensfeer
op andere manier op bouwen

18. Wat vinden we hier van?
Op naar de Menti!