Présentation de la plateforme scientifique collaborative "TransAlgo" à l'événement de lancement des débats "Éthique et numérique" par la CNIL le 23 janvier 2017

1. TransAlgo
Nozha Boujemaa – Directrice de Recherche
Conseillère en Big Data du PDG
Chef de projet TransAlgo
Décembre 2013Nozha.Boujemaa@inria.fr
CNIL - Ethique et Numérique: les algorithmes en débat - 23 Janvier 2017

2. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Comment est née TransAlgo?
- 2
§ Axelle Lemaire a confié au Conseil Général de l'Economie
(CGE) une mission relative aux modalités de régulation des
algorithmes de traitement des contenus
§ Suite à cette saisine, le CGE a livré le rapport « Modalités de
régulation des algorithmes de traitement des contenus »*
§ Parmi les recommandations de ce rapport : la mise en place
d’une plateforme scientifique collaborative destinée à favoriser,
d’une part le développement d’outils logiciels et de méthodes
de tests d’algorithmes et d’autre part la promotion de leur
utilisation.
http://www.economie.gouv.fr/files/files/directions_services/cge/Rapports/2016_05_13_Rapport_Algorithmes(1).pdf

3. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Comment est née TransAlgo?
- 3
§ Inria s’est vu confié le rôle d’opérateur d’une telle plateforme
dénommée TransAlgo, avec le soutien du CNNum et de l’IMT
§ Plateforme scientifique pour le développement de la
transparence et de la responsabilité des systèmes
algorithmiques (dualités algorithmes et des données)
§ Le lancement de la plateforme TransAlgo contribue à ce que
puisse s’appliquer l’exigence de transparence et de
responsabilité des acteurs de l’économie numérique, introduit
par la loi pour une République numérique.
§ Cette plateforme sera une première en Europe

4. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017 - 4
§ La confiance dans les services numériques est un facteur d’adoption et
de développement des marchés
§ Face à l’asymétrie informationnelle:
§ Le droit d’être informé (vs. besoin de savoir)
§ Le droit de comprendre
et plus généralement la protection des droits civiques
Motivations
§ Certaines plateformes dominantes sur le marché
joue un rôle de « prescripteur » en orientant une
grande part du trafic utilisateur :
§ Des mécanismes de tri (moteur de recherche),
§ Des mécanismes de recommandation et de
sélection de contenus proposés
§ Questions de neutralité, de loyauté, d’équité, de
non-discrimination, de concurrence déloyale etc
=> Criticité: Transparence, Responsabilité et
Explicabilité des Algorithmes

5. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017 - 5
Quelles garanties (exemples)?
1. Recommandation de produit: le plus approprié aux besoins d’un
consommateur au vu de son profil (personnalisation) ou le plus
recommandé au vu du stock du vendeur?
2. Quelles garanties d’impartialité à des facteurs commerciaux d'un logiciel
d'aide à la navigation ? Est ce le trajet optimal pour l’utilisateur ou est ce
le chemin le plus rentable pour le concepteur? *
3. Possibles pratiques illicites de différentiation des prix (pricing-volatil)
4. Parfois: Opacité de l’utilisation faites des données personnelles des
utilisateurs, consentement? expérience Mobilitics CNIL-Inria
5. Quelles garanties de non-discrimination (droits citoyens)?
§ Situations de recrutement, octroi de crédits bancaires etc
6. Quelles vérification des contenus informationnels (fake news)?
§ L'asymétrie informationnelle avérée entre les grands acteurs industriels et
les consommateurs (B2B et B2C) pourrait être rééquilibrée par des outils et
des méthodes de transparence des données et des algorithmes.
* Quel impact en temps de crise?

6. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Difficultés / Complexités
- 6
• Les méthodes et les outils techniques liés à la
responsabilité et à la transparence des algorithmes sont
un sujet complexe et multiforme.
• Les propriétés que l’on souhaite vérifier, par exemple:
l'équité, la non-discrimination ou la loyauté... incluent une
part importante de subjectivité et de choix de conception
dépendant des cas d'usage et des contextes qui rend leur
spécification complexe et difficile.
• Les challenges scientifiques sont nombreux et très peu
de travaux de recherche sur le sujet sont encore
disponibles

7. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Enjeux TransAlgo (1/2)
- 7
§ La transparence des systèmes algorithmiques est un défi pour
la recherche académique.
§ La transparence consiste à étudier les comportements d'un
algorithme et à en vérifier la conformité à la loi et aux règles
éthiques.
§ Il faut développer des algorithmes "Responsable-par-
Construction" qui facilitent la mesure de leur transparence,
leur explication et la traçabilité de leur raisonnement.
§ Un algorithme est dit « responsable » s’il respecte les lois1, et
s’il se conforme à certaines règles éthiques2
1: e.g. la confidentialité de certaines données, la non-discrimination par ses critères
2: e.g. la neutralité, la loyauté: se comporte comme il déclare le faire

8. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017 - 8
§ Un algorithme transparent se doit de faciliter la vérification de sa responsabilité, par
exemple, en ouvrant son code, en explicitant la provenance des données qu’il a
utilisées*, et celles qu’il produit, en expliquant ses résultats, ou en publiant des
traces de ses calculs.
§ On distingue deux cas d’études : les algorithmes dont le code est ouvert aux
autorités et les algorithmes dont le code ne l’est pas (boîte noire – aucune obligation
de publication de code).
§ la plateforme scientifique TransAlgo ne sera en aucun cas en charge du
contrôle réglementaire des algorithmes ou de l’utilisation des données. Elle
proposera une offre d’études, d’outils et de services à l’ensemble des acteurs
concernés.
§ Une finalité est de permettre aux autorités de régulation de confondre les auteurs
d’algorithmes « irresponsables » ne respectant pas la loi, de manière intentionnelle
ou non.
* Watson et les données de santé
Enjeux TransAlgo (2/2)

9. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
TransAlgo: Expertises Numériques/SHS
- 9
§ Le développement des méthodes responsables et éthiques
pour la gestion et l'analyse des données mêle diverses
compétences pluridisciplinaires comme les statistiques et
l'apprentissage automatique, les télécommunications, les bases
de données, la visualisation des données, la cryptographie et la
protection des données, l’économie des services numériques,
la régulation, la sociologie computationnelle, etc.
§ Exp:Biais des systèmes algorithmiques (dualité données-algorithmes):
§ L’apprentissage supervisé est un système à réaction positive
§ La corrélation souvent confondue avec la causalité
§ Quels critères? Quelles données ? Quels paramétrages?

10. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Objectifs TransAlgo
- 10
TransAlgo sera à la fois :
§ Centre de ressources : liens vers des projets pertinents, des outils, des travaux,
des expériences, des points de vue, des initiatives internationales, etc. Le but est
ici de centraliser les efforts de la communauté scientifique sur le sujet, d'entretenir
les liens et les échanges avec d'autres initiatives internationales. La plateforme
apportera des ressources comme des algorithmes et des données et un espace
d'expérimentation logicielle pour la mesure des différents aspects de la
transparence ;
§ Instrument d'incitation pour le développement de nouveaux outils et
méthodes via des appels à projets de recherche ciblés, des challenges, des
expérimentations, etc ;
§ Moyen de promotion de ces outils et méthodes auprès des pouvoirs publics,
des industriels et des citoyens et d'aide à la transformation des systèmes
algorithmiques existants.

11. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Partenaires et Acteurs potentiels
- 11
§ Avec le soutien du CNNum et de l’IMT
§ Répondre à des défis scientifiques => Académiques
(universités, écoles, organismes)
§ Avoir un ancrage répondant à des cas d'usage du monde réel
et des remontées d’expression de besoin:
§ Le CNNum, la DGCCRF, La CNIL, la DGE, la CERNA, l’ARCEP,
l’ANSSI, etc
§ Industriels: GE, PME, Start-up
§ Utilisateurs et consommateurs: FING, Que-Choisir, etc
§ Fonctionnement inclusif et ouvert

12. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Calendrier TransAlgo?
- 12
1ère Phase Fin Mars - Centre de ressources:
§ Portail web regroupant les articles, les livres blancs, les
initiatives internationales, les logiciels (sources ou exécutables)
disponibles
§ Conceptualisation et définition des différentes notions de
transparence, loyauté, équité, non-discrimination avec des
prismes interdisciplinaires
§ Définir une feuille de route et des thèmes de recherche qui
touchent des compétences diverses
§ Avec le CNNum: regroupement des remontés des problèmes
les plus observés par le citoyen, les industriels, les autorités de
régulation

13. Merci de votre attention
Nozha.Boujemaa@inria.fr
- 13

14. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Challenges for Data Science
Responsible and Ethical Data Management and Analytics
It is often assumed that big data techniques are unbiased:
§ because of the scale of the data
§ because the techniques are implemented through algorithmic systems.
Þit is a mistake to assume they are objective simply because
they are data-driven * (“Data fundamentalism”)
Consensus is emerging to develop methods and Tools to build
Trust over Transparency & Accountability for Data and
Algorithms
ÞImplementing the “Responsible-by-design” principle
(fairness/equity, loyalty, neutrality etc.)
* White House – OSTP Report « Big Data: A Report on Algorithmic Systems, Opportunity, and Civil Rights », May 2016
* Federal Trade Commission Report: “Big Data: A Tool for Inclusion or Exclusion? January 2016
- 14

15. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Mastering Big Data Technologies: Bias problems could impact
data technologies accuracy and people’s lives
Challenges 1: Data Inputs to an Algorithm
§ Poorly selected data
§ Incomplete, incorrect, or outdated data
§ Data sets that lack disproportionately represent certain populations
§ Malicious attack
Challenges 2: The Design of Algorithmic Systems and Machine
Learning
§ Poorly designed matching systems
§ Unintentional perpetuation and promotion of historical biases
§ Decision-making systems that assume correlation implies causation
Data Science Challenges:
Responsible and Ethical Data Management and Analytics
- 15

16. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
§ Trust and Transparency of computer-aided decision-
making process (decision responsibility): what are the
different criteria/data/settings that have led to the specific
decision in order to understand the global path for the
reasoning?
§ “How can I trust Machine Learning prediction?” it
happens to build the model of the object context rather
the object itself
§ Decision explanation and tractability
§ Robustness to bias/diversion/corruption
§ Careful software reuse
Data Science Challenges:
Responsible and Ethical Data Management and Analytics
- 16

17. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
DARPA initiative: Explainable AI (August 2016)
The Explainable AI (XAI) program aims to create a suite of
machine learning techniques that:
- 17
• Produce more
explainable models,
while maintaining a
high level of learning
performance
(prediction accuracy);
• Enable human users to understand, appropriately
trust, and effectively manage the emerging
generation of artificially intelligent partners.

18. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017
Potential Synergies for International
collaborations
1. Opening the black box of Deep Learning,
2. Trustworthiness of Machine Learning Algorithms
(bias typology, software reuse, etc.)
3. Algorithmic explanability approaches,
4. Cross views on fairness definitions and related
measuring methods
5. Interdisciplinary Training for Data Scientist (in
addition to Maths-Computer Science)
- 18

19. N. Boujemaa – Débat Éthique et numérique – CNIL – 23 Janvier 2017 - 19
§ Algorithmic systems transparency is essential for trust in
digital services and appropriation
§ Transparency and Responsible-by-Design approaches are
economical competitiveness factors
§ Tools for consumers (b2b & b2c) empowerment
§ Tools for regulators (Loi pour la République Numérique)
Conclusion :