SlideShare une entreprise Scribd logo
1  sur  24
1
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
La confiance dans les
systèmes intelligents
OCTO
There
is
a
better
way
2
OCTO Part of Accenture © 2020 - All rights reserved
2
There
is
a
better
way
Ce dont on va parler (ou pas)
Confiance équité représentativité transparence
Avec une approche basée sur des enseignements scientifiques, pour des take-away activables
There
is
a
better
way
3
OCTO Part of Accenture © 2020 - All rights reserved
Notre point de vue : celui d’un utilisateur
Un utilisateur est la personne qui a la responsabilité d’utiliser, ou non, un système
intelligent
4
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
1. Une histoire de
confiance dans nos
décisions
There
is
a
better
way
5
OCTO Part of Accenture © 2020 - All rights reserved
Une première notion : la decision confidence
… option 1
…option 2
Quantité d’information
accumulée pour…
Biais : ”J’ai dès l’origine
une tendance à suivre
l’option 1” Information reçue me
permettant de choisir
l’option 2
Information reçue me
permettant de choisir
l’option 1
/! Décision prise /!
There
is
a
better
way
6
OCTO Part of Accenture © 2020 - All rights reserved
Traduction appliquée à l’IA
… suivre le
système d’IA
… ne pas le
suivre
Quantité d’information
accumulée pour…
Biais : ”J’ai dès l’origine
une tendance à suivre
l’algorithme” Information reçue me
permettant de choisir
l’option “suivre mon instinct”
Information reçue me
permettant de choisir
l’option “suivre le système
d’IA”
/! Décision prise /!
There
is
a
better
way
7
OCTO Part of Accenture © 2020 - All rights reserved
Une décision finale qui est un assemblage
Système d’IA
Contexte #1
Entrée du
système d’IA
L’utilisateur reçoit une partie
des informations du contexte
du système
Sortie du système : 
- Recommandations du
système
- Informations connexes
(ex: facteurs explicatifs)
Contexte #2
Information
accessible à
l’utilisateur
Décision finale de l’utilisateur
L’utilisateur a accès à son
propre contexte qui n’est pas
forcément utilisé par le système
8
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
Confiance dans un système intelligent
Notion absolue, sans forcément de base rationnelle, peut être assimilée à un pari
You have confidence in your coworkers for handling a case, but you trust your significant other (well, I hope so)
Confiance dans notre décision de suivre leur recommandation
Contextuelle, principalement basée sur des éléments rationels ou passés
󰏅 : Trust
󰏅 :
Confidence
There
is
a
better
way
9
OCTO Part of Accenture © 2020 - All rights reserved
Objectif nº1 pour créer de la confiance dans la décision de faire confiance au système :
augmenter la quantité d’information disponible lors de ce choix
๏ Donner une probabilité de prédiction plutôt qu’une décision binaire
๏ Donner accès à des paramètres explicatifs
> Model-wise : features importance
> Decision-wise : shap values, local sensibility analysis, tree interpretor
๏ Donner une vue partielle du fonctionnement du système
> Choix des métriques, features, données
๏ Ajouter un clustering à côté de la prédiction
> Présenter des cas passés “similaires”, déjà connus de l’utilisateur
Augmenter le niveau d’information
There
is
a
better
way
10
OCTO Part of Accenture © 2020 - All rights reserved
Exemple: Google Maps
Je pense qu’il vaut
mieux passer par la
Normandie…
There
is
a
better
way
11
OCTO Part of Accenture © 2020 - All rights reserved
Exemple: Google Maps
OK, fais comme il dit
!
12
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
2. La confiance ne vaut
qu’en cas de désaccord
There
is
a
better
way
13
OCTO Part of Accenture © 2020 - All rights reserved
Un empilement de décisions
Je suis d’accord avec la
recommandation du
système d’IA?
Oui Non
Je choisis de faire
confiance à mon instinct et
au système
Est-ce que j’ai confiance
dans la décision de faire
confiance au système
d’IA ?
Oui Non
J’ai confiance dans ma
décision de faire confiance
au système d’IA et je le
choisis
Je n’ai pas confiance dans
la décision de faire
confiance au système d’IA
et je choisis de suivre mon
instinct
Je reçois une recommandation
du système d’IA et des
informations connexes
There
is
a
better
way
14
OCTO Part of Accenture © 2020 - All rights reserved
On questionne la confiance en cas de désaccord
Je suis d’accord avec la
recommandation du
système d’IA?
Oui Non
Je choisis de faire
confiance à mon instinct et
au système
Est-ce que j’ai confiance
dans la décision de faire
confiance au système d’IA
?
Oui Non
J’ai confiance dans ma
décision de faire confiance
au système d’IA et je le
choisis
Je n’ai pas confiance dans
la décision de faire
confiance au système d’IA
et je choisis de suivre mon
instinct
Je reçois une recommandation
du système d’IA et des
informations connexes
There
is
a
better
way
15
OCTO Part of Accenture © 2020 - All rights reserved
A case: quality assessment in industry
Ground truth
L’utilisateur a une performance de
8/10 : spontanément il commet un faux
positif et un faux négatif
Ceci est notre ground truth, telle que
définie par un panel d’experts
Évaluation de l’utilisateur
There
is
a
better
way
16
OCTO Part of Accenture © 2020 - All rights reserved
First approach: seeking performance
Ground truth
Évaluation de l’utilisateur
On crée un
système qui
essaye de
coller à la
ground truth
Désaccord avec
l’utilisateur 3 fois
Ceci est notre ground truth, telle que
définie par un panel d’experts
L’utilisateur a une performance de
8/10 : spontanément il commet un faux
positif et un faux négatif
System 1
- Bonne performance : 9/10
- Mais faible confiance : 7/10
On réplique la ground
truth
There
is
a
better
way
17
OCTO Part of Accenture © 2020 - All rights reserved
Deuxième approche : chercher la confiance
Ground truth
Ceci est notre ground truth, telle que
définie par un panel d’experts
On crée un
système qui
colle aux
évaluations de
l’utilisateur
Réplication de ce
que pense
l’utilisateur
Mais on comment trois
fautes
System 2
L’utilisateur a une performance de
8/10 : spontanément il commet un faux
positif et un faux négatif
System 2
- Performance faible : 7/10
- Mais forte confiance : 9/10
Évaluation de l’utilisateur
There
is
a
better
way
18
OCTO Part of Accenture © 2020 - All rights reserved
Il faut choisir entre performance et confiance
Ground truth
System 1
System 2
System 1
- Bonne performance : 9/10
- Mais faible confiance : 7/10
System 2
- Performance faible : 7/10
- Mais forte confiance : 9/10
Évaluation de l’utilisateur
There
is
a
better
way
19
OCTO Part of Accenture © 2020 - All rights reserved
Il y a un compromis fondamental entre performance et confiance
- Survient quand le système commence à battre les humains
- Lié au fait qu’on examine la confiance plus souvent lorsqu’on est en désaccord
C’est le même phénomène que les bulles Facebook
En tant que data scientists, nous devons être vigilants à :
- Ne pas survaloriser les annotations utilisateurs
- Nous aiderait à obtenir leur confiance…
- … mais s’apparente à de la manipulation
- Ne pas croire qu’augmenter la performance augmente mécaniquement la confiance
- C’est même parfois l’inverse !
Le compromis performance/confiance
20
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
3. La transitivité sociale
There
is
a
better
way
21
OCTO Part of Accenture © 2020 - All rights reserved
Notion complexe, reflète un biais a priori en faveur ou défaveur d’un agent
Une seconde notion : la trustworthiness
… faire confiance au
système d’IA
… ne pas faire confiance
au système d’IA
Quantité d’information
accumulée pour…
Biais positif : j’ai un a
priori qui déclenche
une décision de faire
confiance
Décision de faire
confiance
Biais négatif : j’ai un a
priori qui déclenche une
décision de ne pas faire
confiance
Décision de ne pas
faire confiance
There
is
a
better
way
22
OCTO Part of Accenture © 2020 - All rights reserved
La trustworthiness est avant tout une notion émotionnelle…
… pas rationnelle !
Autrement dit : vous créerez de la confiance en travaillant sur les ressentis des utilisateurs, pas en
leur promettant du ROI
Une notion irrationnelle et sociale
There
is
a
better
way
23
OCTO Part of Accenture © 2020 - All rights reserved
Augmenter la trustworthiness : la transitivité sociale
Système
d’IA
Pas de lien social préalable
Pré-conception aléatoire
Basée sur un ressenti
individuel générique “j’ai
peur de l’IA/c’est l’avenir”
+ / = / -
+ / = / -
Système
d’IA
Avec lien social
+ + +
Je suis celle qui a construit votre
système d’IA
Merci pour vos retours continus,
ils nous ont beaucoup aidé.
Est-ce que ça vous aide au
quotidien ?
+ + +
There
is
a
better
way
24
OCTO Part of Accenture © 2020 - All rights reserved
๏ La question de la confiance peut se modéliser, et devient celle de la confiance dans notre
décision de faire confiance/suivre à un système intelligent
๏ Nous avons des moyens d’améliorer cette confiance : 
> Augmenter la quantité d’informations disponible pour prendre la décision de faire confiance
> Prendre en compte les feedbacks utilisateurs et leur différence avec la réalité
> Garder en tête la transitivité sociale comme initiateur de trustworthiness
๏ Tout en n’oubliant pas que
> La manipulation n’est jamais très loin quand on aborde les questions de confiance
> Il y a un compromis performance/confiance indépassable dans tous les problèmes
Take-away

Contenu connexe

Tendances

Petit-déjeuner OCTO Technology - Vers l'enteprise Agile
Petit-déjeuner OCTO Technology - Vers l'enteprise AgilePetit-déjeuner OCTO Technology - Vers l'enteprise Agile
Petit-déjeuner OCTO Technology - Vers l'enteprise Agile
OCTO Technology
 
OSF Questionnaire Compatibilite Organisation
OSF Questionnaire Compatibilite OrganisationOSF Questionnaire Compatibilite Organisation
OSF Questionnaire Compatibilite Organisation
Fabrice Aimetti
 
De la pensée projet à la pensée produit
De la pensée projet à la pensée produitDe la pensée projet à la pensée produit
De la pensée projet à la pensée produit
OCTO Technology Suisse
 

Tendances (20)

PSF Questionnaire Compatibilite Projet
PSF Questionnaire Compatibilite ProjetPSF Questionnaire Compatibilite Projet
PSF Questionnaire Compatibilite Projet
 
Petit-déjeuner OCTO Technology - Vers l'enteprise Agile
Petit-déjeuner OCTO Technology - Vers l'enteprise AgilePetit-déjeuner OCTO Technology - Vers l'enteprise Agile
Petit-déjeuner OCTO Technology - Vers l'enteprise Agile
 
Critères de compatibilité avec l'Agile
Critères de compatibilité avec l'AgileCritères de compatibilité avec l'Agile
Critères de compatibilité avec l'Agile
 
OSG Questionnaire Scoring Exemple
OSG Questionnaire Scoring ExempleOSG Questionnaire Scoring Exemple
OSG Questionnaire Scoring Exemple
 
Le Comptoir OCTO x Mobile App avec Share IT
Le Comptoir OCTO x Mobile App avec Share ITLe Comptoir OCTO x Mobile App avec Share IT
Le Comptoir OCTO x Mobile App avec Share IT
 
OSF Questionnaire Compatibilite Organisation
OSF Questionnaire Compatibilite OrganisationOSF Questionnaire Compatibilite Organisation
OSF Questionnaire Compatibilite Organisation
 
Management projet vs management produit
Management projet vs management produitManagement projet vs management produit
Management projet vs management produit
 
De la pensée projet à la pensée produit
De la pensée projet à la pensée produitDe la pensée projet à la pensée produit
De la pensée projet à la pensée produit
 
La Duck Conf - Pour être "data centric", faut-il centraliser ?
La Duck Conf - Pour être "data centric", faut-il centraliser ?La Duck Conf - Pour être "data centric", faut-il centraliser ?
La Duck Conf - Pour être "data centric", faut-il centraliser ?
 
Best practices accessibilité
Best practices accessibilitéBest practices accessibilité
Best practices accessibilité
 
#NoEstimates vs #Estimates - Vraiment?
#NoEstimates vs #Estimates - Vraiment?	#NoEstimates vs #Estimates - Vraiment?
#NoEstimates vs #Estimates - Vraiment?
 
Comment livrer plus vite?
Comment livrer plus vite?Comment livrer plus vite?
Comment livrer plus vite?
 
Agile & Top Management
Agile & Top ManagementAgile & Top Management
Agile & Top Management
 
Tout est lié! Processus, UX, DevOps, Architecture, BDD, QA, Lean...
Tout est lié! Processus, UX, DevOps, Architecture, BDD, QA, Lean...Tout est lié! Processus, UX, DevOps, Architecture, BDD, QA, Lean...
Tout est lié! Processus, UX, DevOps, Architecture, BDD, QA, Lean...
 
Agile Wake Up #3 : Lean UX
Agile Wake Up #3 : Lean UXAgile Wake Up #3 : Lean UX
Agile Wake Up #3 : Lean UX
 
Le contrat agile ce n'est pas si simple que ça
Le contrat agile ce n'est pas si simple que çaLe contrat agile ce n'est pas si simple que ça
Le contrat agile ce n'est pas si simple que ça
 
Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"
Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"
Matinale OCTO - "Blockchain : comment s'orienter dans la désorientation"
 
Elements de pratique du Set-Based Concurrent Engineering par Olivier Soulié
Elements de pratique du Set-Based Concurrent Engineering par Olivier SouliéElements de pratique du Set-Based Concurrent Engineering par Olivier Soulié
Elements de pratique du Set-Based Concurrent Engineering par Olivier Soulié
 
Matinale Agile Wake Up #4 : les tests et l'agilité
Matinale Agile Wake Up #4 : les tests et l'agilitéMatinale Agile Wake Up #4 : les tests et l'agilité
Matinale Agile Wake Up #4 : les tests et l'agilité
 
Le Comptoir OCTO - Accessibilité
Le Comptoir OCTO - Accessibilité Le Comptoir OCTO - Accessibilité
Le Comptoir OCTO - Accessibilité
 

Similaire à Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilitéAltics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
ALTICS
 

Similaire à Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents (20)

Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
Live academy #4 Comment démocratiser l’utilisation des données dans votre org...
 
Nouvelles approches de la confiance numérique - 1ers résultats, Novembre 2010
Nouvelles approches de la confiance numérique - 1ers résultats, Novembre 2010Nouvelles approches de la confiance numérique - 1ers résultats, Novembre 2010
Nouvelles approches de la confiance numérique - 1ers résultats, Novembre 2010
 
Machine Learning & Interpretabilité
Machine Learning & InterpretabilitéMachine Learning & Interpretabilité
Machine Learning & Interpretabilité
 
Expédition "Confiance numérique" - Les pistes d'innovation
Expédition "Confiance numérique" - Les pistes d'innovationExpédition "Confiance numérique" - Les pistes d'innovation
Expédition "Confiance numérique" - Les pistes d'innovation
 
Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilitéAltics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
Altics - Etude sur les solutions de micro-paiement sur ordinateur et en mobilité
 
Concevoir une WebApp pour les professionnel(le)s du Droit
Concevoir une WebApp pour les professionnel(le)s du DroitConcevoir une WebApp pour les professionnel(le)s du Droit
Concevoir une WebApp pour les professionnel(le)s du Droit
 
OCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture TestOCTO Talks - Lancement du livre Culture Test
OCTO Talks - Lancement du livre Culture Test
 
Partie1BI-DW2019
Partie1BI-DW2019Partie1BI-DW2019
Partie1BI-DW2019
 
BECI - E-Voting Elections sociales/Sociale verkiezingen 2012 - Elegio
BECI - E-Voting Elections sociales/Sociale verkiezingen 2012 - ElegioBECI - E-Voting Elections sociales/Sociale verkiezingen 2012 - Elegio
BECI - E-Voting Elections sociales/Sociale verkiezingen 2012 - Elegio
 
L'Intelligence Economique concrète : recettes & bonnes pratiques
L'Intelligence Economique concrète :  recettes & bonnes pratiquesL'Intelligence Economique concrète :  recettes & bonnes pratiques
L'Intelligence Economique concrète : recettes & bonnes pratiques
 
E-Reputation & réseaux sociaux
E-Reputation & réseaux sociauxE-Reputation & réseaux sociaux
E-Reputation & réseaux sociaux
 
Présentation Inter Ligere Icc2009
Présentation Inter Ligere Icc2009Présentation Inter Ligere Icc2009
Présentation Inter Ligere Icc2009
 
les tendances du marché de la collaboration #CollabUEE
les tendances du marché de la collaboration #CollabUEEles tendances du marché de la collaboration #CollabUEE
les tendances du marché de la collaboration #CollabUEE
 
Le Comptoir OCTO - Devenir une entreprise agile
Le Comptoir OCTO - Devenir une entreprise agileLe Comptoir OCTO - Devenir une entreprise agile
Le Comptoir OCTO - Devenir une entreprise agile
 
Etude de cas Biométrie
Etude de cas BiométrieEtude de cas Biométrie
Etude de cas Biométrie
 
Cyber Sécurite et E-réputation
Cyber Sécurite et E-réputationCyber Sécurite et E-réputation
Cyber Sécurite et E-réputation
 
Cozy cloud
Cozy cloudCozy cloud
Cozy cloud
 
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivitéLe Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
Le Comptoir x OCTO Academy : La Data au coeur des enjeux de compétitivité
 
Acceptance, Accessible, Applicable et Auditable
Acceptance, Accessible, Applicable et AuditableAcceptance, Accessible, Applicable et Auditable
Acceptance, Accessible, Applicable et Auditable
 
De quels traitements sommes-nous les proies ?
De quels traitements sommes-nous les proies ?De quels traitements sommes-nous les proies ?
De quels traitements sommes-nous les proies ?
 

Plus de OCTO Technology

Plus de OCTO Technology (20)

Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonnéLe Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
Le Comptoir OCTO - Se conformer à la CSRD : un levier d'action insoupçonné
 
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloudLe Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
 
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
La Grosse Conf 2024 - Philippe Stepniewski -Atelier - Live coding d'une base ...
 
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
La Grosse Conf 2024 - Philippe Prados - Atelier - RAG : au-delà de la démonst...
 
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
Le Comptoir OCTO - Maîtriser le RAG : connecter les modèles d’IA génératives ...
 
OCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeursOCTO Talks - Les IA s'invitent au chevet des développeurs
OCTO Talks - Les IA s'invitent au chevet des développeurs
 
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
Le Comptoir OCTO - Green AI, comment éviter que votre votre potion magique d’...
 
OCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend webOCTO Talks - State of the art Architecture dans les frontend web
OCTO Talks - State of the art Architecture dans les frontend web
 
Refcard GraphQL
Refcard GraphQLRefcard GraphQL
Refcard GraphQL
 
Comptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/LeaseplanComptoir OCTO ALD Automotive/Leaseplan
Comptoir OCTO ALD Automotive/Leaseplan
 
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ? Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
Le Comptoir OCTO - Comment optimiser les stocks en linéaire par la Data ?
 
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
Le Comptoir OCTO - Retour sur 5 ans de mise en oeuvre : Comment le RGPD a réi...
 
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...Le Comptoir OCTO -  Affinez vos forecasts avec la planification distribuée et...
Le Comptoir OCTO - Affinez vos forecasts avec la planification distribuée et...
 
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conceptionLe Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
Le Comptoir OCTO - La formation au cœur de la stratégie d’éco-conception
 
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
Le Comptoir OCTO - Une vision de plateforme sans leadership tech n’est qu’hal...
 
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...Le Comptoir OCTO - L'avenir de la gestion du bilan carbone :  les solutions E...
Le Comptoir OCTO - L'avenir de la gestion du bilan carbone : les solutions E...
 
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
Le Comptoir OCTO - Continuous discovery et continuous delivery pour construir...
 
RefCard Tests sur tous les fronts
RefCard Tests sur tous les frontsRefCard Tests sur tous les fronts
RefCard Tests sur tous les fronts
 
RefCard RESTful API Design
RefCard RESTful API DesignRefCard RESTful API Design
RefCard RESTful API Design
 
RefCard API Architecture Strategy
RefCard API Architecture StrategyRefCard API Architecture Strategy
RefCard API Architecture Strategy
 

Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

  • 1. 1 There is a better way OCTO Part of Accenture © 2020 - All rights reserved La confiance dans les systèmes intelligents OCTO
  • 2. There is a better way 2 OCTO Part of Accenture © 2020 - All rights reserved 2 There is a better way Ce dont on va parler (ou pas) Confiance équité représentativité transparence Avec une approche basée sur des enseignements scientifiques, pour des take-away activables
  • 3. There is a better way 3 OCTO Part of Accenture © 2020 - All rights reserved Notre point de vue : celui d’un utilisateur Un utilisateur est la personne qui a la responsabilité d’utiliser, ou non, un système intelligent
  • 4. 4 There is a better way OCTO Part of Accenture © 2020 - All rights reserved 1. Une histoire de confiance dans nos décisions
  • 5. There is a better way 5 OCTO Part of Accenture © 2020 - All rights reserved Une première notion : la decision confidence … option 1 …option 2 Quantité d’information accumulée pour… Biais : ”J’ai dès l’origine une tendance à suivre l’option 1” Information reçue me permettant de choisir l’option 2 Information reçue me permettant de choisir l’option 1 /! Décision prise /!
  • 6. There is a better way 6 OCTO Part of Accenture © 2020 - All rights reserved Traduction appliquée à l’IA … suivre le système d’IA … ne pas le suivre Quantité d’information accumulée pour… Biais : ”J’ai dès l’origine une tendance à suivre l’algorithme” Information reçue me permettant de choisir l’option “suivre mon instinct” Information reçue me permettant de choisir l’option “suivre le système d’IA” /! Décision prise /!
  • 7. There is a better way 7 OCTO Part of Accenture © 2020 - All rights reserved Une décision finale qui est un assemblage Système d’IA Contexte #1 Entrée du système d’IA L’utilisateur reçoit une partie des informations du contexte du système Sortie du système :  - Recommandations du système - Informations connexes (ex: facteurs explicatifs) Contexte #2 Information accessible à l’utilisateur Décision finale de l’utilisateur L’utilisateur a accès à son propre contexte qui n’est pas forcément utilisé par le système
  • 8. 8 There is a better way OCTO Part of Accenture © 2020 - All rights reserved Confiance dans un système intelligent Notion absolue, sans forcément de base rationnelle, peut être assimilée à un pari You have confidence in your coworkers for handling a case, but you trust your significant other (well, I hope so) Confiance dans notre décision de suivre leur recommandation Contextuelle, principalement basée sur des éléments rationels ou passés 󰏅 : Trust 󰏅 : Confidence
  • 9. There is a better way 9 OCTO Part of Accenture © 2020 - All rights reserved Objectif nº1 pour créer de la confiance dans la décision de faire confiance au système : augmenter la quantité d’information disponible lors de ce choix ๏ Donner une probabilité de prédiction plutôt qu’une décision binaire ๏ Donner accès à des paramètres explicatifs > Model-wise : features importance > Decision-wise : shap values, local sensibility analysis, tree interpretor ๏ Donner une vue partielle du fonctionnement du système > Choix des métriques, features, données ๏ Ajouter un clustering à côté de la prédiction > Présenter des cas passés “similaires”, déjà connus de l’utilisateur Augmenter le niveau d’information
  • 10. There is a better way 10 OCTO Part of Accenture © 2020 - All rights reserved Exemple: Google Maps Je pense qu’il vaut mieux passer par la Normandie…
  • 11. There is a better way 11 OCTO Part of Accenture © 2020 - All rights reserved Exemple: Google Maps OK, fais comme il dit !
  • 12. 12 There is a better way OCTO Part of Accenture © 2020 - All rights reserved 2. La confiance ne vaut qu’en cas de désaccord
  • 13. There is a better way 13 OCTO Part of Accenture © 2020 - All rights reserved Un empilement de décisions Je suis d’accord avec la recommandation du système d’IA? Oui Non Je choisis de faire confiance à mon instinct et au système Est-ce que j’ai confiance dans la décision de faire confiance au système d’IA ? Oui Non J’ai confiance dans ma décision de faire confiance au système d’IA et je le choisis Je n’ai pas confiance dans la décision de faire confiance au système d’IA et je choisis de suivre mon instinct Je reçois une recommandation du système d’IA et des informations connexes
  • 14. There is a better way 14 OCTO Part of Accenture © 2020 - All rights reserved On questionne la confiance en cas de désaccord Je suis d’accord avec la recommandation du système d’IA? Oui Non Je choisis de faire confiance à mon instinct et au système Est-ce que j’ai confiance dans la décision de faire confiance au système d’IA ? Oui Non J’ai confiance dans ma décision de faire confiance au système d’IA et je le choisis Je n’ai pas confiance dans la décision de faire confiance au système d’IA et je choisis de suivre mon instinct Je reçois une recommandation du système d’IA et des informations connexes
  • 15. There is a better way 15 OCTO Part of Accenture © 2020 - All rights reserved A case: quality assessment in industry Ground truth L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif Ceci est notre ground truth, telle que définie par un panel d’experts Évaluation de l’utilisateur
  • 16. There is a better way 16 OCTO Part of Accenture © 2020 - All rights reserved First approach: seeking performance Ground truth Évaluation de l’utilisateur On crée un système qui essaye de coller à la ground truth Désaccord avec l’utilisateur 3 fois Ceci est notre ground truth, telle que définie par un panel d’experts L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif System 1 - Bonne performance : 9/10 - Mais faible confiance : 7/10 On réplique la ground truth
  • 17. There is a better way 17 OCTO Part of Accenture © 2020 - All rights reserved Deuxième approche : chercher la confiance Ground truth Ceci est notre ground truth, telle que définie par un panel d’experts On crée un système qui colle aux évaluations de l’utilisateur Réplication de ce que pense l’utilisateur Mais on comment trois fautes System 2 L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif System 2 - Performance faible : 7/10 - Mais forte confiance : 9/10 Évaluation de l’utilisateur
  • 18. There is a better way 18 OCTO Part of Accenture © 2020 - All rights reserved Il faut choisir entre performance et confiance Ground truth System 1 System 2 System 1 - Bonne performance : 9/10 - Mais faible confiance : 7/10 System 2 - Performance faible : 7/10 - Mais forte confiance : 9/10 Évaluation de l’utilisateur
  • 19. There is a better way 19 OCTO Part of Accenture © 2020 - All rights reserved Il y a un compromis fondamental entre performance et confiance - Survient quand le système commence à battre les humains - Lié au fait qu’on examine la confiance plus souvent lorsqu’on est en désaccord C’est le même phénomène que les bulles Facebook En tant que data scientists, nous devons être vigilants à : - Ne pas survaloriser les annotations utilisateurs - Nous aiderait à obtenir leur confiance… - … mais s’apparente à de la manipulation - Ne pas croire qu’augmenter la performance augmente mécaniquement la confiance - C’est même parfois l’inverse ! Le compromis performance/confiance
  • 20. 20 There is a better way OCTO Part of Accenture © 2020 - All rights reserved 3. La transitivité sociale
  • 21. There is a better way 21 OCTO Part of Accenture © 2020 - All rights reserved Notion complexe, reflète un biais a priori en faveur ou défaveur d’un agent Une seconde notion : la trustworthiness … faire confiance au système d’IA … ne pas faire confiance au système d’IA Quantité d’information accumulée pour… Biais positif : j’ai un a priori qui déclenche une décision de faire confiance Décision de faire confiance Biais négatif : j’ai un a priori qui déclenche une décision de ne pas faire confiance Décision de ne pas faire confiance
  • 22. There is a better way 22 OCTO Part of Accenture © 2020 - All rights reserved La trustworthiness est avant tout une notion émotionnelle… … pas rationnelle ! Autrement dit : vous créerez de la confiance en travaillant sur les ressentis des utilisateurs, pas en leur promettant du ROI Une notion irrationnelle et sociale
  • 23. There is a better way 23 OCTO Part of Accenture © 2020 - All rights reserved Augmenter la trustworthiness : la transitivité sociale Système d’IA Pas de lien social préalable Pré-conception aléatoire Basée sur un ressenti individuel générique “j’ai peur de l’IA/c’est l’avenir” + / = / - + / = / - Système d’IA Avec lien social + + + Je suis celle qui a construit votre système d’IA Merci pour vos retours continus, ils nous ont beaucoup aidé. Est-ce que ça vous aide au quotidien ? + + +
  • 24. There is a better way 24 OCTO Part of Accenture © 2020 - All rights reserved ๏ La question de la confiance peut se modéliser, et devient celle de la confiance dans notre décision de faire confiance/suivre à un système intelligent ๏ Nous avons des moyens d’améliorer cette confiance :  > Augmenter la quantité d’informations disponible pour prendre la décision de faire confiance > Prendre en compte les feedbacks utilisateurs et leur différence avec la réalité > Garder en tête la transitivité sociale comme initiateur de trustworthiness ๏ Tout en n’oubliant pas que > La manipulation n’est jamais très loin quand on aborde les questions de confiance > Il y a un compromis performance/confiance indépassable dans tous les problèmes Take-away