Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

1
There
is
a
better
way
OCTO Part of Accenture © 2020 - All rights reserved
La confiance dans les
systèmes intelligents
OCTO

There
is
a
better
way
2
2
There
is
a
better
way
Ce dont on va parler (ou pas)
Confiance équité représentativité transparence
Avec une approche basée sur des enseignements scientifiques, pour des take-away activables

There
is
a
better
way
3
Notre point de vue : celui d’un utilisateur
Un utilisateur est la personne qui a la responsabilité d’utiliser, ou non, un système
intelligent

4
There
is
a
better
way
1. Une histoire de
confiance dans nos
décisions

There
is
a
better
way
5
Une première notion : la decision confidence
… option 1
…option 2
Quantité d’information
accumulée pour…
Biais : ”J’ai dès l’origine
une tendance à suivre
l’option 1” Information reçue me
permettant de choisir
l’option 2
Information reçue me
l’option 1
/! Décision prise /!

There
is
a
better
way
6
Traduction appliquée à l’IA
… suivre le
système d’IA
… ne pas le
suivre
accumulée pour…
Biais : ”J’ai dès l’origine
une tendance à suivre
l’algorithme” Information reçue me
l’option “suivre mon instinct”
Information reçue me
l’option “suivre le système
d’IA”
/! Décision prise /!

There
is
a
better
way
7
Une décision finale qui est un assemblage
Système d’IA
Contexte #1
Entrée du
système d’IA
L’utilisateur reçoit une partie
des informations du contexte
du système
Sortie du système :
- Recommandations du
système
- Informations connexes
(ex: facteurs explicatifs)
Contexte #2
Information
accessible à
l’utilisateur
Décision finale de l’utilisateur
L’utilisateur a accès à son
propre contexte qui n’est pas
forcément utilisé par le système

8
There
is
a
better
way
Confiance dans un système intelligent
Notion absolue, sans forcément de base rationnelle, peut être assimilée à un pari
You have confidence in your coworkers for handling a case, but you trust your significant other (well, I hope so)
Confiance dans notre décision de suivre leur recommandation
Contextuelle, principalement basée sur des éléments rationels ou passés
󰏅 : Trust
󰏅 :
Confidence

There
is
a
better
way
9
Objectif nº1 pour créer de la confiance dans la décision de faire confiance au système :
augmenter la quantité d’information disponible lors de ce choix
๏ Donner une probabilité de prédiction plutôt qu’une décision binaire
๏ Donner accès à des paramètres explicatifs
> Model-wise : features importance
> Decision-wise : shap values, local sensibility analysis, tree interpretor
๏ Donner une vue partielle du fonctionnement du système
> Choix des métriques, features, données
๏ Ajouter un clustering à côté de la prédiction
> Présenter des cas passés “similaires”, déjà connus de l’utilisateur
Augmenter le niveau d’information

There
is
a
better
way
10
Exemple: Google Maps
Je pense qu’il vaut
mieux passer par la
Normandie…

There
is
a
better
way
11
Exemple: Google Maps
OK, fais comme il dit
!

12
There
is
a
better
way
2. La confiance ne vaut
qu’en cas de désaccord

There
is
a
better
way
13
Un empilement de décisions
Je suis d’accord avec la
recommandation du
système d’IA?
Oui Non
Je choisis de faire
confiance à mon instinct et
au système
Est-ce que j’ai confiance
dans la décision de faire
confiance au système
d’IA ?
Oui Non
J’ai confiance dans ma
décision de faire confiance
au système d’IA et je le
choisis
Je n’ai pas confiance dans
la décision de faire
confiance au système d’IA
et je choisis de suivre mon
instinct
Je reçois une recommandation
du système d’IA et des
informations connexes

There
is
a
better
way
14
On questionne la confiance en cas de désaccord
Je suis d’accord avec la
recommandation du
système d’IA?
Oui Non
Je choisis de faire
confiance à mon instinct et
au système
Est-ce que j’ai confiance
dans la décision de faire
?
Oui Non
J’ai confiance dans ma
décision de faire confiance
au système d’IA et je le
choisis
Je n’ai pas confiance dans
la décision de faire
et je choisis de suivre mon
instinct
Je reçois une recommandation
du système d’IA et des
informations connexes

There
is
a
better
way
15
A case: quality assessment in industry
Ground truth
L’utilisateur a une performance de
8/10 : spontanément il commet un faux
positif et un faux négatif
Ceci est notre ground truth, telle que
définie par un panel d’experts
Évaluation de l’utilisateur

There
is
a
better
way
16
First approach: seeking performance
Ground truth
On crée un
système qui
essaye de
coller à la
ground truth
Désaccord avec
l’utilisateur 3 fois
System 1
- Bonne performance : 9/10
- Mais faible confiance : 7/10
On réplique la ground
truth

There
is
a
better
way
17
Deuxième approche : chercher la confiance
Ground truth
On crée un
système qui
colle aux
évaluations de
l’utilisateur
Réplication de ce
que pense
l’utilisateur
Mais on comment trois
fautes
System 2
System 2
- Performance faible : 7/10
- Mais forte confiance : 9/10

There
is
a
better
way
18
Il faut choisir entre performance et confiance
Ground truth
System 1
System 2
System 1
- Bonne performance : 9/10
- Mais faible confiance : 7/10
System 2
- Performance faible : 7/10
- Mais forte confiance : 9/10

There
is
a
better
way
19
Il y a un compromis fondamental entre performance et confiance
- Survient quand le système commence à battre les humains
- Lié au fait qu’on examine la confiance plus souvent lorsqu’on est en désaccord
C’est le même phénomène que les bulles Facebook
En tant que data scientists, nous devons être vigilants à :
- Ne pas survaloriser les annotations utilisateurs
- Nous aiderait à obtenir leur confiance…
- … mais s’apparente à de la manipulation
- Ne pas croire qu’augmenter la performance augmente mécaniquement la confiance
- C’est même parfois l’inverse !
Le compromis performance/confiance

20
There
is
a
better
way
3. La transitivité sociale

There
is
a
better
way
21
Notion complexe, reflète un biais a priori en faveur ou défaveur d’un agent
Une seconde notion : la trustworthiness
… faire confiance au
système d’IA
… ne pas faire confiance
au système d’IA
accumulée pour…
Biais positif : j’ai un a
priori qui déclenche
une décision de faire
confiance
Décision de faire
confiance
Biais négatif : j’ai un a
priori qui déclenche une
décision de ne pas faire
confiance
Décision de ne pas
faire confiance

There
is
a
better
way
22
La trustworthiness est avant tout une notion émotionnelle…
… pas rationnelle !
Autrement dit : vous créerez de la confiance en travaillant sur les ressentis des utilisateurs, pas en
leur promettant du ROI
Une notion irrationnelle et sociale

There
is
a
better
way
23
Augmenter la trustworthiness : la transitivité sociale
Système
d’IA
Pas de lien social préalable
Pré-conception aléatoire
Basée sur un ressenti
individuel générique “j’ai
peur de l’IA/c’est l’avenir”
+ / = / -
+ / = / -
Système
d’IA
Avec lien social
+ + +
Je suis celle qui a construit votre
système d’IA
Merci pour vos retours continus,
ils nous ont beaucoup aidé.
Est-ce que ça vous aide au
quotidien ?
+ + +

There
is
a
better
way
24
๏ La question de la confiance peut se modéliser, et devient celle de la confiance dans notre
décision de faire confiance/suivre à un système intelligent
๏ Nous avons des moyens d’améliorer cette confiance :
> Augmenter la quantité d’informations disponible pour prendre la décision de faire confiance
> Prendre en compte les feedbacks utilisateurs et leur différence avec la réalité
> Garder en tête la transitivité sociale comme initiateur de trustworthiness
๏ Tout en n’oubliant pas que
> La manipulation n’est jamais très loin quand on aborde les questions de confiance
> Il y a un compromis performance/confiance indépassable dans tous les problèmes
Take-away

Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

Similaire à Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents (20)

Plus de OCTO Technology

Plus de OCTO Technology (20)

Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents