Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

2. There is a better way 2 OCTO Part of Accenture © 2020 - All rights reserved 2 There is a better way Ce dont on va parler (ou pas) Confiance équité représentativité transparence Avec une approche basée sur des enseignements scientifiques, pour des take-away activables

3. There is a better way 3 OCTO Part of Accenture © 2020 - All rights reserved Notre point de vue : celui d’un utilisateur Un utilisateur est la personne qui a la responsabilité d’utiliser, ou non, un système intelligent

5. There is a better way 5 OCTO Part of Accenture © 2020 - All rights reserved Une première notion : la decision confidence … option 1 …option 2 Quantité d’information accumulée pour… Biais : ”J’ai dès l’origine une tendance à suivre l’option 1” Information reçue me permettant de choisir l’option 2 Information reçue me permettant de choisir l’option 1 /! Décision prise /!

6. There is a better way 6 OCTO Part of Accenture © 2020 - All rights reserved Traduction appliquée à l’IA … suivre le système d’IA … ne pas le suivre Quantité d’information accumulée pour… Biais : ”J’ai dès l’origine une tendance à suivre l’algorithme” Information reçue me permettant de choisir l’option “suivre mon instinct” Information reçue me permettant de choisir l’option “suivre le système d’IA” /! Décision prise /!

7. There is a better way 7 OCTO Part of Accenture © 2020 - All rights reserved Une décision finale qui est un assemblage Système d’IA Contexte #1 Entrée du système d’IA L’utilisateur reçoit une partie des informations du contexte du système Sortie du système : - Recommandations du système - Informations connexes (ex: facteurs explicatifs) Contexte #2 Information accessible à l’utilisateur Décision finale de l’utilisateur L’utilisateur a accès à son propre contexte qui n’est pas forcément utilisé par le système

8. 8 There is a better way OCTO Part of Accenture © 2020 - All rights reserved Confiance dans un système intelligent Notion absolue, sans forcément de base rationnelle, peut être assimilée à un pari You have confidence in your coworkers for handling a case, but you trust your significant other (well, I hope so) Confiance dans notre décision de suivre leur recommandation Contextuelle, principalement basée sur des éléments rationels ou passés 󰏅 : Trust 󰏅 : Confidence

9. There is a better way 9 OCTO Part of Accenture © 2020 - All rights reserved Objectif nº1 pour créer de la confiance dans la décision de faire confiance au système : augmenter la quantité d’information disponible lors de ce choix ๏ Donner une probabilité de prédiction plutôt qu’une décision binaire ๏ Donner accès à des paramètres explicatifs > Model-wise : features importance > Decision-wise : shap values, local sensibility analysis, tree interpretor ๏ Donner une vue partielle du fonctionnement du système > Choix des métriques, features, données ๏ Ajouter un clustering à côté de la prédiction > Présenter des cas passés “similaires”, déjà connus de l’utilisateur Augmenter le niveau d’information

13. There is a better way 13 OCTO Part of Accenture © 2020 - All rights reserved Un empilement de décisions Je suis d’accord avec la recommandation du système d’IA? Oui Non Je choisis de faire confiance à mon instinct et au système Est-ce que j’ai confiance dans la décision de faire confiance au système d’IA ? Oui Non J’ai confiance dans ma décision de faire confiance au système d’IA et je le choisis Je n’ai pas confiance dans la décision de faire confiance au système d’IA et je choisis de suivre mon instinct Je reçois une recommandation du système d’IA et des informations connexes

14. There is a better way 14 OCTO Part of Accenture © 2020 - All rights reserved On questionne la confiance en cas de désaccord Je suis d’accord avec la recommandation du système d’IA? Oui Non Je choisis de faire confiance à mon instinct et au système Est-ce que j’ai confiance dans la décision de faire confiance au système d’IA ? Oui Non J’ai confiance dans ma décision de faire confiance au système d’IA et je le choisis Je n’ai pas confiance dans la décision de faire confiance au système d’IA et je choisis de suivre mon instinct Je reçois une recommandation du système d’IA et des informations connexes

15. There is a better way 15 OCTO Part of Accenture © 2020 - All rights reserved A case: quality assessment in industry Ground truth L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif Ceci est notre ground truth, telle que définie par un panel d’experts Évaluation de l’utilisateur

16. There is a better way 16 OCTO Part of Accenture © 2020 - All rights reserved First approach: seeking performance Ground truth Évaluation de l’utilisateur On crée un système qui essaye de coller à la ground truth Désaccord avec l’utilisateur 3 fois Ceci est notre ground truth, telle que définie par un panel d’experts L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif System 1 - Bonne performance : 9/10 - Mais faible confiance : 7/10 On réplique la ground truth

17. There is a better way 17 OCTO Part of Accenture © 2020 - All rights reserved Deuxième approche : chercher la confiance Ground truth Ceci est notre ground truth, telle que définie par un panel d’experts On crée un système qui colle aux évaluations de l’utilisateur Réplication de ce que pense l’utilisateur Mais on comment trois fautes System 2 L’utilisateur a une performance de 8/10 : spontanément il commet un faux positif et un faux négatif System 2 - Performance faible : 7/10 - Mais forte confiance : 9/10 Évaluation de l’utilisateur

18. There is a better way 18 OCTO Part of Accenture © 2020 - All rights reserved Il faut choisir entre performance et confiance Ground truth System 1 System 2 System 1 - Bonne performance : 9/10 - Mais faible confiance : 7/10 System 2 - Performance faible : 7/10 - Mais forte confiance : 9/10 Évaluation de l’utilisateur

19. There is a better way 19 OCTO Part of Accenture © 2020 - All rights reserved Il y a un compromis fondamental entre performance et confiance - Survient quand le système commence à battre les humains - Lié au fait qu’on examine la confiance plus souvent lorsqu’on est en désaccord C’est le même phénomène que les bulles Facebook En tant que data scientists, nous devons être vigilants à : - Ne pas survaloriser les annotations utilisateurs - Nous aiderait à obtenir leur confiance… - … mais s’apparente à de la manipulation - Ne pas croire qu’augmenter la performance augmente mécaniquement la confiance - C’est même parfois l’inverse ! Le compromis performance/confiance

21. There is a better way 21 OCTO Part of Accenture © 2020 - All rights reserved Notion complexe, reflète un biais a priori en faveur ou défaveur d’un agent Une seconde notion : la trustworthiness … faire confiance au système d’IA … ne pas faire confiance au système d’IA Quantité d’information accumulée pour… Biais positif : j’ai un a priori qui déclenche une décision de faire confiance Décision de faire confiance Biais négatif : j’ai un a priori qui déclenche une décision de ne pas faire confiance Décision de ne pas faire confiance

22. There is a better way 22 OCTO Part of Accenture © 2020 - All rights reserved La trustworthiness est avant tout une notion émotionnelle… … pas rationnelle ! Autrement dit : vous créerez de la confiance en travaillant sur les ressentis des utilisateurs, pas en leur promettant du ROI Une notion irrationnelle et sociale

23. There is a better way 23 OCTO Part of Accenture © 2020 - All rights reserved Augmenter la trustworthiness : la transitivité sociale Système d’IA Pas de lien social préalable Pré-conception aléatoire Basée sur un ressenti individuel générique “j’ai peur de l’IA/c’est l’avenir” + / = / - + / = / - Système d’IA Avec lien social + + + Je suis celle qui a construit votre système d’IA Merci pour vos retours continus, ils nous ont beaucoup aidé. Est-ce que ça vous aide au quotidien ? + + +

24. There is a better way 24 OCTO Part of Accenture © 2020 - All rights reserved ๏ La question de la confiance peut se modéliser, et devient celle de la confiance dans notre décision de faire confiance/suivre à un système intelligent ๏ Nous avons des moyens d’améliorer cette confiance : > Augmenter la quantité d’informations disponible pour prendre la décision de faire confiance > Prendre en compte les feedbacks utilisateurs et leur différence avec la réalité > Garder en tête la transitivité sociale comme initiateur de trustworthiness ๏ Tout en n’oubliant pas que > La manipulation n’est jamais très loin quand on aborde les questions de confiance > Il y a un compromis performance/confiance indépassable dans tous les problèmes Take-away

Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

Vous êtes en train de lire un aperçu.

Consultez-les par la suite

Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents

Plus De Contenu Connexe

Diaporamas pour vous (20)

Similaire à Le Comptoir OCTO x La Duck Conf - La confiance dans les systèmes intelligents (20)

Plus par OCTO Technology (20)

Plus récents (20)