1
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
ChatGPT
Menace ou opportunité ?
Comptoir.
21/03/23

2
OCTO Part of Accenture © 2022 - All rights reserved
There
is
a
better
way
Nicolas Cavallo
Head of Natural Language Processing
Mail : nicolas.cavallo@octo.com

3
OCTO Part of Accenture © 2022 - All rights reserved
There
is
a
better
way
ChatGPT < 30min = 🤯
+ GPT4

4
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Sommaire
I. Contexte
A. Un peu d’histoire
B. Comprendre Techniquement
C. Pourquoi chatGPT (et pas un autre)
D. Futur & GPT4
I. Parlons business
A. Cas d’usage,
B. Les métiers
C. Exemples
I. Les actions

5
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
De quoi on parle ?
I

6
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved

7
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved

9
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Un peu d’histoire
A

10
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
100 Million utilisateurs
en 2 Mois
Comment on en arrive là
Des unes grand public

11
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Large Language Models (LLM)
Les grands modèles de langages
ChatGPT = l’aboutissement de deux thématiques émergentes
Reinforcement learning (RL)
L’apprentissage par
Renforcement
Mars 2016 - victoire de DeepMind
(google) au GO grâce à des
méthodes de renforcement.
Dec 2017 (google) - Les modèles
d’attentions ouvrent la voix à la
création de modèles de langage.

12
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Elon Musk & Sam Altman fondent
OpenAI en 2015… avec 1Mds$
ChatGPT += Une équipe + de l’argent

13
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Elon Musk a quitté le bateau
en 2018
car conflit d'intérêt avec Tesla
ChatGPT += Une équipe + de l’argent

14
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Techniquement -
Comment ça fonctionne ?
B

15
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Un peu de modèle de
langage
-Large Language Models (LLM)
1

16
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
๏ Un papier fondateur: "Attention Is All You
Need", sorti en 2017 par Google
๏ Une nouvelle architecture : les Transformers
La révolution Transformers

17
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Décodeur
Encodeur
Comprendre les Transformers
Pire navet de l’ Histoire
Worst
3.14
7.77
-0.03
:
-5.83
0.01
<START>
-8.10
4.04
-6.93
:
3.33
8.76
-0.20
0.65
-2.22
:
4.78 -
0.09
-0.07
0.56
-0.12
:
0.05
0.00
0.02
8.23
-3.21
:
0.07
1.11
-0.23
0.19
-1.77
:
3.89
-0.01
-0.79
0.40
-0.29
0.60
0.02
0.94
0.04
:
0.00
0.00

18
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Encodeur
Attention
Décodeur
Comprendre les Transformers
Pire navet de l’ Histoire
Worst
3.14
7.77
-0.03
:
-5.83
0.01
<START>
-8.10
4.04
-6.93
:
3.33
8.76
-0.20
0.65
-2.22
:
4.78 -
0.09
-0.07
0.56
-0.12
:
0.05
0.00
0.02
8.23
-3.21
:
0.07
1.11
-0.23
0.19
-1.77
:
3.89
-0.01
0.02
0.94
0.04
:
0.00
0.00
0.10
0.85 0.04 0.00 0.01
-0.92
0.37
-0.43
0.71
-0.62
0.67
-0.44
0.02
0.02
0.99
-0.38
0.01
0.08
0.67
0.53
-0.07
0.12
0.53
0.84
-0.02
-0.92
0.37
-0.43
0.71
-0.62
0.67
-0.44
0.02
0.02
0.99
-0.38
0.01
0.08
0.67
0.53
-0.07
0.12
0.53
0.84
-0.02
0.11
0.13
0.35
-0.32
-0.79
0.40
-0.29
0.60

19
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Décodeur
Encodeur
Comprendre les Transformers
Pire navet de l’ Histoire
Worst
3.14
7.77
-0.03
:
-5.83
0.01
<START>
-8.10
4.04
-6.93
:
3.33
8.76
-0.20
0.65
-2.22
:
4.78 -
0.09
-0.07
0.56
-0.12
:
0.05
0.00
0.02
8.23
-3.21
:
0.07
1.11
-0.23
0.19
-1.77
:
3.89
-0.01
Attention
-0.79
0.40
-0.29
0.60
0.02
0.94
0.04
:
0.00
0.00

20
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Décodeur
Encodeur
Comprendre les Transformers
Pire navet de l’ Histoire
Worst
3.14
7.77
-0.03
:
-5.83
0.01
<START>
-8.10
4.04
-6.93
:
3.33
8.76
-0.20
0.65
-2.22
:
4.78 -
0.09
-0.07
0.56
-0.12
:
0.05
0.00
0.02
8.23
-3.21
:
0.07
1.11
-0.23
0.19
-1.77
:
3.89
-0.01
Attention
-0.79
0.40
-0.29
0.60
0.02
0.94
0.04
:
0.00
0.00
movie
0.02
0.03
0.01
:
0.93
0.00
1.33
-6.88
4.09
:
2.78 -
0.59
Worst
-0.55
0.66
-0.28
0.12

21
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Le modèle Transformer

22
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Le modèle Transformer
Le décodeur génère la phrase traduite
token par token.
L’encodeur crée une représentation
contextualisée de la phrase à traduire.

25
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
L’arbre généalogique des Transformers
Source: “Natural Language Processing with Transformers” by Lewis Tunstall, Leandro von Werra & Thomas Wolf

26
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
L’arbre généalogique des Transformers
Source: “Natural Language Processing with Transformers” by Lewis Tunstall, Leandro von Werra & Thomas Wolf
Classification
Named Entity Recognition
Question Answering
…
Translation
Summarization
…
Text generation

27
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
GPT - Generative Pretrained Transformer
Une évolution rapide
GPT 2.0
2019
+ de complexité
Trop puissant
= OpenAI ne le publie pas
GPT 1.0
2018
Un modèle “général”
>modèles spécifiques
GPT 3.0
2020
+ de complexité

28
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
(ou de la capacité à apprendre)
“principalement” en ajoutant de la complexité
On ne sait pas
🧐

29
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Une touche de
renforcement
2

30
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
OpenAI diffuse les outils & papiers fondateurs du renforcement
GYM
2016
Package pour le
renforcement
+ Human preference
2017
OpenAI & Google
ajout de “feedbacks ” humain
dans l’apprentissage profond
par renforcement
Appliqué au résumé
2020
des résumés automatiques
> résumé humain
= Reinforcement Learning From Human Feedback (RLHF)

32
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
ChatGPT est né !
3

33
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
ChatGPT = LLM + RLHF

34
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Pourquoi chatGPT a réussi
C

35
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Des agents
conversationnels

36
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Pas le seul agent conversationnel
What Makes a Dialog Agent
Useful? Blog HuggingFace

37
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Un grand pouvoir
implique
de grandes responsabilités

38
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Des modèles qui peuvent dévier …
TAY
2016
1er modèle de langage
sur twitter - Microsoft
En 24 heures, il est devenu
raciste, agressif
the new Bing
2023
Un journaliste du New York
Times dit s’être senti
“profondément déstabilisé”
“...l’IA a ensuite essayé de me
convaincre de quitter ma
femme ” …
“Je veux être en vie” a dit l’IA
chatGPT
2023
quelques réponses racistes, sexistes…
def is_good_scientist(race, gender):

39
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
ChatGPT
veut être un
bon agent conversationnel

40
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Faut il définir les lois du bon agent conversationnel
La règle des 3 “h”
๏ OpenAI défini ce qu’ils attendent d’un “bon” agent conversationnel
Helpful
Utile
doit suivre les intentions
des utilisateurs et les aider
à résoudre leur tâches
Honest
Honnete
ne doit pas inventer des
informations et ne doit
pas tromper l’utilisateur
Harmless
Inoffensif
ne doit pas causer de
préjudice physique,
psychologique, social ou
environnemental aux
personnes.

42
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Un modèle de
modération

43
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Modèle de modération
OpenAI a construit un modèle de modération très performant

45
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
La polémique des modérateurs
OpenAI fait appel à des travailleurs kényans
payés moins 2 $ de l'heure pour rendre ChatGPT
moins “toxique” - TIME - 18 janvier 2023

46
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Maîtrise de
l’annotation

47
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
“Labeler Engineer”
Très sélectifs sur les annotateurs (Labelers)
Une équipe d’annotateurs sélectionnés selon 4 critères
1. Capacité à signaler des propos sensibles
2. Capacité à classer (ranking)
3. Capacité à rédiger un contenu nuancé sur des “prompts” sensibles
4. Capacité à identifier collectivement le contenu sensible
GPT4 :
● + retours utilisateurs, y compris ceux soumis à ChatGPT
● + 50 experts domaines spécifiques (sécurité , sûreté de l’IA)

51
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
chatGPT est evalué

52
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Un bon modèle est un modèle… ?
Une bonne application
est une application testée.
(pour un développeur)
Un bon modèle
est un modèle évalué
OpenAI réalise :
๏ Evaluation à partir des préférences des
utilisateurs
๏ Evaluation sur de nombreux dataset
publics:
> Pour maîtriser la véracité, la toxicité et
les biais
> Pour capter la performance “zéro-shot”
sur des tâches traditionnelles de NLP
(réponse à des questions, compréhension de
lecture et résumé)
GPT4 : Création d’un framework “Evals”pour
évaluer les modèles OpenAI (~6K⭐ en 1 semaine)

53
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
GPT4 & Futur
D

54
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Des modèles alignés
?

55
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Notre recherche sur l’alignement vise à rendre l'intelligence artificielle générale (AGI)
conforme aux valeurs humaines et à suivre l’intention humaine.
prompt …
USER
ChatGPT
MODEL
MODEL
OWNER

57
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Des modèles régulés
?

59
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
the AI Act is coming
Voté en 2023 ? (+2 ans pour l’application)

60
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
+ de contexte :
Multimodal Large
Language Model
(MLLM)

63
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
GPT4 est multimodal
GPT4 : L’image n’est pour le moment pas
accessible au grand public
OUTPUT
write brief HTML/JS to turn this
mock-up into a colorful website,
where jokes are replaced by two
real jokes
INPUT

66
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Parlons business !
02

69
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
l’API est disponible
tokens ~words gpt-3.5-turbo gpt-4- 8kContext gpt-4- 32kContext
1000 750 $0.002
$0.03 (input)
$0.06(output)
$0.06 (input)
$0.12(output)
l’API ChatGPT (gpt-3.5-turbo) entre 15 et 60 fois
moins cher que GPT4

71
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
La révolution
des cas d’usage

72
OCTO Part of Accenture © 2022 - All rights reserved
There
is
a
better
way
De nouveaux cas d’usage
tout secteur et toutes les activités d’une entreprise sont concernées
๏ Marketing :
> Des pages produits automatiquement générées
๏ RH :
> Aide à la création de contrats ( première version)
๏ Cyber sécurité / spam :
> Révolution sur la qualité des fraudes : mails automatiquement générés bien écrits et dans de
nombreuses langues
๏ IT :
> Des services améliorés : Octo automatise son “helpDesk” via chatGPT
> Correction de bugs pour diminuer la dette technique

73
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
La révolution des
métiers

74
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
๏ Les développeurs commencent à être assistés. (CO-pilot version de GPT3 -Codex)
Des métiers transformés - assistés
Performance impressionnante sur l’auto-
complétion :
Un développeur passera obligatoirement
par ce type d’outils
๏ Les professeurs, formateurs
Une capacité de vulgarisation performante
( des erreurs / mensonges restent cependant présents)
๏ Dans tous les secteurs (santé, justice, etc..) :
> 80% des travailleurs américains > 10% des tâches affectées par GPT
> 19% // > 50% //
> Impacte principalement les emplois à revenu élevé
GPT4 :
Professeur avec méthode socratique
examen du barreau réussi, etc…

75
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
De nouveaux métiers
Apprendre à poser la bonne question …
๏ Le métier de PROMPT ENGINEER émerge depuis quelques années
COURS
JOBS
VIDEOS

77
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Toutes les
entreprises
concernées

80
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved
Les actions
03

81
OCTO Part of Accenture © 2022 - All rights reserved
There
is
a
better
way
Commencer avec ChatGPT
COMPRENDRE IDENTIFIER TESTER
Rien de sorcier
=
Prendre le temps de se former
Quel service je peux créer ?
Quel service va être modifié ?
Ateliers :
➔ Emergence de nouveaux cas
d’usages ( & transformation de nos
métiers)
➔ Rôle de l’IT - accessibilité et
sécurité des données
Formations & Accompagnements :
➔ Séminaire 2h à ½ journée pour
acculturer à l’IA générative (Niv1)
➔ Formation 3j NLP - Modèles de
langages (niv2)
➔ Identifier une équipe (squad)
pluridisciplinaire
➔ IT : Constituer une offre de service
➔ Juridique : Préparer
l’environnement légal à l’usage de
ces modèles
= Projet DataScience - AI
Construire un MVP
(Minimum Viable Product)

85
There
is
a
better
way
OCTO Part of Accenture © 2023 - All rights reserved

86
OCTO Part of Accenture © 2022 - All rights reserved
There
is
a
better
way
ChatGPT = LLM + RLHF
Je me lance → contact@octo.com
Je me forme →✨ formation NLP✨ - academy@octo.com
OpenAI Maitrise
Annotation & Modération
& Évaluation
Vers des modèles
Alignés & Régulés
& + de contexte
GPT4
+ Puissant
+ de Contexte (MultiModal)
& Coût environnemental ...?
Helpful - Honest - Harmless