3. Algorithmes Machine Learning
Algorithmes Deep Learning
Algorithmes Transformers
❌ ChatGPT
ChatGPT est basé sur
un algorithme Transformers
Transformers = un type par0culier
d’algorithme Deep Learning.
Deep learning = un type par0culier
d’algorithme de Machine Learning.
4. Algorithmes
Machine Learning
Algorithmes Deep
Learning
Algorithmes
Transformers
Prédire le futur à par>r de ce qu’il s’est passé dans le passé
Efficace avec peu de
paramètres en entrée
Exemple : nb de ventes d’un
produit en fonc>on du prix
Inefficace avec beaucoup de
paramètres en entrée
Exemple : reconnaître
quelqu’un sur une photo
Efficace avec beaucoup de
paramètres en entrée
Exemple : reconnaître
quelqu’un sur une photo
Inefficace pour des textes
longs et complexes
Exemple : écrire un ar>cle
sur « le shampooing »
Efficace pour des textes
longs et complexes
Exemple : écrire un ar>cle
sur « le shampooing »
ChatGPT
6. MACHINE LEARNING = UTILISER UN MODÈLE POUR PRÉDIRE
LE FUTUR À PARTIR DU PASSÉ
Prépara&on du modèle
nb de shampooings vendus
prix du shampooing
Modèle entraîné
Modèle testé✅
Le modèle dans la vraie vie
1⃣ pour ce prix
2⃣ mon modèle prédit que je vais
vendre :
3⃣ ce nb de shampooing
9. PROBLÈME : LES MODÈLES SIMPLES DE MACHINE LEARNING
MODELS N’ONT PAS ASSEZ DE PARAMÈTRES !
… pas avec beaucoup + de
paramètres
Comme les photos !
Ça marche avec peu de
paramètres (1,2,10,20…)
prix d’un nb de
modèle
1 paramètre
modèle
beaucoup de paramètres
📱Unlocked
10. LE DEEP LEARNING GÉRE PLUS DE PARAMÈTRES MAIS LA
LOGIQUE D’OPTIMISATION EST LA MÊME
Modèle entraîné
Modèle testé
Pour valider le modèle, la
distance ici doit être minimale
Modèle avec bcp de paramètres entraîné
Modèle avec bcp de paramètres testé
Ce que je dois prédire
Ce que j’ai prédit Distance
✅ or ❌ ?
11. TIENS TIENS, LA REPRÉSENTATION DE CE MODÈLE DE DEEP
LEARNING, ÇA NE VOUS RAPPELLERAIT PAS QQCH ?
Deep learning simple
Deep learning complexe
🤔 Cerveau humain 🧠🤯
14. LES TRANSFORMERS COMPRENNENT MIEUX LE CONTEXTE
QUE LES MODÈLES CLASSIQUES DE DEEP LEARNING
Modèles classiques
de deep learning
Modèles de deep
learning transformers
🤖
🧠
même priorité
C’est un très beau chat
Pas efficace sur les phrases
longues👎
Efficace sur les phrases
longues👍
différentes priorités
🔎
🔍
C’est un très beau chat
15. LES TRANSFORMERS SONT BIEN PLUS RAPIDES ET PRÉCIS
QUE LES MODÈLES CLASSIQUES DE DEEP LEARNING
Grâce à ce mécanisme de focus – « l’aBen&on »
Les transformers sont plus efficaces
Que les autres modèles
17. CHATGPT = UN PRODUIT BASÉ SUR LE MODÈLE
TRANSFORMERS GPT3.5 (PLUS POUR LONGTEMPS…)
Créé par OpenAI…
…mais pas Open Source
Il y a eu d’autres versions avant…
…toutes basées sur des transformers
🤖
ChatGPT fait une prédicQon
du « prochain mot »
« Écris un ar0cle sur
le shampoing »
« Le »
« Écris un ar+cle sur le
shampoing. » + « Le »
« Le Shampoing »
GPT3.5
« Écris un ar+cle sur le
shampoing. » + « Le
Shampoing »
« Le Shampoing a »
« Le Shampoing a été inventé en
1814. Puis il a été…»
GPT3.5
GPT3.5
…
GPT3.5
18. POURQUOI CHATGPT A EU AUTANT DE SUCCÈS ?
Une base de données de
texte énorme (+ il y a de data,
mieux c’est)
Une interface très simple
et épurée
Un modèle renforcé par
du travail manuel
