6. Mon chat
LLM
mange dort joue … vole explose
Mon chat dort
LLM
dans sur toute … vite loin
Mon chat dort dans
LLM
le la mon … dans sur
7. Pourquoi un tel succès ?
1.Entrainement sur une très
grande quantité de texte
2.Possibilité de massivement
paralléliser les traitements
3.Prise en compte d’un grand
contexte pour prédire le mot
suivant
4.Mécanisme d’attention
18. prompt completion
- Qu'est-ce que la praline lyonnaise? - La praline lyonnaise se réfère
généralement à une spécialité
culinaire de la région de Lyon, en
France, appelée "praline rose".
LLM
20. prompt completion
- Qu'est-ce que la praline lyonnaise?
- La praline lyonnaise se réfère
généralement à une spécialité
culinaire de la région de Lyon, en
France, appelée "praline rose".
- Est-ce que c'est bon pour la santé?
- Les pralines lyonnaises, en
tant que confiserie, sont
généralement riches en sucre
et en calories. De manière
générale, une consommation
excessive de sucre peut
contribuer à des problèmes de
santé.
LLM
21. prompt completion
- Qu'est-ce que la praline lyonnaise?
- La praline lyonnaise se réfère
généralement à une spécialité
culinaire de la région de Lyon, en
France, appelée "praline rose".
- Est-ce que c'est bon pour la santé?
- Les pralines lyonnaises, en
tant que confiserie, sont
généralement riches en sucre
et en calories. De manière
générale, une consommation
excessive de sucre peut
contribuer à des problèmes de
santé.
contexte
LLM
23. Worldline is a great company to work for.
World line is a great company to work for .
1000 tokens = ~750 mots
Coût avec GPT 3.5 (0,0010 $ / 1K tokens) = 0,000010 $
24. - Qu'est-ce que la praline lyonnaise?
- La praline lyonnaise se réfère
généralement à une spécialité
culinaire de la région de Lyon, en
France, appelée "praline rose".
- Est-ce que c'est bon pour la santé?
Fournisseur Modèle Taille max de contexte (en
tokens)
OpenAI gpt-3.5-turbo 4k
OpenAI gpt-3.5-turbo-1106 16k
OpenAI gpt-4 8k
OpenAI gpt-4-32k 32k
Anthropic Claude 2,1 200k
Google Gemini 32k
Meta Llama 2 4k
Mistral AI Mistral 8k
contexte
25. LangChain
“LangChain is a framework for developing applications powered by language models. We believe that the most
powerful and differentiated applications will not only call out to a language model via an API, but will also:
• Be data-aware: connect a language model to other sources of data
• Be agentic: allow a language model to interact with its environment
The LangChain framework is designed with the above principles in mind.”
• MIT License
• Démarré le 23 octobre 2022
36. Prompt engineering
Réponds aux questions de
l’utilisateur sur Lyon.
Tu es un assistant de tourisme
pour Lyon. Refuse poliment de
répondre aux questions qui ne
concerne pas Lyon.
Fait référence aux spécialités
culinaires de Lyon le plus
possible.
Ta réponse ne doit pas dépasser
3 phrases.
37. Prompt engineering
Extrait 3 mot clefs de cette phrase. Donne le résultat selon le
format JSON suivant : { “keywords” : [ …, …, …]}.
Phrase:
38. Use case :
ChatBot pour répondre en s’appuyant sur
documentation privée
2
39. Prompt engineering
Réponds aux questions de l’utilisateur sur Lyon, en
utilisant les informations suivantes:
Lyon est […]
42. RAG:
technique qui complète la génération de texte avec des
informations provenant de sources de données extérieure
43. Retrieval Augmented Generation (RAG)
Compute
embeddings
What is a PSPID password?
A PSPID password is a
password used to access
the Merchant Portal,
which is a platform
provided by Worldline for
merchants to manage their
payment transactions.
Retrieve relevant
extracts
Generate answer
with LLM
Embedded
documents
Input query
Output answer
ChatGPT
Information Retrieval
44. Use case :
Remplacer formulaire avec champs multiple
par champ unique en langage naturel
3
45. Formatage de langage naturel à un JSON structuré
Example de OpenAI / Canva
« red gradient profile photo,
instagram post »
{
title: « Bold and
Vibrant »
style: « Red gradient,
modern »,
hero_image: « close up
profile photo »
}
48. Le flux d’optimisation
Prompt Engineering
Optimiser
ce que le
modèle sait
Fine-Tuning
Optimiser le comportement du modèle
Retrieval Augmented
Generation
49. Fine-Tuning:
Poursuivre le processus d’entrainement
sur un jeu de données spécifique à un domaine plus petit
pour optimiser un modèle pour une tâche spécifique
53. Le flux d’optimisation
Prompt Engineering
Optimiser
ce que le
modèle sait
Fine-Tuning
Optimiser le comportement du modèle
Retrieval Augmented
Generation
54. Le flux d’optimisation
Prompt Engineering
Optimiser
ce que le
modèle sait
Fine-Tuning
Optimiser le comportement du modèle
Combinaison de tout ça
Retrieval Augmented
Generation
Source: A Survey of Techniques for Maximizing LLM Performance (youtube.com) by OpenAI
55. prompt engineering
✓ Dois-je améliorer ce que le modèle sait ou comment il
agit ?
✓ Est-ce que ce que mon modèle a besoin de savoir
change avec le temps ?
✓ Mon modèle sera-t-il appelé de temps en temps ou très
souvent ?
✓ De combien de données spécifiques à un domaine
dispose-t-on ? De quelle qualité ?
✓ Suis-je dans l’un de ces cas :
- Je veux me concentrer sur les connaissances
spécifiques que le modèle possède déjà
- Je souhaite modifier le format des réponses du modèle
- Mes instructions sont très complexes
58. Outils de prompt management
Mesures
1
issue n°
blog.worldline.tech/2024/01/12/metric-driven-rag-development.html
59. Comment prouver que ma solution
fonctionne à 100 %
…alors qu’elle comprend une composante non
déterministe ?
2
issue n°
60. ajouter de tests
ajouter des méthodes de
validation
ajouter des boucles de
contrôle
La preuve que « ça devrait
marcher »
(la plupart du temps)
https://github.com/ShreyaR/guardrails
61. Boucles de contrôle
Assistant Verifier
You are an assistant, your task is… You are an inspector, your task is…
“Chain of verification”
SequentialChain
python.langchain.com/docs/modules/chains/foundational/sequential_chains
2
issue n°
62. gérez les erreurs
ajouter un « retry »
ajouter une alternative
Mais si ce n’est pas le
cas, prévoir une
solution de repli
microsoft.com/en-us/research/project/guidelines-for-human-ai-interaction/
2
issue n°
71. Principe du « mot suivant probable »
( + garde-fou )
72.
73. Le flux d’optimisation
Prompt Engineering
Optimiser
ce que le
modèle sait
Fine-Tuning
Optimiser le comportement du modèle
Combinaison de tout ça
Retrieval Augmented
Generation
Source: A Survey of Techniques for Maximizing LLM Performance (youtube.com) by OpenAI
74. Facile de faire de POCs
Très difficile d’avoir quelque chose au niveau
« production »
Extrêmement puissant et permet plein de possibilités
pour révolutionner vos applications!
75. Les LLMs c’est comme les pralines:
C’est génial, mais à consommer avec modération
77. Don’t be a stranger!
Follow & get in touch
blog.worldline.tech
@WorldlineTech
Follow our tech team:
linkedin.com/in/mblete
Follow Marie-Alice:
@mariealice_b
mariealiceblete.com
appswithgpt.com
Follow Guillaume:
linkedin.com/in/gcoter
github.com/gcoter
78. LYON DATA SCIENCE
recrute !
Se retrouver entre
passionnés de la
Data Science
Envie de se mettre
constamment à
jour
techniquement
Promouvoir la Data
Science dans
notre région
79.
80. transformers
intelligence artificielle
machine learning
deep learning
N’importe quelle technique qui
permet à un ordinateur d’imiter
un comportement humain
Apprentissage sans
programmation explicite
Capacité d’extraction de
motifs à partir de données,
grâce aux réseaux de
neurones
Les LLMs se basent là-
dessus
81. 1. Reception du prompt
2. Découpage en tokens
3. Traitement des tokens
4. Prediction du token suivant avec probabilités
5. Sélection du mot suivant
Le temps est agréable aujourd'hui, donc j'ai décidé
Le/ temps/ est/ agr/é/able/ aujourd/’hui/,/ donc/
j/’ai/ décidé/
d’ : 0,6
de : 0,4
d’
