Première partie du colloque sur ChatGPT organisé par l'Espace Ethique Azuréen (Université Côte d'Azur, Faculté de Médecine)

1. GPT, PLUS QU’UN
PROGRAMME…
UN MODÈLE

2. CONTEXTE : BIG DATA
• Les 3 V du Big Data
• Infrastructures de stockage et de calculs

3. COMPOSANTS D’UN SYSTÈME IA :
L’ARCHITECTURE « CLASSIQUE »
• Un ou plusieurs algorithmes (ensemble de règles, procédures et
méthodes statistiques)
• Des données d’entraînement
• Un modèle

4. Algorithme(
s)
Données
d’entraîneme
nt
Modèle
Nouvell
es
donnée
s
Entrainés
sur
Forment un
Appliqué
sur
Prédictio
ns
Pour
produire
Régression,
classification,
clusterisation
Supervisé/non
supervisé
Probabiliste/géométr
ique
Détection des
patterns

5. Les deux branches de l’IA
•Machine learning
•Deep learning : algorithmes de type réseau neuronal
artificiel appliqués sur des données complexes et
non linéaires

6. Spécificités
•Algorithmes open source
•Usage réservé à des spécialistes (data scientist, data
engineer…)
•Vocation non-généraliste des modèles (élaborés
avec un objectif spécifique sur un jeu de données
bien défini)
•Réseaux de neurones appliqués aux textes (NLP) :
séquentiel, ordre des mots indifférencié, avec perte
de mémoire -> capte uniquement la syntaxe et la
sémantique de la fenêtre de contexte, non

7. L’enjeu de la fenêtre contextuelle
Si nous lisons un mot dans un livre en isolation à
travers un masque opaque (…) il est impossible de
déterminer sa signification (…) Si maintenant, nous
élargissons le masque opaque, de telle manière que
nous ne voyons pas seulement le mot, mais aussi un
nombre N de mots de chaque côté, si N est
suffisamment large, nous pouvons sans ambiguïté
trouver la signification du mot
WARREN WEAVER, “MÉMORANDUM“, P. 8

8. L’ARTICLE FONDATEUR DES LLMS
https://arxiv.org/abs/1706.03762

10. GPT : TOUT EST DIT DANS LE NOM…
Generative
Pre-trained
Transformers
• GPT fait partie d’une famille de nouveaux modèles appliqués au NLP :
les Larges Languages Models (LLMs)
• Les Transformers sont des réseaux de neurones récurrents
d’encodage/décodage positionnel de données textuelles basés sur le
mécanisme de l’attention
• La « compréhension » du langage naturel provient de la capacité des
modèles à rapprocher des termes similaires même quand ils ne sont
pas employés dans les mêmes séquences.

11. …SAUF LES EMBEDDINGS (PLONGEMENTS
DE MOTS)
La position (distance et direction) dans l'espace vectoriel peut encoder la
sémantique dans une représentation vectorielle continue adéquate. Par
exemple, les visualisations suivantes de représentations vectorielles
continues réelles montrent des relations géométriques qui capturent des
relations sémantiques telles que la relation entre un pays et sa capitale

12. GPT, MOINS QU’UNE
INTELLIGENCE…

13. Spécificités du modèle GPT :
• Modèle encyclopédique d’IA générative (de prédiction de texte)
comme résultante d’une exploration spatiale dans des
embeddings à partir d’un prompt, limitée à une fenêtre de
contexte d’environ 4000 tokens
• Modèle pré-entrainé « zero-shot » : prêt à l’emploi
Corpus d’entraînement
ChatGPT :
Modèle conversationnel, version dérivée du modèle génératif GPT
fine-tuné par renforcement humain (classification à posteriori de
générations de textes)
La force des LLMs
Réutiisation de l’espace sémantique sous-jacent dans n’importe

14. QUELQUES EXEMPLES
• Questions/réponses
• Résumé de textes
• Traduction
• Génération de texte
• Exploration de données structurées
• Prochaine étape : les agents autonomes

15. QUESTIONNEMENTS
• Du modèle généraliste aux modèles spécialisés ?
• Du modèle propriétaire aux modèles open source ?
• Technicité de certains métiers à « valeur ajoutée » ?
• De l’espace sémantique à l’espace culturel ?