Par Philippe Stepniewski - ML Engineer Et si nous développions ensemble un moteur de recherche multimodal texte-image ? Imaginons un moteur qui, à partir d'une simple description textuelle d'un produit sur un site d'e-commerce, puisse trouver instantanément les images correspondantes, sans nécessiter la saisie préalable de textes descriptifs pour nos produits ! Les bases de données vectorielles seront au centre de cet atelier. Il serait tout à fait possible de prendre une solution clé en main, mais où serait le fun là-dedans ? Rien de tel que de mettre les mains dans le code pour comprendre le fonctionnement de tels concepts, alors implémentons en une nous-mêmes ! Pré-requis : Pour assister à cet atelier et comprendre ce qui sera affiché à l’écran, il est recommandé d’être à l’aise dans la lecture de code Python manipulant des données vectorielles (type Numpy). Même si nous effectuerons des rappels en début d’atelier, des rudiments en data science vous aideront à comprendre les concepts manipulés : CNN, embedding, distance/similarités entre vecteurs.

1. LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
La Grosse Conf.
La conf Data I IA by OCTO
27.03.2024 I Parc Floral de Paris

2. LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
Base de Données
Vectorielles pour un Moteur
de Recherche Avancé
Par Philippe Stepniewski

3. LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
Philippe Stepniewski
Machine Learning Engineer
philippe.stepniewski@octo.com

4. .4
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Pourquoi un atelier sur les bases de données vectorielles ?
Recommandation de musique
Recherche sémantique
Reconnaissance faciale
NLP
Recherche d’images
Novembre 2022 : ChatGPT
RAG

5. .5
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
01
Réalisation

6. .6
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Démo
Démo

7. .7
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
02
Le cheminement

8. .8
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Pas à pas
Coder
Coder un algorithme
de recherche de vecteurs
proches/similaires
01 Observer
Observer les
performances et les
résultats dans l’application
02 Améliorer
Faire encore mieux !
03

9. .9
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
03
Nos outils

10. .10
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
KAGGLE :
H&M Personalized Fashion
Recommendations
Les données
105k images de produits de mode
des collections H&M.
Et c’est tout !

11. .11
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Un rapide rappel
Les embeddings
● Les vecteurs de notre atelier sont des embeddings
● C’est une représentation vectorielle d’un objet
○ Phrase ou image dans notre cas
● Capture les caractéristiques sémantiques dans
un espace vectoriel
Homme
Femme
Roi
Reine
Espace d’embedding textuel

12. .12
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
CLIP : Contrastive Language-Image Pre-Training
● Comprend et génère des représentations visuelles
et textuelles : embeddings
● Entraîné sur 400 millions de paires Image -
Description textuelle
● Une version ré-entraînée pour la mode :
FashionCLIP
Espace d’embedding mixte
Image/Texte
Dark grey shirt
Red dress
Blue pants

13. .13
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
04
L’application

14. .14
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Flux de données
1. Insertion
en base et
indexation
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
2. Recherche
des k plus
proches vecteurs
3. Restitution des
k plus proches
vecteurs
1 2 3 4 5 6 7 8 9 10
Image vers vecteur
Fashion
CLIP
105k images
embeddées avec
FashionCLIP
AI
1 2 3 4 5 6 7 8 9 10
Image vers vecteur
Fashion
CLIP
“T-shirt blanc avec logo NASA”
AI
Réalisé durant l’atelier

15. .15
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
05
Codons !

16. .16
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
05.1
Le stockage des vecteurs

17. .17
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Clés Valeurs
Dictionnaire Python
Insertion des vecteurs dans notre base de données
● Stockage des 105k
vecteurs dans une
structure de données
● Stockage de
l’identifiant du
produit pour faire le
Produit > lien vecteur
“198”
“9021”
“4184”
“532”
“1903”
“3”
“213”
0.3 0.5 0.8 0.3 -0.1 -0.2 0.4 0.8 0.7 0.6 -0.7
0.4 -0.3 -0.1 -0.3 0.3 -0.7 0.1 0.4 -0.8 0.8 -0.9
0.3 0.5 0.4 0.3 -0.1 -0.2 0.3 0.3 0.7 0.6 -0.1
-0.1 0.7 0.2 0.3 -0.1 0.6 0.4 0.5 0.6 0.9 -0.9
-0.6 0.5 0.6 0.3 -0.1 -0.7 0.2 0.8 0.7 0.6 -0.3
0.9 0.6 0.3 0.3 -0.1 0.9 0.4 0.8 0.5 0.4 -0.9
0.2 0.7 -0.8 0.9 0.2 0.9 -0.9 0.4 -0.6 0.2 -0.5
Base de données vectorielles

18. .18
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
05.2
La recherche exhaustive

19. .19
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
La formule et l’intuition
La similarité Cosinus
● Permet de calculer une similarité entre vecteurs
à partir de l’angle entre les vecteurs
Chemise gris foncé
Robe rouge
A
B
C
θAB
θAC

20. .20
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
La recherche exhaustive ou “brute force”
● Calculer toutes les distances entre la requête
et les vecteurs de la base
k = 3
“Tee shirt blanc
avec logo NASA”
● Trier les distances et ne garder que les k vecteurs
les plus proches
● Plus connue sous le nom de KNN

21. .21
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
05.3
L’index inversé

22. .22
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
L’indexation par kmeans
● Segmenter la base de données avec un K-means
et attribuer chaque vecteur à un cluster :
○ L’index
● Stocker les coordonnées des centroïdes :
○ Le codebook
“Tee shirt blanc
avec logo NASA”

23. .23
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
La recherche via l’index inversé
● Calculer les distance entre la requête
et les centroïdes (le codebook)
● Sélectionner le cluster dont le centroïde
est le plus proche.
“Tee shirt blanc
avec logo NASA”

24. .24
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
La recherche via l’index inversé
● Effectuer une recherche exhaustive sur les
vecteurs appartenant au cluster sélectionné
“Tee shirt blanc
avec logo NASA”
k = 3

25. .25
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Évaluer les différences Recherche exhaustive
Recherche IVF
Le calcul du rappel
● La recherche “exacte” est la recherche
exhaustive.
● La recherche par l’index inversée (IVF)
est une recherche approximée ANN
● Pour une même requête, nous pouvons
calculer un rappel
● Benchmark des algos :
○ https://ann-benchmarks.com/
Rappel@3 = ⅔ =0.67

26. .26
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
La recherche via l’index inversé et plusieurs sondes
● Calculer les distance entre la requête
et les centroïdes (le codebook)
● Sélectionner les N clusters dont les centroïdes
sont les plus proches.
“Tee shirt blanc
avec logo NASA”

27. .27
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Les étapes
La recherche via l’index inversé et plusieurs sondes
● Effectuer une recherche exhaustive sur les vecteurs
appartenant aux N clusters les plus proches
“Tee shirt blanc
avec logo NASA”
k = 3

28. .28
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
06
Pour finir

29. .29
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
TAKE AWAY
Un jeu d’enfant
Construire un moteur de recherche multimodal devient un jeu d’enfant avec l’avènement
de modèles comme CLIP et les bases de données vectorielles
Des algorithmes très présents
IVF, HNSW, LSH, ANNOY disponibles sur les bases de données du marché
Dilemme précision/performance
Le choix de l’algorithme et des paramètres de votre base de données impactent précision
et les performances : https://ann-benchmarks.com/

30. .30
LA
GROSSE
CONF
BY
OCTO
TECHNOLOGY
©
2024
-
All
rights
reserved
Pourquoi un atelier sur les bases de données vectorielles ?
Nombre
de
requêtes
par
secondes
Rappel
https://ann-benchmarks.com/

31. .31
LA CONF DATA I IA BY OCTO TECHNOLOGY
#LAGROSSECONF
07
Bonus