2. Sommaire
I. Introduction
II. Pourquoi DevOps ne suffit pas pour
les modèles ML
III. Définition du MLOps
IV. Workflow du MLOps
IV-A Pipelines du MLOPS
IV-B Principes du MLOPS
V. Avantages du MLOps
VI. Les outils du MLOps
VII.Cas d’utilisation
VIII.Conclusion
3. INTRODUCTION
Combinant développement (Dev) et opérations (Ops), DevOps est l'union des
personnes, des processus, des outils et des méthodes pour équilibrer les besoins tout
au long du cycle de développement de logiciels pour assurer le fonctionnement d’une
manière fiable.
Suite à l’adoption massive du DevOps et à l’augmentation significative de
l’utilisation du Machine Learning en entreprise, ainsi qu’au récent engouement autour
de la data science, les concepts DevOps ont été repris dans les projets data.
les objectifs et principes du DevOps restent globalement les mêmes, Cependant, les
spécificités propres aux machine learning ont nécessité la création d’une approche
propre : le MLOps .
Un modèle Machine Learning, est créé en appliquant un algorithme
élaboré dans un environnement de développement contrôlé, à une
masse de données qui affectera le comportement du modèle en
production, ce dernier donc, dépend des données d’entrée issues du
monde réel.
4. Pourquoi DevOps ne suffit pas pour les modèles
ML
Défi humain et Managérial Réussir à faire collaborer des équipes
n’étant pas habituées à travailler ensemble, d’où la nécessité de
développer des méthodes de travail dédiées.
la supervision d’un système de Machine Learning est particulièrement
complexe :
L’état du système : il faut surveiller le niveau de charge et de disponibilité du système.
Les données entrantes : Il faut un contrôle de la cohérence dans le temps, des données
récoltées chaque jour.
Les prédictions réalisées : Si les données changent, alors automatiquement les
prédictions changeront et les résultats peuvent devenir très différents de ceux obtenus lors
des tests.
La surveillance des prédictions est essentielle.
5. DEFINITION DU MLOPS
MLOps permet l’automatisation et le suivi des étapes du cycle de
développement d’un projet de Machine Learning
MLOps s’inspire de la discipline DevOps, pour écrire, déployer et exécuter efficacement
des applications ML.
MLOps favorise la collaboration d’équipes hybrides : Le DevOps permet aux développeurs
de logiciels (les Devs) et aux équipes d’exploitation informatique (les Ops) de collaborer.
MLOps ajoute à ces équipes les scientifiques de données et les ingénieurs Machine
learning.
MLOps ; des pratiques du Machine Learning, du DevOps et de
l'ingénierie des données , pour créer et déployer des modèles
ML reproductibles, testables et évolutifs qui répondent aux
besoins réels de l'entreprise
6. WORKFLOW du MLOps
Le flux de travail du MLOps est regroupé en trois grandes phases :
Conception de
l'application basée sur ML
Expérimentation et
développement ML
Opérations ML
Ces phases se reposent sur trois pipelines constitutifs :
L’intégration continue L’automatisation La reproductibilité
Ces phases sont conçues afin de mettre en œuvre en toute sécurité les principes du
MLOps :
Pipelines de données Pipelines ML Pipelines d’application
7. Les Phases d’un Workflow MLOps
Cette phase est consacrée à la compréhension de l'entreprise et des
données
Définir les utilisateurs potentiels de l’application
Evaluer la poursuite du développement du
projet
Définir les cas d’utilisation
Vérifier de la disponibilité des données nécessaires pour former le modèle ML
Les informations recueillies à partir de chacun de ces processus sont ensuite
utilisées pour concevoir l'architecture de l'application basée sur le ML
1 - Conception de l’application basée sur ML
8. 2- Expérimentation et développement ML
Cette phase est consacrée à la vérification de l'applicabilité du ML
Mise à l'essai du produit obtenu de la phase conception pour valider la mise
en œuvre réelle de la solution de ML proposée
implémentation et exécution de manière itérative d’algorithmes ML jusqu'à ce qu'un
modèle stable pouvant fonctionner en production soit obtenu.
3- Opérations ML
L’objectif de cette phase est de livrer en production le modèle ML stable
précédemment développé.
Intégration cohérente des techniques du MLOps
Les tests, la gestion des versions, l'automatisation, le déploiement continu, la surveillance
et la gouvernance sont appliqués au modèle ML
Les Phases d’un Workflow MLOps
9. Les pipelines du MLOps
1- Pipeline de données:
Une série d’actions qui débute avec l’ingestion de l’ensemble des données brutes de
différentes sources, pour les transformer rapidement en données prêtes à être exploitées.
2- Pipeline ML:
Moyen de codifier et d'automatiser le flux de travail nécessaire pour produire un modèle
ML. Plusieurs étapes séquentielles qui effectuent tout, de l'extraction et du prétraitement
des données à la création et au déploiement du modèle.
3- Pipeline d’application:
Un pipeline d’Intégration et de Distribution Continues (CI / CD) est une série d'étapes à
réaliser en vue de distribuer une nouvelle version d'un logiciel.
10. Les principes du MLOps
1 - Automatisation
1- Processus manuel expérimental et itératif effectué au début de la mise en œuvre du modèle
.
Chaque étape de chaque pipeline (préparation & validation des données, création & test des
modèles) est exécutée manuellement pour former le modèle pour les opérations automatisées
ultérieures .
2- Formation automatique et continue de modèle.
Lorsque de nouvelles données sont disponibles, la validation et le recyclage du modèle ML
sont automatiquement déclenchés.
Comprend des étapes de validation des données et des modèles
3- l'automatisation du pipeline CI/CD , s'appuie sur le succès des deux étapes précédentes.
l'intégration et la livraison continues sont introduites dans cette étape pour créer, tester et
déployer des modèles ML de manière automatique et continue.
11. Les principes du MLOps
Validation des tests , des données, des schémas de données et des modèles .
2 - Intégration continue
Le déploiement continue permet de déployer un pipeline ML qui peut à son tour déployer
automatiquement un autre service de prédiction de modèle ou annuler les modifications d'un
modèle
Les tests continus permettent également de recycler, valider et servir les modèles de ML
de manière itérative
3 - Reproductibilité
Stockage de : la conception, le traitement des données, la formation du modèle, le
déploiement Pour que les modèles soient facilement reproduits.
13. Avantages du MLOps
- Déploiement plus rapide d'un plus grand nombre de modèles grâce
à des processus automatisés
- Accélération de la création de valeur grâce à la fourniture rapide de
modèles
- Optimisation de la productivité grâce à la collaboration et à la réutilisation des modèles
- Réduction du risque de perte de temps et d'argent sur les modèles qui ne sont jamais mis
en production
- Surveillance et actualisation continuelles des modèles au fil de la dérive des données
- Capacité de toute organisation à rester pertinente et à se développer dans ce monde axé
sur la technologie et l’information.
- Un taux d'échec inférieur grâce à l'intégration, au déploiement, à la livraison, à la
surveillance et au test continus des modèles de ML.
14. Les outils de MLOps:
En ce qui concerne la partie pipeline et versioning des
données, deux outils open source sont répondus: DVC (ligne
de commande) et Pachyderm ( interface graphique) sont deux
outils répandus.
Kubeflow est probablement l’un des outils open-source les
plus complets et les plus populaires en MLOps, il est
particulièrement adapté à TensorFlow, mais supporte aussi
d’autres framework.
MLFlow est un outil populaire et assez complet. Il se concentre
principalement sur la partie gestion et implémentation des modèles
ainsi que sur l’automatisation et le tracking des expérimentations
(tels les entraînements de nouveaux modèles).
Metaflow, développé par Netflix et s’adressant aux data scientists
pour leur permettre de se concentrer sur le développement de
modèles. À noter que cet outil est adapté à ceux qui utilisent
15. Cas d’utilisation
« l’industrie de la santé- le diagnostic de cancer »
- Après cela, le modèle stable est déployé. Avec l'intégration continue, le déploiement
continu, les tests continus. Le modèle peut être recyclé, validé et déployé avec de
nouvelles données lorsque de nouveaux symptômes sont identifiés sans avoir à
recommencer manuellement chaque phase.
- Dans la phase de conception du modèle de diagnostic, le modèle est
entraîné avec les données disponibles sur les symptômes d'un type de
maladie, par exemple le cancer. L'architecture de l'application ML est
conçue.
- Dans la phase d'expérimentation et de développement, le modèle est testé sur des
patients atteints de la maladie pour voir s'il s'identifie vraiment. sinon, le modèle est
recyclé et testé de manière itérative jusqu'à ce qu'un modèle de diagnostic stable soit
obtenu.
- Le modèle peut être surveillé en permanence pour s'assurer qu'il ne s'écarte pas de son
objectif - diagnostiquer le cancer - et sera recyclé s'il le fait.
16. Conclusion
La mise en œuvre de MLOps dans le workflow de développement de modèle
favorisera la collaboration et l'automatisation qui verront une solution métier de ML
déployée avec succès en production.
Le « Machine Learning », qui fait partie du vaste domaine de
l’Intelligence Artificielle , est appelé à devenir aussi courant que
les applications logicielles. C’est pourquoi le processus
d’exécution de l’IA doit être aussi poussé que le travail
d’exécution des systèmes informatiques.
