Recommandé
Recommandé
Contenu connexe
Similaire à Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
Similaire à Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud (20)
Plus de OCTO Technology
Plus de OCTO Technology (20)
Le Comptoir OCTO - MLOps : Les patterns MLOps dans le cloud
- 1. THERE IS A BETTER WAY DIGITAL THINKERS & DOERS OCTO TECHNOLOGY I PART OF ACCENTURE Les patterns MLOps dans le cloud Comptoir OCTO BACO 12/03/2024
- 2. .3 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Baptiste Courbe ML Engineer Mail : baco@octo.com Introduction
- 3. .4 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Le MLOps selon les cloud providers “Le MLOps est un processus itératif et répétitif qui permet de faire évoluer les modèles d'IA au fil du temps.” AWS “Le MLops est basé sur les principes et pratiques DevOps qui augmentent l'efficacité des workflows. Par exemple, l'intégration, la livraison et le déploiement continus.” Azure “Le MLOps est un ensemble de processus standardisés et de capacités technologiques permettant de construire, de déployer et d'opérationnaliser des systèmes de ML de manière rapide et fiable.” Google
- 4. .5 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Du DevOps au MLOps But : Accélérer le time to market des projets avec la méthodologie MLOps en amenant les changements de code, de données et de modèles le plus rapidement en production. Code Test Build Deploy Operate Monitor Release Plan DEV OPS DEV OPS DS
- 5. .6 OCTO I PART OF ACCENTURE© 2024 - All rights reserved 1. Une complexité qui évolue Création ⇒ Exploitation 2. Des environnements cloud flexibles mais mouvants Pourquoi ?
- 6. .7 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Objectifs ● Comprendre et identifier les capacités dont vous avez besoin ● Se poser les bonnes questions pour choisir l’architecture en conséquence
- 8. ici mettre une Photo .9 OCTO I PART OF ACCENTURE© 2024- All rights reserved Je souhaite faire une maintenance prédictive à 3 semaines Je souhaite prévoir les stocks quotidiennement Je souhaite trier nos bonbons de manière automatique MLOps coach Projet 1 Projet 2 Projet 3
- 9. .10 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Le MLOps, un ensemble de pratiques Historique des modélisations Validation des modèles Analyse du drift automatique Collecter des métriques d’utilisation Monitorer la performance du modèle Ré-entraîner automatique le modèle Que dois-je mettre en place sur mon projet et comment ?
- 10. ici mettre une Photo .11 THERE IS A BETTER WAY Exemple 1 : Projet maintenance prédictive 02
- 11. .12 OCTO I PART OF ACCENTURE© 2024 - All rights reserved ๏ Un seul entrainement, exploiter “pour toujours” ๏ Gardant un œil sur les performances ๏ Les données d'entraînement ne vont pas (ou peu) driftées ๏ Prédiction non critique (1/semaine) ๏ Équipe DS découvrant le cloud Exemple 1 : Projet maintenance prédictive Je souhaite faire une maintenance prédictive à 3 semaines MLOps coach
- 12. .13 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Architecture Fonctionnelle Utilisateurs Finaux Gestion/ Orchestration API d’Inférence CI/CD Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Deploiement Registre des Datasets Monitoring Modèle(s) en Production Versioning et suivi des expérimentations (Ré)Entraînement
- 13. .14 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Architecture Fonctionnelle - Cloud Utilisateurs Finaux Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Deploiement Registre des Datasets Versioning et suivi des expérimentations Object Storage Fonction serverless Service de monitoring & alerting Monitoring Modèle(s) en Production Object Storage (Ré)Entraînement CI/CD Gestion/ Orchestration API d’Inférence
- 14. ici mettre une Photo .15 THERE IS A BETTER WAY Exemple 2 : Projet prédiction des stocks 03
- 15. .16 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Exemple 2 : Prévision des stocks Je souhaite prévoir les stocks quotidiennement ๏ Entraînement régulier avec un feature engineering complexe ๏ Nombreuses expérimentations (modèles/hyperparamètres/features) ๏ Critique ๏ Equipe DS à l’aise avec le cloud MLOps coach
- 16. .17 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Alerting baisse significative de performances Architecture Fonctionnelle Utilisateurs Finaux Source de données Équipe RUN Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Monitoring Modèle(s) en Production Deploiement Registre des Datasets Versioning des modèles Versioning et suivi des expérimentations Données versionnées Entraînement Deploiement Récupération du modèle validé CI/CD Gestion/ Orchestration API d’Inférence
- 17. .18 OCTO I PART OF ACCENTURE© 2024 - All rights reserved CI/CD Alerting baisse significative de performances Architecture Fonctionnelle - Cloud Utilisateurs Finaux Source de données Équipe RUN Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Monitoring Modèle(s) en Production Deploiement Registre des Datasets Versioning des modèles Versioning et suivi des expérimentations Données versionnées Entraînement Deploiement Récupération du modèle validé Service machine learning Service machine learning Service de monitoring & alerting Service machine learning Version control system Gestion/ Orchestration API d’Inférence
- 18. .19 OCTO I PART OF ACCENTURE© 2024 - All rights reserved CI/CD Alerting baisse significative de performances Architecture Fonctionnelle alternative - Cloud Utilisateurs Finaux Source de données Équipe RUN Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Monitoring Modèle(s) en Production Deploiement Registre des Datasets Versioning des modèles Versioning et suivi des expérimentations Données versionnées Entraînement Deploiement Récupération du modèle validé Service de workflow Fonction serverless Version control system Service de planification Service de monitoring & alerting Gestion/ Orchestration Pipeline d’Inférence
- 19. ici mettre une Photo .20 THERE IS A BETTER WAY Exemple 3 : Tri des bonbons automatique 04
- 20. .21 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Exemple 3 : tri des bonbons automatiques Je souhaite trier nos bonbons automatiquement ๏ Besoin spécifique pour le service d’inférence (GPU) ๏ Ré-entraînement automatique ๏ Service d’inférence hautement sollicité et critique ๏ Equipe DS à l’aise avec le cloud MLOps coach
- 21. .22 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Alerting baisse significative de performances Architecture Fonctionnelle Utilisateurs Finaux Source de données Équipe RUN Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Monitoring Modèle(s) en Production Décision de réentraînement Deploiement Registre des Datasets Versioning des modèles Versioning et suivi des expérimentations (Ré)Entraînement Données versionnées Deploiement Récupération du modèle validé Gestion/ Orchestration API d’Inférence CI/CD
- 22. .23 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Alerting baisse significative de performances Architecture Fonctionnelle Utilisateurs Finaux Équipe RUN Registre des Expérimentations Registre des Modèles Registre de code et configurations Data Scientist Requête Réponse Sauvegarde de prédictions Monitoring Modèle(s) en Production Décision de réentraînement Deploiement Registre des Datasets Versioning des modèles Versioning et suivi des expérimentations (Ré)Entraînement Données versionnées Service de monitoring spécialisé Service machine learning Service machine learning Service de monitoring & alerting Deploiement Récupération du modèle validé Service machine learning Source de données Gestion/ Orchestration API d’Inférence CI/CD
- 23. .24 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .24 Tableau récapitulatif service par cloud providers Object storage Fonction severless Service de monitoring et alerting Service de monitoring spécialisé Google Storage Service de machine learning Service de planification Service de workflow Service de monitoring spécialisé GCP Azure AWS Blob Storage Amazon S3 Cloud functions Azure functions Lambda functions Cloud monitoring Azure monitor CloudWatch Vertex AI Azure ML SageMaker Cloud Scheduler Azure Event Grid Amazon Event Bridge Google Workflow Azure Logic App AWS Step Functions Data Studio Power BI Amazon QuickSight Service
- 25. .26 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .26 Le MLOps, ce n’est pas seulement lors du build Build Transfert Run MLOps coach Avez-vous pensé à la suite de votre projet ?
- 26. ici mettre une Photo .27 OCTO I PART OF ACCENTURE© 2024- All rights reserved Le build est fini, c’est quoi la suite ? ๏ Un projet continuera à vivre à la fin de son développement > Les services continueront à facturer > Evolution des fonctionnalités/modèle/données ๏ Penser dès la conception à la phase run/maintenance > Quelle équipe ? > Quelles compétences ?
- 27. .28 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .28 ● Editeur Spark, Databricks a évolué d’un fournisseur Spark aaS vers un environnement complet explo / dev / prod ● Versioning, compute, storage, DWH, serverless… Tout ce qu’il faut ● Contrairement à SageMaker ou Azure ML, pas besoin de se conformer à une API ● Exécution “agnostique” sur clusters à la demande, configurables ● Déployable sur Azure, AWS et GCP Non intrusif ● Grâce à l’outil DBX, les workflows et les API endpoints peuvent être gérés par CLI, depuis une CI ou l’environnement de DEV ● Configuration simple en YAML Scriptable ● Inclut une instance MLflow prêt à l’emploi ● Permet d’appeler des workflows lors d’un événement MLflow ● Expose facilement un modèle en API endpoint Astucieux En un coup d’œil ML sur Databricks
- 29. .30 OCTO I PART OF ACCENTURE© 2024 - All rights reserved Plusieurs niveaux MLOps Niveau 1 Orchestration de l’entrainement Versioning des entrainement Tracking automatique des exp Validation automatique des modèles Niveau 0 Entrainement, validation et déploiement du modèle manuel Logging des inférences pour monitoring Pipeline d’inférence avec intégration automatique du dernier modèle Niveau 2 Continuous training (CT) Monitoring (usage et feedback, ground truth) Alerting Analyse du drift automatique Projet maintenance prédictive Projet prédiction des stocks Projet tri automatique
- 30. .31 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .31 Choix du niveau de MLOps dépend des spécificités de votre projet Mais comment choisir son niveau ? Contraintes liées au modèle ● Complexité ● Fréquence de mise à jour ● Boucle de rétroaction et étiquetage Contraintes opérationnelles ● Criticité opérationnelle du produit et du modèle ● Maîtrise des coûts Exploitation ● Équipe d’exploitation ● Maintenance et évolutivité
- 31. .32 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .32 Take away Niveau d’investissement minimal Ne pas être jusqu’au boutiste Penser au run Itérative & évolutive
- 32. .33 OCTO I PART OF ACCENTURE© 2024 - All rights reserved OCTO I PART OF ACCENTURE© 2024 - All rights reserved .33 Pour aller plus loin ๏ Comptoir MLOps : les bonnes pratiques de la Data Science en production ? [Slides] [Youtube] ๏ La Grosse Conf, le 27/03/24 ๏ Livre Culture MLOps ๏ Formation MLOps par OCTO (https://www.octo.academy) > MLOps : Industrialisation d’un projet de Data Science > MLOps : Mise en production d’un projet de Data Science > MLOps : Run et évolutivité de modèles de Machine Learning ๏ Nombreux articles de blog (https://blog.octo.com)
- 34. .35 OCTO I PART OF ACCENTURE© 2024 - All rights reserved 1. Comptoir 25.04.2024 Comptoir OCTO - CSRD Comment OCTO transforme la CSRD en un outil stratégique pour un impact positif ? Lien d’inscription dans le chat de la conférence ou sur octo.com, catégorie “Événements” 2. 3. 4. Les Actus OCT Publications Culture MLOps Le Machine Learning est un logiciel qui se délivre comme les autres Lien dans le chat ou sur octo.com catégorie”Ressources”. Formation Pour aller plus loin, découvrez notre formation MLOps : industrialisation d’un projet de Data Science Adopter les bonnes pratiques de développement pour la Data Science Rdv sur octo.academy Recrutement Vous vous sentez l’âme d’un(e) Octo ? Rejoignez-nous ! Rdv sur rejoins.octo.com ou envoyez un mail à candidature@octo.com