SlideShare une entreprise Scribd logo
C1 - Public
©Tous droits réservés - Copyright EVA Group
Efficient and secure IT for
business
PRESENTATION
ML OPS
14 octobre 2021
Paris
C1 - Public
2
©Tous droits réservés - Copyright EVA Group
AGENDA
 Le contexte et les acteurs
 Rappel du contexte d’un projet Data orienté
Machine Learning
 Les acteurs
 Le cycle de vie du projet data
 Cycle
 Les 4 étapes détaillées cf. prez Big Data et IA
 ML Ops
 Pourquoi ? Définition
 Les risques d’un projet ML en production
 Deux exemples
 L’outillage du ML Ops
 ML Flow et Databricks
 TFX
 Autres
 Références , web thèque
C1 - Public
©Tous droits réservés - Copyright EVA Group
MA SUPER SECTION
Le contexte et
les acteurs
C1 - Public
4
©Tous droits réservés - Copyright EVA Group
Le contexte
Un projet Data, orienté data science, comprend :
• Une problématique métier;
• Des données ;
• Un modèle.
C1 - Public
5
©Tous droits réservés - Copyright EVA Group
Diagramme de Venn
largement repris et commenté
(Conway-2013)
Les domaines de connaissance
C1 - Public
6
©Tous droits réservés - Copyright EVA Group
En terme savant
What Manager can learn
from Philosophy
Luc de Brabandere
Coursera & Centrale
C1 - Public
7
©Tous droits réservés - Copyright EVA Group
Les acteurs
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
Data Owner
Data Steward
IT Manager
Data Engineer Data Scientist ML Engineer
DevOps
CPO
CDO
Data Citizen
C1 - Public
©Tous droits réservés - Copyright EVA Group
MA SUPER SECTION
Le cycle de vie
du projet Data
C1 - Public
12
©Tous droits réservés - Copyright EVA Group
Déroulement d'un projet data : Les étapes
Le parcours est itératif et
incrémental !
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
Data
Modélisation
Déploiement
Bilan
Cadrage
C1 - Public
13
©Tous droits réservés - Copyright EVA Group
Déroulement d'un projet data : étape 1
 Qui : le métier, direction générale, Data Stewart, Data manager, CDO, CPO
 Comment : Séparer les aspects métiers et les aspects Data Science / Technique. Faire plusieurs réunions de faisabilité
et cadrage temps des sprints, Indicateurs clés , ROI potentiel…
 Méthodologie : Idéation, Design Thinking, Benchmarking
 Résultats : Matrice de décision entre plusieurs projets, Critère d’acceptation / réussite
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
C1 - Public
14
©Tous droits réservés - Copyright EVA Group
Déroulement d'un projet data : étape 2
 Qui : Data Engineer, Data Scientist, Data Owner, Data Steward, CDO, CPO
 Comment :
 Etape 1 Collecte ;
 Etape 2 Labellisation , Organisation , Feature Engineering
 Outillage : Data Catalogue , Feature Store, Versionning, Reproductibilité , Passage à l’échelle (Big Data), Batch ou
Streaming. TFX.
 Résultats :Données normalisées , versionnées, lignage, conformes aux réglementations applicables, avoir une baseline
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
C1 - Public
15
©Tous droits réservés - Copyright EVA Group
Déroulement d'un projet data : étape 3
 Qui : Data Scientist, Data Engineer, Métier
 Comment :
 Etape 1 Sélection et entrainement de modèles ;
 Etape 2 Analyse de la performance, précision (ML supervisé), Analyse des erreurs (impact)
 Outillage : Librairies Open source ou propriétaires, Studio de Data Science,
 Résultats : Modèle entrainé, optimisé suivant les contraintes de déploiement, explicabilité
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
C1 - Public
16
©Tous droits réservés - Copyright EVA Group
Déroulement d'un projet data : étape 4
 Qui : ML Engineer, Data Engineer, Data Scientist , (Dev)Ops,
 Comment :
 Etape 1 Déploiement, API fication
 Etape 2 Connexion avec un le Data Product : App Mobile, App Web
 Etape 3 Monitoring et Maintenance (MLOps)
 Outillage : Librairies Open source ou propriétaires, Studio de Data Science,
 Résultats : Data Product et modèles instrumentés, ROI , KPI en dashboard
Cadrage
Acquisition /
Organisation de la
donnée
Modélisation
Déploiement ,
ML Ops
C1 - Public
17
©Tous droits réservés - Copyright EVA Group
Illustrations ML Ops (Data Robot)
C1 - Public
18
©Tous droits réservés - Copyright EVA Group
Illustrations ML Ops TF extended (TFX)
C1 - Public
19
©Tous droits réservés - Copyright EVA Group
Illustrations ML Ops (Versionning)
C1 - Public
20
©Tous droits réservés - Copyright EVA Group
Illustrations ML Ops (People)
C1 - Public
21
©Tous droits réservés - Copyright EVA Group
Autre version
C1 - Public
©Tous droits réservés - Copyright EVA Group
ML Ops
C1 - Public
23
©Tous droits réservés - Copyright EVA Group
ML Ops
Définitions
Déployer et Monitorer le ML,
Sans oublier la vélocité
Bénefices :
• Forcer les bonnes pratiques
• Adopter un
langage/outil commun
C1 - Public
24
©Tous droits réservés - Copyright EVA Group
ML Ops
Les risques d’un projet ML en production
1. Perte de connaissance du projet (Bus Factor)
2. Crash en production
3. Erreurs/failles de biais (Ethique) ou compliance (Privacy)
4. Les dérives au cours du temps : data Drift , concept drift
Pour aller plus loin
MITTRE / ATLAS tactiques
d’attaque sur le ML
https://atlas.mitre.org/
C1 - Public
25
©Tous droits réservés - Copyright EVA Group
ML Ops
Deux exemples (1/2)
Pipeline complet développé rapidement sans documentation, la performance se
degrade. Peu de documentation il faut tout reprendre à zero (from scratch).
C1 - Public
26
©Tous droits réservés - Copyright EVA Group
ML Ops
Deux exemples (2/2)
La deuxième société préfère s’équiper d’un outil d’automatisation de la
chaîne data. Elle perd un temps de selection et test de l’outil mais
automatise sa chaîne pour bénéficier ensuite des meilleures pratiques.
C1 - Public
©Tous droits réservés - Copyright EVA Group
L’outillage du
ML Ops
C1 - Public
28
©Tous droits réservés - Copyright EVA Group
Offre Open source
Outillage du ML Ops
ML Flow de Databricks : société dont les fondateurs sont à l’origine de Spark, bureau à Paris, cont
Tensorflow Extended (TFX) de Google, incluant aussi le Data Processing, Le Lignage. Voir slide au-d
C1 - Public
29
©Tous droits réservés - Copyright EVA Group
ML flow, demo ? https://mlflow.org/
Outillage du ML Ops
En 2018
En 2021
C1 - Public
30
©Tous droits réservés - Copyright EVA Group
Focus MLFlow
Outillage du ML Ops
Installation pip (ou conda) install mlflow !!
Une interface
Demo
…
C1 - Public
31
©Tous droits réservés - Copyright EVA Group
Offre liée à des studio de Data Science intégrés
Outillage du ML Ops
Dataiku , DSS Saas ou OnPrem
Prevision.io (Login)
Domino datalab (BNP Cardif)
Data Robot (Login)
Alteryx
H2O
Valohai
Cyberdeck (2022)
…
C1 - Public
32
©Tous droits réservés - Copyright EVA Group
Faire le lien avec monitoring SOC , NOC ….
Outillage du ML Ops / Conclusion
Next Step , offre MONA
…
C1 - Public
©Tous droits réservés - Copyright EVA Group
Réferences,
Webothèque
C1 - Public
34
©Tous droits réservés - Copyright EVA Group
Liste non-exhaustives de sources d’information sur le MLOps
Références
Moocs
Coursera Mooc en quatre parties : ML Engineering for production ( by
deeplearning.ai)
Vidéo de présentation
Articles / blog / medium
Domino Data lab lève 100m$
https://aws.amazon.com/fr/blogs/big-data/generating-recommendations-at-amazon-
scale-with-apache-spark-and-amazon-dsstne/
Livres blancs
SFEIR
Valohai
Logiciels de Data Science : Dataiku, Data Robot, Alteryx, Prevision.io,
Framework : MLFlow, Tensorflow Extended , Metaflow, Michelangelo, Pachyderm,
Apache Beam
C1 - Public
+33 1 86 52 96
40
www.evagroup.f
r
EVA GROUP
Le Monge, 22 Place des Vosges, 92400
Courbevoie
merci

Contenu connexe

Tendances

Introduction aux ERP
Introduction aux ERPIntroduction aux ERP
Introduction aux ERP
ENSAM Casablanca
 
Open ERP Presentation - Français
Open ERP Presentation - FrançaisOpen ERP Presentation - Français
Open ERP Presentation - Françaisgueste4ba94c
 
Élaboration d'une stratégie de modernisation par Chris Koppe
Élaboration d'une stratégie de modernisation par Chris KoppeÉlaboration d'une stratégie de modernisation par Chris Koppe
Élaboration d'une stratégie de modernisation par Chris Koppe
Fresche Solutions
 
2009 05 11 Progiciel de gestion integree by competitic
2009 05 11 Progiciel de gestion integree by competitic2009 05 11 Progiciel de gestion integree by competitic
2009 05 11 Progiciel de gestion integree by competitic
COMPETITIC
 
Qu’est ce qu’un projet ERP - Entreprise Resource Planning -
Qu’est ce qu’un  projet ERP - Entreprise Resource Planning -Qu’est ce qu’un  projet ERP - Entreprise Resource Planning -
Qu’est ce qu’un projet ERP - Entreprise Resource Planning -
Sanae BEKKAR
 
ERP, à destination des TPE et PME - Jesuisfantastic
ERP, à destination des TPE et PME  - JesuisfantasticERP, à destination des TPE et PME  - Jesuisfantastic
ERP, à destination des TPE et PME - Jesuisfantastic
UCM James Van Wayenbergh
 
Industry framework et innovation centers
Industry framework et innovation centersIndustry framework et innovation centers
Industry framework et innovation centersClub Alliances
 
01 1-scm605 chapitre 3-structures organisationnelles sd
01 1-scm605 chapitre 3-structures organisationnelles sd01 1-scm605 chapitre 3-structures organisationnelles sd
01 1-scm605 chapitre 3-structures organisationnelles sd
sergedeslandes
 
Webinar Smile et Talend : Faites communiquer vos applications en temps réel
Webinar Smile et Talend  : Faites communiquer vos applications en temps réelWebinar Smile et Talend  : Faites communiquer vos applications en temps réel
Webinar Smile et Talend : Faites communiquer vos applications en temps réel
Smile I.T is open
 
Presentation Open ERP
Presentation Open ERPPresentation Open ERP
Presentation Open ERP
Fabien Pinckaers
 
Offre onepoint - CCM et Document Communiquant
Offre onepoint - CCM et Document CommuniquantOffre onepoint - CCM et Document Communiquant
Offre onepoint - CCM et Document Communiquant
GroupeONEPOINT
 
PréSentation Modules E R P
PréSentation Modules  E R PPréSentation Modules  E R P
PréSentation Modules E R Ppistesil
 
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_BlancSOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
Lionel Mambou
 
E.R.P. ou Progiciels de Gestion Intégrés
E.R.P. ou Progiciels de Gestion Intégrés E.R.P. ou Progiciels de Gestion Intégrés
cours erp (encgk)
cours erp (encgk)cours erp (encgk)
cours erp (encgk)zineb encgk
 
PROJET ERP
PROJET ERPPROJET ERP
PROJET ERP
Lacina Cissé
 
Présentation de SaaS
Présentation de SaaS Présentation de SaaS
Présentation de SaaS
Stéphane Traumat
 
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
OCTO Technology
 

Tendances (20)

Introduction aux ERP
Introduction aux ERPIntroduction aux ERP
Introduction aux ERP
 
Open ERP Presentation - Français
Open ERP Presentation - FrançaisOpen ERP Presentation - Français
Open ERP Presentation - Français
 
Erp
ErpErp
Erp
 
Élaboration d'une stratégie de modernisation par Chris Koppe
Élaboration d'une stratégie de modernisation par Chris KoppeÉlaboration d'une stratégie de modernisation par Chris Koppe
Élaboration d'une stratégie de modernisation par Chris Koppe
 
2009 05 11 Progiciel de gestion integree by competitic
2009 05 11 Progiciel de gestion integree by competitic2009 05 11 Progiciel de gestion integree by competitic
2009 05 11 Progiciel de gestion integree by competitic
 
Qu’est ce qu’un projet ERP - Entreprise Resource Planning -
Qu’est ce qu’un  projet ERP - Entreprise Resource Planning -Qu’est ce qu’un  projet ERP - Entreprise Resource Planning -
Qu’est ce qu’un projet ERP - Entreprise Resource Planning -
 
ERP, à destination des TPE et PME - Jesuisfantastic
ERP, à destination des TPE et PME  - JesuisfantasticERP, à destination des TPE et PME  - Jesuisfantastic
ERP, à destination des TPE et PME - Jesuisfantastic
 
Industry framework et innovation centers
Industry framework et innovation centersIndustry framework et innovation centers
Industry framework et innovation centers
 
01 1-scm605 chapitre 3-structures organisationnelles sd
01 1-scm605 chapitre 3-structures organisationnelles sd01 1-scm605 chapitre 3-structures organisationnelles sd
01 1-scm605 chapitre 3-structures organisationnelles sd
 
Webinar Smile et Talend : Faites communiquer vos applications en temps réel
Webinar Smile et Talend  : Faites communiquer vos applications en temps réelWebinar Smile et Talend  : Faites communiquer vos applications en temps réel
Webinar Smile et Talend : Faites communiquer vos applications en temps réel
 
Presentation Open ERP
Presentation Open ERPPresentation Open ERP
Presentation Open ERP
 
Offre onepoint - CCM et Document Communiquant
Offre onepoint - CCM et Document CommuniquantOffre onepoint - CCM et Document Communiquant
Offre onepoint - CCM et Document Communiquant
 
PréSentation Modules E R P
PréSentation Modules  E R PPréSentation Modules  E R P
PréSentation Modules E R P
 
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_BlancSOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
SOLUTIONS STANDARDS vs DEVELOPPEMENTS SPECIFIQUES_Blanc
 
E.R.P. ou Progiciels de Gestion Intégrés
E.R.P. ou Progiciels de Gestion Intégrés E.R.P. ou Progiciels de Gestion Intégrés
E.R.P. ou Progiciels de Gestion Intégrés
 
cours erp (encgk)
cours erp (encgk)cours erp (encgk)
cours erp (encgk)
 
Cours erp pgi_2010
Cours erp pgi_2010Cours erp pgi_2010
Cours erp pgi_2010
 
PROJET ERP
PROJET ERPPROJET ERP
PROJET ERP
 
Présentation de SaaS
Présentation de SaaS Présentation de SaaS
Présentation de SaaS
 
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valo...
 

Similaire à ML Ops a Survey

Prez ia big_data_bruno_v3_finale
Prez ia big_data_bruno_v3_finalePrez ia big_data_bruno_v3_finale
Prez ia big_data_bruno_v3_finale
Bruno Seznec
 
29/06/17 Matinale Python
29/06/17 Matinale Python29/06/17 Matinale Python
29/06/17 Matinale Python
Soft Computing
 
Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.
OW2
 
CDAP, la boîte à outil pour concevoir vos applications Big Data
CDAP,  la boîte à outil pour concevoir vos applications Big DataCDAP,  la boîte à outil pour concevoir vos applications Big Data
CDAP, la boîte à outil pour concevoir vos applications Big Data
Synaltic Group
 
X-Analysis - version française
X-Analysis - version françaiseX-Analysis - version française
X-Analysis - version française
Fresche Solutions
 
Présentation programme OREE
Présentation programme OREEPrésentation programme OREE
Présentation programme OREECYB@RDECHE
 
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
Club Alliances
 
CV Template Jun 15 WD French - Jeremie Simonet
CV Template Jun 15 WD French - Jeremie SimonetCV Template Jun 15 WD French - Jeremie Simonet
CV Template Jun 15 WD French - Jeremie SimonetJérémie Simonet
 
poster-agile framework to implement togaf with lean ix
poster-agile framework to implement togaf with lean ixposter-agile framework to implement togaf with lean ix
poster-agile framework to implement togaf with lean ix
Laurent Nonne
 
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
drupagora
 
Digital workspace : la réalité
Digital workspace : la réalitéDigital workspace : la réalité
Digital workspace : la réalité
Thomas Gennburg
 
La convergence des technologies pour aboutir au digital workspace. Des exempl...
La convergence des technologies pour aboutir au digital workspace. Des exempl...La convergence des technologies pour aboutir au digital workspace. Des exempl...
La convergence des technologies pour aboutir au digital workspace. Des exempl...
Microsoft Ideas
 
Tech-IT Academy catalogue des formations
Tech-IT Academy catalogue des formationsTech-IT Academy catalogue des formations
Tech-IT Academy catalogue des formations
Tech-IT Maroc
 
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)Accélérer la transformation via une approche outils intégrée (ERP de l’IT)
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)itSMF France
 
La Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
La Data Virtualization par Orano : cas d'usage à la Hague et démo de DenodoLa Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
La Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
Denodo
 
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
Paris Open Source Summit
 
Captronic grenoble 01102014 version presentee
Captronic grenoble 01102014 version presenteeCaptronic grenoble 01102014 version presentee
Captronic grenoble 01102014 version presentee
Patrick MOREAU
 
X-Analysis - for IBM partners - FR
X-Analysis - for IBM partners - FRX-Analysis - for IBM partners - FR
X-Analysis - for IBM partners - FR
Fresche Solutions
 
MEGA International: Senior .NET Developer
MEGA International: Senior .NET DeveloperMEGA International: Senior .NET Developer
MEGA International: Senior .NET Developer
Jason De Oliveira
 

Similaire à ML Ops a Survey (20)

Prez ia big_data_bruno_v3_finale
Prez ia big_data_bruno_v3_finalePrez ia big_data_bruno_v3_finale
Prez ia big_data_bruno_v3_finale
 
29/06/17 Matinale Python
29/06/17 Matinale Python29/06/17 Matinale Python
29/06/17 Matinale Python
 
Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.Manage Traceability with Apache Atlas flexible metadata repository.
Manage Traceability with Apache Atlas flexible metadata repository.
 
CDAP, la boîte à outil pour concevoir vos applications Big Data
CDAP,  la boîte à outil pour concevoir vos applications Big DataCDAP,  la boîte à outil pour concevoir vos applications Big Data
CDAP, la boîte à outil pour concevoir vos applications Big Data
 
X-Analysis - version française
X-Analysis - version françaiseX-Analysis - version française
X-Analysis - version française
 
Présentation programme OREE
Présentation programme OREEPrésentation programme OREE
Présentation programme OREE
 
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
2010.11.26 Atelier VERMEG Comment les editeurs du monde bancaire s'adaptent i...
 
Nicolas_DINASQUET
Nicolas_DINASQUETNicolas_DINASQUET
Nicolas_DINASQUET
 
CV Template Jun 15 WD French - Jeremie Simonet
CV Template Jun 15 WD French - Jeremie SimonetCV Template Jun 15 WD French - Jeremie Simonet
CV Template Jun 15 WD French - Jeremie Simonet
 
poster-agile framework to implement togaf with lean ix
poster-agile framework to implement togaf with lean ixposter-agile framework to implement togaf with lean ix
poster-agile framework to implement togaf with lean ix
 
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
 
Digital workspace : la réalité
Digital workspace : la réalitéDigital workspace : la réalité
Digital workspace : la réalité
 
La convergence des technologies pour aboutir au digital workspace. Des exempl...
La convergence des technologies pour aboutir au digital workspace. Des exempl...La convergence des technologies pour aboutir au digital workspace. Des exempl...
La convergence des technologies pour aboutir au digital workspace. Des exempl...
 
Tech-IT Academy catalogue des formations
Tech-IT Academy catalogue des formationsTech-IT Academy catalogue des formations
Tech-IT Academy catalogue des formations
 
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)Accélérer la transformation via une approche outils intégrée (ERP de l’IT)
Accélérer la transformation via une approche outils intégrée (ERP de l’IT)
 
La Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
La Data Virtualization par Orano : cas d'usage à la Hague et démo de DenodoLa Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
La Data Virtualization par Orano : cas d'usage à la Hague et démo de Denodo
 
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
#OSSPARIS19 - Gouvernance des données dans le contexte Big Data - REX datalak...
 
Captronic grenoble 01102014 version presentee
Captronic grenoble 01102014 version presenteeCaptronic grenoble 01102014 version presentee
Captronic grenoble 01102014 version presentee
 
X-Analysis - for IBM partners - FR
X-Analysis - for IBM partners - FRX-Analysis - for IBM partners - FR
X-Analysis - for IBM partners - FR
 
MEGA International: Senior .NET Developer
MEGA International: Senior .NET DeveloperMEGA International: Senior .NET Developer
MEGA International: Senior .NET Developer
 

Dernier

L'Observatoire politique ELABE pour Les Echos - Juin 2024
L'Observatoire politique ELABE pour Les Echos - Juin 2024L'Observatoire politique ELABE pour Les Echos - Juin 2024
L'Observatoire politique ELABE pour Les Echos - Juin 2024
contact Elabe
 
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
contact Elabe
 
Les Français et les élections législatives
Les Français et les élections législativesLes Français et les élections législatives
Les Français et les élections législatives
contact Elabe
 
Webinaire_les aides aux investissements.pptx
Webinaire_les aides aux investissements.pptxWebinaire_les aides aux investissements.pptx
Webinaire_les aides aux investissements.pptx
Institut de l'Elevage - Idele
 
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
contact Elabe
 
Productivité et politique industrielles: deux défis à relever conjointement
Productivité et politique industrielles: deux défis à relever conjointementProductivité et politique industrielles: deux défis à relever conjointement
Productivité et politique industrielles: deux défis à relever conjointement
La Fabrique de l'industrie
 
Rapport annuel de Max Havelaar France 2023
Rapport annuel de Max Havelaar France 2023Rapport annuel de Max Havelaar France 2023
Rapport annuel de Max Havelaar France 2023
bonanniromane89
 

Dernier (7)

L'Observatoire politique ELABE pour Les Echos - Juin 2024
L'Observatoire politique ELABE pour Les Echos - Juin 2024L'Observatoire politique ELABE pour Les Echos - Juin 2024
L'Observatoire politique ELABE pour Les Echos - Juin 2024
 
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
Sondage ELABE pour Les Echos et l'Institut Montaigne -Les Français et la guer...
 
Les Français et les élections législatives
Les Français et les élections législativesLes Français et les élections législatives
Les Français et les élections législatives
 
Webinaire_les aides aux investissements.pptx
Webinaire_les aides aux investissements.pptxWebinaire_les aides aux investissements.pptx
Webinaire_les aides aux investissements.pptx
 
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
Etat de l’opinion - Journée CCR CAT « Protégeons l’assurabilité »
 
Productivité et politique industrielles: deux défis à relever conjointement
Productivité et politique industrielles: deux défis à relever conjointementProductivité et politique industrielles: deux défis à relever conjointement
Productivité et politique industrielles: deux défis à relever conjointement
 
Rapport annuel de Max Havelaar France 2023
Rapport annuel de Max Havelaar France 2023Rapport annuel de Max Havelaar France 2023
Rapport annuel de Max Havelaar France 2023
 

ML Ops a Survey

  • 1. C1 - Public ©Tous droits réservés - Copyright EVA Group Efficient and secure IT for business PRESENTATION ML OPS 14 octobre 2021 Paris
  • 2. C1 - Public 2 ©Tous droits réservés - Copyright EVA Group AGENDA  Le contexte et les acteurs  Rappel du contexte d’un projet Data orienté Machine Learning  Les acteurs  Le cycle de vie du projet data  Cycle  Les 4 étapes détaillées cf. prez Big Data et IA  ML Ops  Pourquoi ? Définition  Les risques d’un projet ML en production  Deux exemples  L’outillage du ML Ops  ML Flow et Databricks  TFX  Autres  Références , web thèque
  • 3. C1 - Public ©Tous droits réservés - Copyright EVA Group MA SUPER SECTION Le contexte et les acteurs
  • 4. C1 - Public 4 ©Tous droits réservés - Copyright EVA Group Le contexte Un projet Data, orienté data science, comprend : • Une problématique métier; • Des données ; • Un modèle.
  • 5. C1 - Public 5 ©Tous droits réservés - Copyright EVA Group Diagramme de Venn largement repris et commenté (Conway-2013) Les domaines de connaissance
  • 6. C1 - Public 6 ©Tous droits réservés - Copyright EVA Group En terme savant What Manager can learn from Philosophy Luc de Brabandere Coursera & Centrale
  • 7. C1 - Public 7 ©Tous droits réservés - Copyright EVA Group Les acteurs Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops Data Owner Data Steward IT Manager Data Engineer Data Scientist ML Engineer DevOps CPO CDO Data Citizen
  • 8. C1 - Public ©Tous droits réservés - Copyright EVA Group MA SUPER SECTION Le cycle de vie du projet Data
  • 9. C1 - Public 12 ©Tous droits réservés - Copyright EVA Group Déroulement d'un projet data : Les étapes Le parcours est itératif et incrémental ! Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops Data Modélisation Déploiement Bilan Cadrage
  • 10. C1 - Public 13 ©Tous droits réservés - Copyright EVA Group Déroulement d'un projet data : étape 1  Qui : le métier, direction générale, Data Stewart, Data manager, CDO, CPO  Comment : Séparer les aspects métiers et les aspects Data Science / Technique. Faire plusieurs réunions de faisabilité et cadrage temps des sprints, Indicateurs clés , ROI potentiel…  Méthodologie : Idéation, Design Thinking, Benchmarking  Résultats : Matrice de décision entre plusieurs projets, Critère d’acceptation / réussite Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops
  • 11. C1 - Public 14 ©Tous droits réservés - Copyright EVA Group Déroulement d'un projet data : étape 2  Qui : Data Engineer, Data Scientist, Data Owner, Data Steward, CDO, CPO  Comment :  Etape 1 Collecte ;  Etape 2 Labellisation , Organisation , Feature Engineering  Outillage : Data Catalogue , Feature Store, Versionning, Reproductibilité , Passage à l’échelle (Big Data), Batch ou Streaming. TFX.  Résultats :Données normalisées , versionnées, lignage, conformes aux réglementations applicables, avoir une baseline Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops
  • 12. C1 - Public 15 ©Tous droits réservés - Copyright EVA Group Déroulement d'un projet data : étape 3  Qui : Data Scientist, Data Engineer, Métier  Comment :  Etape 1 Sélection et entrainement de modèles ;  Etape 2 Analyse de la performance, précision (ML supervisé), Analyse des erreurs (impact)  Outillage : Librairies Open source ou propriétaires, Studio de Data Science,  Résultats : Modèle entrainé, optimisé suivant les contraintes de déploiement, explicabilité Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops
  • 13. C1 - Public 16 ©Tous droits réservés - Copyright EVA Group Déroulement d'un projet data : étape 4  Qui : ML Engineer, Data Engineer, Data Scientist , (Dev)Ops,  Comment :  Etape 1 Déploiement, API fication  Etape 2 Connexion avec un le Data Product : App Mobile, App Web  Etape 3 Monitoring et Maintenance (MLOps)  Outillage : Librairies Open source ou propriétaires, Studio de Data Science,  Résultats : Data Product et modèles instrumentés, ROI , KPI en dashboard Cadrage Acquisition / Organisation de la donnée Modélisation Déploiement , ML Ops
  • 14. C1 - Public 17 ©Tous droits réservés - Copyright EVA Group Illustrations ML Ops (Data Robot)
  • 15. C1 - Public 18 ©Tous droits réservés - Copyright EVA Group Illustrations ML Ops TF extended (TFX)
  • 16. C1 - Public 19 ©Tous droits réservés - Copyright EVA Group Illustrations ML Ops (Versionning)
  • 17. C1 - Public 20 ©Tous droits réservés - Copyright EVA Group Illustrations ML Ops (People)
  • 18. C1 - Public 21 ©Tous droits réservés - Copyright EVA Group Autre version
  • 19. C1 - Public ©Tous droits réservés - Copyright EVA Group ML Ops
  • 20. C1 - Public 23 ©Tous droits réservés - Copyright EVA Group ML Ops Définitions Déployer et Monitorer le ML, Sans oublier la vélocité Bénefices : • Forcer les bonnes pratiques • Adopter un langage/outil commun
  • 21. C1 - Public 24 ©Tous droits réservés - Copyright EVA Group ML Ops Les risques d’un projet ML en production 1. Perte de connaissance du projet (Bus Factor) 2. Crash en production 3. Erreurs/failles de biais (Ethique) ou compliance (Privacy) 4. Les dérives au cours du temps : data Drift , concept drift Pour aller plus loin MITTRE / ATLAS tactiques d’attaque sur le ML https://atlas.mitre.org/
  • 22. C1 - Public 25 ©Tous droits réservés - Copyright EVA Group ML Ops Deux exemples (1/2) Pipeline complet développé rapidement sans documentation, la performance se degrade. Peu de documentation il faut tout reprendre à zero (from scratch).
  • 23. C1 - Public 26 ©Tous droits réservés - Copyright EVA Group ML Ops Deux exemples (2/2) La deuxième société préfère s’équiper d’un outil d’automatisation de la chaîne data. Elle perd un temps de selection et test de l’outil mais automatise sa chaîne pour bénéficier ensuite des meilleures pratiques.
  • 24. C1 - Public ©Tous droits réservés - Copyright EVA Group L’outillage du ML Ops
  • 25. C1 - Public 28 ©Tous droits réservés - Copyright EVA Group Offre Open source Outillage du ML Ops ML Flow de Databricks : société dont les fondateurs sont à l’origine de Spark, bureau à Paris, cont Tensorflow Extended (TFX) de Google, incluant aussi le Data Processing, Le Lignage. Voir slide au-d
  • 26. C1 - Public 29 ©Tous droits réservés - Copyright EVA Group ML flow, demo ? https://mlflow.org/ Outillage du ML Ops En 2018 En 2021
  • 27. C1 - Public 30 ©Tous droits réservés - Copyright EVA Group Focus MLFlow Outillage du ML Ops Installation pip (ou conda) install mlflow !! Une interface Demo …
  • 28. C1 - Public 31 ©Tous droits réservés - Copyright EVA Group Offre liée à des studio de Data Science intégrés Outillage du ML Ops Dataiku , DSS Saas ou OnPrem Prevision.io (Login) Domino datalab (BNP Cardif) Data Robot (Login) Alteryx H2O Valohai Cyberdeck (2022) …
  • 29. C1 - Public 32 ©Tous droits réservés - Copyright EVA Group Faire le lien avec monitoring SOC , NOC …. Outillage du ML Ops / Conclusion Next Step , offre MONA …
  • 30. C1 - Public ©Tous droits réservés - Copyright EVA Group Réferences, Webothèque
  • 31. C1 - Public 34 ©Tous droits réservés - Copyright EVA Group Liste non-exhaustives de sources d’information sur le MLOps Références Moocs Coursera Mooc en quatre parties : ML Engineering for production ( by deeplearning.ai) Vidéo de présentation Articles / blog / medium Domino Data lab lève 100m$ https://aws.amazon.com/fr/blogs/big-data/generating-recommendations-at-amazon- scale-with-apache-spark-and-amazon-dsstne/ Livres blancs SFEIR Valohai Logiciels de Data Science : Dataiku, Data Robot, Alteryx, Prevision.io, Framework : MLFlow, Tensorflow Extended , Metaflow, Michelangelo, Pachyderm, Apache Beam
  • 32. C1 - Public +33 1 86 52 96 40 www.evagroup.f r EVA GROUP Le Monge, 22 Place des Vosges, 92400 Courbevoie merci

Notes de l'éditeur

  1. Ok
  2. Contexte projet Data, orienté DS? Sous-entendu, il y a des projets Data sans DS, par ex Data Analytics, Datawharehouse, BI , Exploratory Data Analysis = EDA Vocabulaire on passe rapidement Data Science / Machine Learning , cf slide suivant plus precise.
  3. http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram Zone de danger, par exemple coder une regression lineaire mais ne pas connaitre l’interpretation des coefficients calculés (faire un dessin de la droite De regression)
  4. https://www.coursera.org/learn/management-philosophy
  5. Voir Wikipedia, data galaxy, guide des métiers Couthon conseil
  6. Ok