Une plateforme Data 360 au Ministère des Armements avec la Suite Elastic
•
0 j'aime•2,991 vues
https://www.elastic.co/elasticon/tour/2019/paris/data-360-platform-at-the-ministry-of-armaments-with-the-elastic-suite Le ministère des Armées génère un grand nombre de données dans les domaines administratifs et opérationnels. Afin d’optimiser l’exploitation de ces données pour une prise de décision plus aisée, le LABO BI et Big data a mis en place une plateforme Big Data/IA dénommée Data360 qui permet de croiser des données de diverses sources (financières, ressources humaines, des IoT…) et également d’utiliser l’intelligence artificielle sur ces données. Cette plateforme utilise en partie des composants de la Suite Elastic.
Contenu connexe
Tendances
Tendances (10)
Similaire à Une plateforme Data 360 au Ministère des Armements avec la Suite Elastic
Similaire à Une plateforme Data 360 au Ministère des Armements avec la Suite Elastic (20)
Plus de Elasticsearch
Plus de Elasticsearch (20)
Une plateforme Data 360 au Ministère des Armements avec la Suite Elastic
- 1. 1 Une Plateforme Data 360 au Ministère des Armées Guillaume VIMONT Data Scientist / Chercheur au LABO BI & BIG DATA 14 février 2019
- 2. 2 Explorer les nouvelles frontières de la donnée au profit du ministère des armées
- 3. 3 Au menu bon appétit ! Point de départ1 Big Bang3 00110011 00110110 001100004 Perspectives5 Killer app2
- 4. 4 POC TWITTER Point de départ
- 5. 5 Point de départ • Exploiter des sources de données externes • Analyser ce qui est dit sur les réseaux sociaux • Utiliser des technologies innovantes orientées « Big Data » • Visualiser les données en mode « Agile » • Démontrer la pertinence de l’exploitation de ces données Réalisation d’un POC avec pour objectifs :
- 6. 6 Après de nombreux tests…
- 7. 7
- 8. 8 Notre architecture pour le POC Après de nombreux tests… Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X)
- 9. 9 … quelques lignes de code plus tard …
- 10. 10 quelques scroll plus tard …
- 11. 11 Au menu Point de départ Big Bang3 00110011 00110110 001100004 Perspectives5 Killer app2 1
- 12. 12 État des lieux Comment est analysée la donnée ? 80% des personnes interrogées utilisent un tableur
- 14. 14 Datafin 360° • Collecter les données financières du ministère des armées • Visualiser et analyser les données d’une façon dynamique et rapide • Accéder à l’information avec un puissant moteur de recherche • Observer des communautés par l’analyse de graphes • Analyser le comportement des délais de paiement • Détecter des anomalies d’imputation • Et bien d’autres services… En quelques mots… la plateforme Datafin 360° permet de :
- 15. 15 Datafin 360° Les principaux composants de l’architecture Flux Chorus ETL BDD Nodes (X) Custom UI Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Machine Learning Security Alerting Machine Learning Graph
- 17. 17 Évènements DP, EJ, IB, MADI Datafin 360° en quelques chiffres Utilisateurs RPROG, RBOP, SE, BPIL … Années Depuis la création de Chorus 1M 1k 10
- 18. 18 DATAFIN 360° contribue de manière décisive à moderniser la fonction financière Ministère des armées
- 19. 19 Au menu Point de départ Big Bang 00110011 00110110 001100004 Perspectives5 Killer app 1 3 2
- 21. 21 DataNRJ 360° La data science au service de l’achat d’énergie #Clustering de courbes de charges #Prévision de consommation #Détections d’anomalies
- 22. 22
- 24. 24 Architecture lambda d’un cluster Datastore Social Web APIs Sensors Nodes (X) Custom UI Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Machine Learning Security Alerting Machine Learning Graph
- 25. 25 Au menu Point de départ Big Bang 00110011 00110110 00110000 Perspectives5 Killer app 1 2 4 3
- 26. 26 00110011 00110110 00110000 Cross Clusters Search
- 27. 27 Chaque projet est un cluster Datafin 360° Data …
- 28. 28 DES SILOS DE CLUSTER ?
- 29. 29 ET SI ON FAISAIT PARLER LES CLUSTERS ENSEMBLE ?
- 30. 30 Cross cluster search Datafin 360° DataRH 360° DataHA 360° DataMCO 360° DataSIC 360° DataNRJ 360°
- 31. 31 Architecture globale Data360° Log Files Metrics Datastore Social Web APIs Sensors Kafka Redis Messagin g Queue Nodes (X) Hadoop Ecosystem Custom UI Authentication Notification ES-Hadoop LDAP AD SSO Instances (X) Master Nodes (3) Ingest Nodes (X) Data Nodes - Hot (X) Data Nodes - Warm (X) Machine Learning Security Alerting Machine Learning Graph
- 32. 32 Au menu Point de départ Big Bang 00110011 00110110 00110000 Perspectives Killer app 1 2 3 5 4
- 34. 34 Perspectives + Data xxxCross Cluster Passage à l’echelle ECE Data360 IA
- 35. 35 Évènements IoT, Finances, RH, MCO, SIC Data 360° en quelques chiffres Utilisateurs Armées, Directions et services Clusters 1 cluster / domaine 5M 10k 15
- 36. 36 Perspectives d’architecture Data 360 3 Lames 1 Lame 1 Lame Data 360 IA Data 360 5 Lames 2 Lames 2 Lames 1 Lame 2 Lames