Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 1PARIS - SAO PAULO - RABAT – LAUSANNE - SYDN...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 2
NOUVELLES ARCHITECTURES DE DONNÉES
MERIEM ...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 3
NOUVELLES ARCHITECTURES DE DONNÉES
Agenda ...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 4
Les SI traditionnels – les constats
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 5
Des données non collectées et non traitées...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 6
Données cloisonnées, partagées par batch à...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 7
Catalogue
produit
Analyses et
promotion
Pa...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 8
SI traditionnels
CRM Vision client 360 Sin...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 9
Catalogue
d’équipements
Analyses et
promot...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 10
Des évolutions technologiques majeures
ce...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 11
Traiter au
fil de l’eau
Le bon
stockage
p...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 12
Tout
collecter
Nouvelles archi
de données...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 13
Collecteur d’événements
Commandes
Sinistr...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 14
Traiter au
fil de l’eau
Tout
collecter
No...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 15
Collecteur d’événements
Événements
& donn...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 16
Traiter au
fil de l’eau
Tout
collecter
No...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 17
Collecteur d’évènements
Troisième princip...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 18
Traiter au
fil de l’eau
Le bon
stockage
p...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 19
Persistance polyglotte
Recherche/
Vision ...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 20
Expertise
et
Polyvalence
Se donner les mo...
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 21
Intégration/recetteStation de
développeme...
22
© OCTO 2015
À emporter !
www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 23
Le « Batch à
J+1 » n’est plus
une fatalit...
24
© OCTO 2015
Questions
Prochain SlideShare
Chargement dans…5
×

Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

2 669 vues

Publié le

Ces dernières années, nous avons assisté à une évolution majeure de l’écosystème des solutions de gestion de la donnée. Les usages ont également évolué tant sur les aspects analytiques que transactionnels : le batch J+1 n'est plus une fatalité !

Quels constats et quelles perspectives pour les SI traditionnels à l'heure où les technologies événementielles sont de plus en plus accessibles et adoptées ?

Les nouvelles architectures de stockage et traitement de la donnée

Face à l'accroissement du volume de données et de traitements ainsi que la course en avant vers des systèmes toujours plus temps réel, quelles problématiques rencontrent aujourd’hui les grandes DSI ? Toutes ces évolutions sont autant d’opportunités pour de nouvelles innovations dans les Systèmes d’Informations et relever les challenges d’aujourd’hui.

Publié dans : Données & analyses
  • Soyez le premier à commenter

Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

  1. 1. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 1PARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY PETIT- DÉJEUNER NOUVELLES ARCHITECTURES DE DONNÉES
  2. 2. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 2 NOUVELLES ARCHITECTURES DE DONNÉES MERIEM BERKANE - LEADER OFFRE NAD OCTO TECHNOLOGY Agenda du petit-déjeuner COURBO SPARK : EXEMPLE DE MACHINE LEARNING SUR DES SÉRIES TEMPORELLES CHRISTOPHE SALPERWYCK - INGÉNIEUR CHERCHEUR EDF R&D SIMON MABY - DATA SCIENTIST OCTO TECHNOLOGY SPARK + CASSANDRA POUR UNE ARCHITECTURE ÉVÉNEMENTIELLE ET DE L'ANALYTIQUE TEMPS RÉEL VICTOR COUSTENOBLE - SOLUTIONS ENGINEER DATASTAX 2 5 1 4 3 PAUSE ECHANGE
  3. 3. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 3 NOUVELLES ARCHITECTURES DE DONNÉES Agenda du petit-déjeuner COURBO SPARKSPARK : EXEMPLE DE MACHINE LEARNING SUR DES SÉRIES TEMPORELLES SPARK + CASSANDRA POUR UNE ARCHITECTURE ÉVÉNEMENTIELLE ET DE L'ANALYTIQUE TEMPS RÉEL 2 5 1 4 3 PAUSE ECHANGE
  4. 4. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 4 Les SI traditionnels – les constats
  5. 5. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 5 Des données non collectées et non traitées Application Données transactionnelles Données immuables Référentiels Données dérivées SGBDR Parcours client Données externes brutes Relevés bruts de capteurs
  6. 6. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 6 Données cloisonnées, partagées par batch à J+1
  7. 7. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 7 Catalogue produit Analyses et promotion Panier Commandes et facturation E-Commerce Serveur d’application Base de données Serveur d’application Base de données Serveur d’application Base de données Serveur d’application Base de données BATCHS SI traditionnels
  8. 8. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 8 SI traditionnels CRM Vision client 360 Sinistres Assurance Serveur d’application Base de données Serveur d’application Base de données Serveur d’application Base de données BATCHS
  9. 9. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 9 Catalogue d’équipements Analyses et promotion Données de signalisation Incidents Industrie / Telcos Serveur d’application Base de données Serveur d’application Base de données BATCHS SI traditionnels Serveur d’application Base de données Serveur d’application Base de données
  10. 10. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 10 Des évolutions technologiques majeures ces dernières années nous ouvrent des nouvelles opportunités métier
  11. 11. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 11 Traiter au fil de l’eau Le bon stockage pour le bon usage Tout collecter Nouvelles archi de données Décloisonner la donnée Quatre principes directeurs
  12. 12. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 12 Tout collecter Nouvelles archi de données Premier principe
  13. 13. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 13 Collecteur d’événements Commandes Sinistres Mouvements de stocks Paiements par carte, retraits Données externes brutes Relevés bruts de capteurs Mouvements de panier Activité client Appels, SMS Premier principe : tout collecter
  14. 14. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 14 Traiter au fil de l’eau Tout collecter Nouvelles archi de données Deuxième principe
  15. 15. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 15 Collecteur d’événements Événements & données Processus Processus Router immédiatement vers les systèmes et applications concernées par l’événement Détection d’abandon de panier  Remarketing Détection d’une panne matérielle  Contacter le client au plus tôt Relevé de consommation  Optimisation de ressources Un nouveau sinistre déclaré  La vision 360 est à jour ! Deuxième principe : tout traiter au fil de l’eau Processus
  16. 16. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 16 Traiter au fil de l’eau Tout collecter Nouvelles archi de données Décloisonner la donnée Troisième principe
  17. 17. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 17 Collecteur d’évènements Troisième principe : décloisonner la donnée Commandes et facturation Vision 360PanierAnalytique Et promotion Process Donnée enrichie
  18. 18. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 18 Traiter au fil de l’eau Le bon stockage pour le bon usage Tout collecter Nouvelles archi de données Décloisonner la donnée Quatrième principe
  19. 19. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 19 Persistance polyglotte Recherche/ Vision 360 Graphe social des clients Archivage Catalogue Produit Session utilisateur / panier Analytique temps-réel USAGESDonnées transaction- nelles Outils de reporting Cassandra HDFS Vectorwise Neo4J Couchbase /Cassandra PostgreSQL Elasticsearch Couchbase
  20. 20. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 20 Expertise et Polyvalence Se donner les moyens d’y arriver La donnée est : • dupliquée, • enrichie, • partagée, Elle doit donc être gouvernée Environnements complexes  Automatisation de bout en bout  DevOps
  21. 21. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 21 Intégration/recetteStation de développement - 1 instance Kafka - 1 instance Spark - 1 instances Zookeeper - 1 instance Cassandra - 1 IDE - 1 injecteur - 1 jeu de données Une station de développement par développeur - 3 nœuds Kafka - > 4 nœuds Spark - 1 nœuds Zookeeper - > 4 nœuds Cassandra - 1 nœud applicatif - 1 jeu de données représentatif du flux - EDI /EAI Nombre de plateforme d’intégration en fonction du nombre de développeurs Pré-production/Production - 3 nœuds Kafka - > 4 nœuds Spark - 1 nœuds Zookeeper - > 4 nœuds Cassandra - 2 nœuds applicatifs - EDI/EAI - Connection vers le DataLake Une plateforme de pré- production « iso » avec une plateforme de production
  22. 22. 22 © OCTO 2015 À emporter !
  23. 23. www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 23 Le « Batch à J+1 » n’est plus une fatalité ! Ce qu’il faut retenir Quatre principes directeurs • Tout collecter • Traiter en temps-réel • Décloisonner • Stocker intelligemment • Se former • S’outiller • POCer !
  24. 24. 24 © OCTO 2015 Questions

×