Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 1PARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY
PETIT- DÉJEUNER
NOUVELLES
ARCHITECTURES
DE DONNÉES

www.octo.com - www.usievents.comPARIS - SAO PAULO - RABAT – LAUSANNE - SYDNEY 2
NOUVELLES ARCHITECTURES DE DONNÉES
MERIEM BERKANE - LEADER OFFRE NAD OCTO TECHNOLOGY
Agenda du petit-déjeuner
COURBO SPARK : EXEMPLE DE MACHINE LEARNING SUR DES SÉRIES
TEMPORELLES
CHRISTOPHE SALPERWYCK - INGÉNIEUR CHERCHEUR EDF R&D
SIMON MABY - DATA SCIENTIST OCTO TECHNOLOGY
SPARK + CASSANDRA POUR UNE ARCHITECTURE ÉVÉNEMENTIELLE ET
DE L'ANALYTIQUE TEMPS RÉEL
VICTOR COUSTENOBLE - SOLUTIONS ENGINEER DATASTAX
2
5
1
4
3 PAUSE
ECHANGE

NOUVELLES ARCHITECTURES DE DONNÉES
Agenda du petit-déjeuner
COURBO SPARKSPARK : EXEMPLE DE MACHINE
LEARNING SUR DES SÉRIES TEMPORELLES
SPARK + CASSANDRA POUR UNE ARCHITECTURE
ÉVÉNEMENTIELLE ET DE L'ANALYTIQUE TEMPS RÉEL
2
5
1
4
3 PAUSE
ECHANGE

Les SI traditionnels – les constats

Des données non collectées et non traitées
Application
Données
transactionnelles
Données
immuables
Référentiels
Données
dérivées
SGBDR
Parcours
client
Données externes
brutes
Relevés bruts de
capteurs

Données cloisonnées, partagées par batch à J+1

Catalogue
produit
Analyses et
promotion
Panier
Commandes
et facturation
E-Commerce
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
BATCHS
SI traditionnels

SI traditionnels
CRM Vision client 360 Sinistres
Assurance
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
BATCHS

Catalogue
d’équipements
Analyses et
promotion
Données de
signalisation
Incidents
Industrie / Telcos
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données
BATCHS
SI traditionnels
Serveur
d’application
Base de
données
Serveur
d’application
Base de
données

Des évolutions technologiques majeures
ces dernières années nous ouvrent des
nouvelles opportunités métier

Traiter au
fil de l’eau
Le bon
stockage
pour le bon
usage
Tout
collecter
Nouvelles archi
de données
Décloisonner
la donnée
Quatre principes directeurs

Tout
collecter
Nouvelles archi
de données
Premier principe

Collecteur d’événements
Commandes
Sinistres
Mouvements
de stocks
Paiements par
carte, retraits
Données externes
brutes
Relevés bruts de
capteurs Mouvements de
panier
Activité client
Appels, SMS
Premier principe : tout collecter

Traiter au
fil de l’eau
Tout
collecter
Nouvelles archi
de données
Deuxième principe

Collecteur d’événements
Événements
& données
Processus
Processus
Router immédiatement vers les
systèmes et applications
concernées par l’événement
Détection d’abandon de panier
 Remarketing
Détection d’une panne matérielle
 Contacter le client au plus tôt
Relevé de consommation
 Optimisation de ressources
Un nouveau sinistre déclaré
 La vision 360 est à jour !
Deuxième principe : tout traiter au fil de l’eau
Processus

Traiter au
fil de l’eau
Tout
collecter
Nouvelles archi
de données
Décloisonner
la donnée
Troisième principe

Collecteur d’évènements
Troisième principe : décloisonner la donnée
Commandes et
facturation
Vision 360PanierAnalytique
Et promotion
Process
Donnée
enrichie

Traiter au
fil de l’eau
Le bon
stockage
pour le bon
usage
Tout
collecter
Nouvelles archi
de données
Décloisonner
la donnée
Quatrième principe

Persistance polyglotte
Recherche/
Vision 360
Graphe
social
des clients
Archivage
Catalogue
Produit
Session
utilisateur /
panier
Analytique
temps-réel
USAGESDonnées
transaction-
nelles
Outils de
reporting
Cassandra
HDFS
Vectorwise
Neo4J
Couchbase
/Cassandra
PostgreSQL
Elasticsearch
Couchbase

Expertise
et
Polyvalence
Se donner les moyens d’y arriver
La donnée est :
• dupliquée,
• enrichie,
• partagée,
Elle doit donc être
gouvernée
Environnements
complexes
 Automatisation
de bout en bout
 DevOps

Intégration/recetteStation de
développement
- 1 instance Kafka
- 1 instance Spark
- 1 instances Zookeeper
- 1 instance Cassandra
- 1 IDE
- 1 injecteur
- 1 jeu de données
Une station de développement
par développeur
- 3 nœuds Kafka
- > 4 nœuds Spark
- 1 nœuds Zookeeper
- > 4 nœuds Cassandra
- 1 nœud applicatif
- 1 jeu de données
représentatif du flux
- EDI /EAI
Nombre de plateforme
d’intégration en fonction du
nombre de développeurs
Pré-production/Production
- 3 nœuds Kafka
- > 4 nœuds Spark
- 1 nœuds Zookeeper
- > 4 nœuds Cassandra
- 2 nœuds applicatifs
- EDI/EAI
- Connection vers le
DataLake
Une plateforme de pré-
production « iso » avec une
plateforme de production

Le « Batch à
J+1 » n’est plus
une fatalité !
Ce qu’il faut retenir
Quatre principes
directeurs
• Tout collecter
• Traiter en
temps-réel
• Décloisonner
• Stocker
intelligemment
• Se former
• S’outiller
• POCer !

Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

Contenu connexe

En vedette

Similaire à Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

Plus de OCTO Technology

Petit Déjeuner Datastax 14-04-15 : Les nouvelles architectures de stockage et de traitement de la donnée

Notes de l'éditeur