Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Julien Barbier
Directeur de
programme
Big Data
Evolution
Systèmes Distribués
Instabilité
Imprévisibilité
Auto-organisation
Émergences de structures cohérentes
Non déterminisme
Rétroaction
Brisure de ...
Une question de Style
Le log
Leslie Lamport
Théorème CAP
La notion
d’évènement
Tyler Akidau
YAGNI
OverEngineering
Cargo Cult
Software is eating the World
Thermodynamique des
architectures de flux
www.octo.com - www.usievents.com - @OCTOTechnologyPARIS - SAO PAULO - RABAT - LAUSANNE - SYDNEY 22
LE PETIT DÉJEUNER VOUS ...
Le système d’information
comme structure dissipative
REX BDDF
PROGRAMME DATA
Le programme Data,
lancé en 2016,
regroupe 3
expérimentations
sélectionnées à la fois
par le métier et la DSI
3 uses cases pour répondre à des enjeux métiers de plus en
plus ambitieux
Rebond 360 PFM / BFM Lutte contre la fraude
Rebond 360 PFM / BFM Lutte contre la fraude
Une démarche progressive et une prise de risque maîtrisée
T0 T1 T2
La vision données
Collecte des
données à la
source
Collecte massive
initiale et Restitution
Refonte de fonctionnalités
exi...
Référentiels
Référentiel personne Offres produits Nomenclatures
Autres
(pays, taux, etc.)
GRC - Gestion de la relation cli...
teradata
référentiel personne
relations client
Dossier client
Synthèse financière
Indicateurs client
OAP, etc.mainframe
.....
Création d’intelligence sur les
données existantes
Collecte des
données à la source
cassandra
serveurs d’application JEE
h...
LES FONDATIONS
BÂTIR LE SOCLE DE
DONNÉES
Rebond360
Application destinée aux conseillers
particuliers leur permettant de mieux
rebondir commercialement.
Montrer de la valeur au plus vite pour gagner la confiance des utilisateurs et des sponsors
Collecte, traitement et stocka...
mainframe teradata
Hadoop et Spark
cassandra
référentielclient
relations client
serveurs d’application JEE
Indicateurs cli...
Novembre
2016
Début de
Rebond
Avril
2017
Ouverture du
service Rebond
360
Mai, Juin,…
Septembre 2017
Mises à jour
fonctionn...
APPORTER DE
L’INTELLIGENCE
PFM/BFM
L’application PFM est destinée aux clients
particuliers et professionnels afin de
mieux gérer leurs finances :
- U...
Apporter de la valeur en capitalisant sur les travaux précédents
PFM/BFM
Déroulé
Apporter de la valeur en capitalisant sur les travaux précédents
Déroulé
PFM/BFM
Collecte des sources
Exposition des
mouve...
Apporter de la valeur en capitalisant sur les travaux précédents
Déroulé
PFM/BFM
Collecte des sources
Exposition des
mouve...
Apporter de la valeur en capitalisant sur les travaux précédents
Déroulé
PFM/BFM
Collecte des sources
Exposition des
mouve...
Apporter de la valeur en capitalisant sur les travaux précédents
Déroulé
PFM/BFM
Collecte des sources
Exposition des
mouve...
mainframe teradata
cassandra
mouvements
Serveurs web
opt-out à la catégorisation
type de compte : particuliers /pro
extrac...
mainframe teradata
cassandra
mouvements
Serveurs web
opt-out à la catégorisation
type de compte : particuliers /pro
machin...
Approche par moteur de règles
Bénéfice de l’expertise métier
Certaines règles sont fiables à 100 %
Extraction de features ...
mouvements règles métier
entraînement du modèleprédictif
sur les mouvements catégorisés
manuellement
traduction et
intégra...
Milestones
Novembre
2016
Début de
Rebond
Avril
2017
Première ouverture
du service Rebond
360
Mai, Juin,…
Septembre 2017
Mi...
LE TEMPS RETROUVÉ
Lutte contre la fraude
Collecter
Alerter
AnalyserS’adapter
Milestones
Juillet
2017
Lancement du
cadrage lutte
contre la
fraude
Aout
2017
Début des
développements
Novembre
2017
Premi...
Elargir le champs des possibles
Collecter, Analyser, Alerter, S’adapter
Lutte contre la fraude
Collecte des
actions
1 Temp...
Elargir le champs des possibles
Collecter, Analyser, Alerter, S’adapter
Lutte contre la fraude
Collecte des
actions
1 Temp...
Elargir le champs des possibles
Collecter, Analyser, Alerter, S’adapter
Lutte contre la fraude
Collecte des
actions
1 Temp...
Elargir le champs des possibles
Collecter, Analyser, Alerter, S’adapter
Lutte contre la fraude
Collecte des
actions
1 Temp...
Cassandra
Applications de
e-banking
Archivage
Expositiondes
opérations
utilisateur
Kafka
Back Office
API de
scoring
Stocka...
A EMPORTER
Itérer
Si on n’avait pas réussi à
mettre en production Rebond
360 on aurait moins réussi les
autres !
Mettre la technique ...
Résister à la tentation de
lancer trop de chantiers en
même temps
Prendre le temps devalider
chacune des étapes
Industrial...
Les logiciels sont le reflet de l’organisation
qui les a construits
Loi de Conway
Repenser
l’innovation
Zone franche
Alléger les contraintes
Simplifier les règles
Favoriser l’action
Equipe de corsaires
Se...
MERCI
Annexes
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.
Prochain SlideShare
Chargement dans…5
×

UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.

1 611 vues

Publié le

BNP Paribas était présent pour témoigner de sa démarche avec un retour sur la mise en œuvre de ces nouvelles architectures de données.


Un menu copieux pour cette rentrée des petits-déjeuners OCTO avec un focus sur les architectures de données, un témoignage de BNP Paribas, un retour sur la mise en œuvre de ces nouvelles architectures de données et, cerise sur le gâteau, une mise en perspective de la tendance vers des architectures de flux à l’occasion de la publication du livre blanc Digital Studies Vol.02 : La question du temps dans les architectures digitales.



Les données sont là, initialement éclatées dans différents silos applicatifs. Mais maintenant qu’elles commencent à alimenter un Data Lake sous Hadoop, que va-t-on en faire ? Comment les valoriser ? Comment créer de nouveaux services à valeur ajoutée ?



BNP Paribas était là poue témoigner de sa démarche – initiée par des expérimentations autour des data - pour proposer dès à présent de nouveaux services (trois projets seront évoqués).



OCTO a présenté le retour d'expérience sur la mise en œuvre de ces nouvelles architectures de données, incluant les technologies Hadoop, Spark, Cassandra, Solr ainsi que des expérimentations sur le Machine Learning, tout en soulignant les méthodes de travail utilisées avec des équipes mixtes BNP Paribas / OCTO.


Ce petit-déjeuner a aussi été l’occasion de vous présenter et de vous remettre une version imprimée du livre blanc Digital Studies Vol.02, consacré aux questions d’architecture, notamment aux nouvelles architectures de flux.

Publié dans : Technologie

UN ÉLÉPHANT QUI SE BALANÇAIT … Comment mettre en musique les big data et valoriser les données avec de nouveaux services.

  1. 1. Julien Barbier Directeur de programme Big Data
  2. 2. Evolution
  3. 3. Systèmes Distribués
  4. 4. Instabilité Imprévisibilité Auto-organisation Émergences de structures cohérentes Non déterminisme Rétroaction Brisure de symétrie Résultats probabilistes
  5. 5. Une question de Style
  6. 6. Le log
  7. 7. Leslie Lamport
  8. 8. Théorème CAP
  9. 9. La notion d’évènement
  10. 10. Tyler Akidau
  11. 11. YAGNI OverEngineering Cargo Cult
  12. 12. Software is eating the World
  13. 13. Thermodynamique des architectures de flux
  14. 14. www.octo.com - www.usievents.com - @OCTOTechnologyPARIS - SAO PAULO - RABAT - LAUSANNE - SYDNEY 22 LE PETIT DÉJEUNER VOUS A PLU ? Nos équipes sont là pour récupérer votre questionnaire de satisfaction à la sortie !
  15. 15. Le système d’information comme structure dissipative
  16. 16. REX BDDF PROGRAMME DATA
  17. 17. Le programme Data, lancé en 2016, regroupe 3 expérimentations sélectionnées à la fois par le métier et la DSI
  18. 18. 3 uses cases pour répondre à des enjeux métiers de plus en plus ambitieux Rebond 360 PFM / BFM Lutte contre la fraude
  19. 19. Rebond 360 PFM / BFM Lutte contre la fraude Une démarche progressive et une prise de risque maîtrisée T0 T1 T2
  20. 20. La vision données Collecte des données à la source Collecte massive initiale et Restitution Refonte de fonctionnalités existantes Données existantes exposées Intelligence sur les données existantes Fonctionnalités complètement nouvelles
  21. 21. Référentiels Référentiel personne Offres produits Nomenclatures Autres (pays, taux, etc.) GRC - Gestion de la relation client Dossier client Relation client Aide à la vente (OAP, etc.) Autres (pilotage Marketing, etc.) Canaux Gestion administrative client Synthèse financière Autres SD - Systèmes Distributeurs Tenue de compte / calcul de position Dépôts à vue Épargne Financements Flux Autres (titres, placements, etc.) Réseau d’agences Banque en ligne Autres (téléphonique, etc) La cartographie fonctionnelle de l’existant
  22. 22. teradata référentiel personne relations client Dossier client Synthèse financière Indicateurs client OAP, etc.mainframe ... OAPRP DC RC L’existant : un SI siloté et des données cloisonnées
  23. 23. Création d’intelligence sur les données existantes Collecte des données à la source cassandra serveurs d’application JEE hadoop publication exposition archivage Données existantes exposées enrichissement Streaming collecte La big picture
  24. 24. LES FONDATIONS BÂTIR LE SOCLE DE DONNÉES
  25. 25. Rebond360 Application destinée aux conseillers particuliers leur permettant de mieux rebondir commercialement.
  26. 26. Montrer de la valeur au plus vite pour gagner la confiance des utilisateurs et des sponsors Collecte, traitement et stockage de la donnée Rebond360 Collecte des sources RP, RMT, indicateurs, etc. 1 Structuration et Stockage dans Cassandra Structuration3 Application R3604données brutes 2 Historisation dans le datalake Archivage des Objectifs ● Valider une première architecture technique ● Valider des briques nouvelles pour la BNPP : Hadoop, Spark, Cassandra ● Se rassurer sur la capacité à délivrer en production Gains ● Satisfaction des clients et des sponsors (embarqués dans la démarche de construction et impliqués dans la Vision) ● Suscité l’envie d’aller plus loin et de s’attaquer à de nouveaux challenges Données exposées pour les applications
  27. 27. mainframe teradata Hadoop et Spark cassandra référentielclient relations client serveurs d’application JEE Indicateurs client croisement enrichissement extraction archivage exposition consommation publication Rebond 360
  28. 28. Novembre 2016 Début de Rebond Avril 2017 Ouverture du service Rebond 360 Mai, Juin,… Septembre 2017 Mises à jour fonctionnelles et techniques Milestones
  29. 29. APPORTER DE L’INTELLIGENCE
  30. 30. PFM/BFM L’application PFM est destinée aux clients particuliers et professionnels afin de mieux gérer leurs finances : - Un moteur de règles et un modèle de prédiction évolutifs viennent améliorer la catégorisation automatique des mouvements - La simplification des libellés contribue à rendre plus lisibles les mouvements sur la nouvelle interface client
  31. 31. Apporter de la valeur en capitalisant sur les travaux précédents PFM/BFM Déroulé
  32. 32. Apporter de la valeur en capitalisant sur les travaux précédents Déroulé PFM/BFM Collecte des sources Exposition des mouvements 1 Objectifs ● Réutiliser l’infrastructure mise en place pour Rebond 360 Gains ● Confiance en la plateforme
  33. 33. Apporter de la valeur en capitalisant sur les travaux précédents Déroulé PFM/BFM Collecte des sources Exposition des mouvements 1 Python 2 Validation de l’approche règles + ML (fail fast) Prototypage Objectifs ● Réutiliser l’infrastructure mise en place pour Rebond 360 ● Valider une approche bipartite : règles + modèle prédictif Gains ● Confiance en la plateforme ● Démonstration de la capacité à construire un modèle fondé sur l’apprentissage automatique et à le mettre en production
  34. 34. Apporter de la valeur en capitalisant sur les travaux précédents Déroulé PFM/BFM Collecte des sources Exposition des mouvements 1 Industrialisation Moteur : Scala Modèle : PMML 3Python 2 Validation de l’approche règles + ML (fail fast) Prototypage Objectifs ● Réutiliser l’infrastructure mise en place pour Rebond 360 ● Valider une approche bipartite : règles + modèle prédictif ● Mettre en place une chaîne automatisée de mise à jour Gains ● Confiance en la plateforme ● Démonstration de la capacité à construire un modèle fondé sur l’apprentissage automatique et à le mettre en production ● Mise en place d’un moteur de règles facilement configurable par un utilisateur non technique (via Excel)
  35. 35. Apporter de la valeur en capitalisant sur les travaux précédents Déroulé PFM/BFM Collecte des sources Exposition des mouvements 1 Industrialisation Moteur : Scala Modèle : PMML 3 Application PFM4Python 2 Validation de l’approche règles + ML (fail fast) Prototypage Objectifs ● Réutiliser l’infrastructure mise en place pour Rebond 360 ● Valider une approche bipartite : règles + modèle prédictif ● Mettre en place une chaîne automatisée de mise à jour Gains ● Confiance en la plateforme ● Démonstration de la capacité à construire un modèle fondé sur l’apprentissage automatique et à le mettre en production ● Mise en place d’un moteur de règles facilement configurable par un utilisateur non technique (via Excel) Mise en service
  36. 36. mainframe teradata cassandra mouvements Serveurs web opt-out à la catégorisation type de compte : particuliers /pro extraction archivage consommation exposition des données catégorisation simplification intégration des mouvements bruts PFM/BFM Hadoop et Spark
  37. 37. mainframe teradata cassandra mouvements Serveurs web opt-out à la catégorisation type de compte : particuliers /pro machine learning extraction archivage Application de la catégorisation et de la simplification sur les mouvements consommation exposition des données règles métier catégorisation simplification intégration des mouvements bruts PFM/BFM Hadoop et Spark
  38. 38. Approche par moteur de règles Bénéfice de l’expertise métier Certaines règles sont fiables à 100 % Extraction de features pour l’apprentissage Extraction de texte pour simplifier le libellé > Volet déterministe CATEGORISATION Le meilleur des deux mondes Approche par apprentissage Règles apprises sur des exemples Utilisables sur des cas marginaux hors règles Utilise des features issues du moteur de règles Exige la constitution manuelle d’exemples > Volet statistique
  39. 39. mouvements règles métier entraînement du modèleprédictif sur les mouvements catégorisés manuellement traduction et intégration dumodèle rédaction derègles de classification classification manuelled’un jeu d’entraînement Modèlede prédictionmoteur de règles data lab Python+ XgBoost Apprentissage Prédiction Fichier PMML Mouvements catégorisés avec libellés simplifiés Intégration des règles métier PFM/BFM l’apprentissage du modèle Hadoop et Spark
  40. 40. Milestones Novembre 2016 Début de Rebond Avril 2017 Première ouverture du service Rebond 360 Mai, Juin,… Septembre 2017 Mises à jour fonctionnelles et techniques Janvier 2017 Début de PFM Septembre 2017 Première ouverture du service PFM
  41. 41. LE TEMPS RETROUVÉ
  42. 42. Lutte contre la fraude Collecter Alerter AnalyserS’adapter
  43. 43. Milestones Juillet 2017 Lancement du cadrage lutte contre la fraude Aout 2017 Début des développements Novembre 2017 Première ouverture du service
  44. 44. Elargir le champs des possibles Collecter, Analyser, Alerter, S’adapter Lutte contre la fraude Collecte des actions 1 Temporisation3 Validation4Détection2 FEEDBACK MÉTIER
  45. 45. Elargir le champs des possibles Collecter, Analyser, Alerter, S’adapter Lutte contre la fraude Collecte des actions 1 Temporisation3 Validation4Détection2 FEEDBACK MÉTIER Objectifs ● Introduire des techniques « temps réel » Gains ● Proposer de nouveaux type de Use Cases aux métiers
  46. 46. Elargir le champs des possibles Collecter, Analyser, Alerter, S’adapter Lutte contre la fraude Collecte des actions 1 Temporisation3 Validation4Détection2 FEEDBACK MÉTIER Objectifs ● Introduire des techniques « temps réel » ● Être réactif aux évolutions de modèle jusqu’à la Prod Gains ● Proposer de nouveaux type de Use Cases aux métiers ● Fluidification du pipeline de la conception à la prod
  47. 47. Elargir le champs des possibles Collecter, Analyser, Alerter, S’adapter Lutte contre la fraude Collecte des actions 1 Temporisation3 Validation4Détection2 FEEDBACK MÉTIER Objectifs ● Introduire des techniques « temps réel » ● Être réactif aux évolutions de modèle jusqu’à la Prod ● Devenir fournisseur de données Gains ● Proposer de nouveaux type de Use Cases aux métiers ● Fluidification du pipeline de la conception à la prod ● Force de proposition en dehors des services existants
  48. 48. Cassandra Applications de e-banking Archivage Expositiondes opérations utilisateur Kafka Back Office API de scoring Stockage puis traitementdes opérations Remontéedes alertes Lutte contre la fraude Hadoop et Spark
  49. 49. A EMPORTER
  50. 50. Itérer Si on n’avait pas réussi à mettre en production Rebond 360 on aurait moins réussi les autres ! Mettre la technique au service du métier et non l’inverse L’essentiel n’est pas de calquer une architecture vue quelque part mais de la tirer par lesbesoins Mettre en place une véritable infrastructure de production dès le début même pour une expérimentation Ce que nous avons appris
  51. 51. Résister à la tentation de lancer trop de chantiers en même temps Prendre le temps devalider chacune des étapes Industrialiser au plus tôt les développements pour bénéficier d’un harnais de sécurité solide absorbant la mouvance des règles métiers Tracer la dette technique et fonctionnelle et bâtir un plan pour lanettoyer Ce que nous avons appris
  52. 52. Les logiciels sont le reflet de l’organisation qui les a construits Loi de Conway
  53. 53. Repenser l’innovation Zone franche Alléger les contraintes Simplifier les règles Favoriser l’action Equipe de corsaires Se donner les moyens de former des équipes pluri-disciplinaires Espaces de travail Ailleurs Différent Stimulant Créatif Pour faire autrement Créer Tester et apprendre Échouer et réussir Loi de Conway
  54. 54. MERCI
  55. 55. Annexes

×