Le document est un guide destiné aux architectes sur les meilleures pratiques à adopter pour des initiatives big data, en insistant sur l'importance de cadrer les besoins, de travailler progressivement et de faire des choix technologiques éclairés. Il explore également la sécurisation des systèmes techniques et l'organisation des équipes pour favoriser l'innovation. Enfin, il exhorte à itérer sur les projets tout en tenant compte des contraintes techniques et des enjeux de scalabilité.

1. Big Data : Guide de survie à
l’intention des architectes

2. Meriem Berkane
Data Architect - OCTO Technology
@Mriem2B1
Bastien Fiorentino
Data Architect - OCTO Technology
Github.com/BastienF

3. Quels sont les bons
réflexes à adopter
afin de réussir ses
initiatives big data?

4. Architectures Big data : de quoi allons-nous parler ?

5. Stockage et traitements
distribués
Scalabilité horizontale

6. Guide de survie

7. ÉTAPE 1 - Challengez vos motivations
Guide de survie

8. En cadrant votre besoin
Estimez la valeur apportée et le coût
Evitez les démarches hors sol
Ne tombez pas dans le mimétisme technologique

9. Connaissance client 360
Application destinée aux conseillers bancaires, leur permettant de mieux
rebondir commercialement.
Désiloter
Croiser
Restituer

10. Temps réel - Détection des fraudes
Collecter
Alerter
AnalyserS’adapter
Moteur de détection des usurpations d’identité sur les services de
eBanking

11. Mais parfois, il vaut mieux y réfléchir à deux fois…

12. Croisement avec des données externes peu
structurées : météo, données sociales, etc.
Construire une plateforme entreprise mutualisée pour d’
éventuels clients dans un futur incertain
Motivations vagues, boule de cristal magique
Trois exemples de No Go

13. ÉTAPE 2 - Travaillez le métier
Guide de survie

14. Avant de courir, apprenez à marcher :
➔ Augmentez la complexité de vos uses cases
graduellement
➔ Ayez une vision, mais aussi des jalons et des
étapes

15. Connaissance client Catégorisation Détection de fraudes
Une démarche progressive et une prise de risque maîtrisée
Désiloter Enrichir Temps Réel

16. Trouvez les contraintes réelles et
les compromis possibles

17. Cadrez aussi bien les parties Big data que
les autres aspects du produit

18. Applications de
e-banking
Archivage
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

19. Applications de
e-banking
Archivage
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

20. ÉTAPE 3 - Faites des choix éclairés
Guide de survie

21. L’écosystème Big data est
très large
Notre métier est de choisir la
bonne technologie pour le
bon usage

22. Evaluez avec précaution…
➔ Les volumes et débits, ratios lectures/écritures
➔ Les capacités et latences de traitements requises
➔ Les volumes intermédiaires induits par les cas d’usage
➔ ...
Mais n’oubliez pas que tous les modèles sont faux, seuls
certains sont utiles…

23. Catalogues produits et Systèmes de réservation
Applications exposées sur le web offrant en temps réel la
disponibilité et la tarification d’une gamme d’offres et la
possibilité d’effectuer des réservations en 24/7

24. Catalogue produit et réservation
API publique redondée (NodeJS)
Consultation des dispos et prix Réservation
API d’accès aux données redondée (NodeJS)
Lecture - Faible latence Écriture - pré-calculs
Stockage distribué et cache - Couchbase

25. ÉTAPE 4 - Sécurisez la technique
Guide de survie

26. Limitez au maximum le nombre de briques techniques
➔ Les ajouter itérativement en les corrélant aux besoins

27. « Un système complexe qui fonctionne se trouve
invariablement avoir évolué depuis un système simple qui
fonctionnait »
– John Gall

28. Applications de
e-banking
Archivage
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

29. Applications de
e-banking
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes

30. Applications de
e-banking
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

31. Applications de
e-banking
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

32. Applications de
e-banking
Archivage
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels

33. Applications de
e-banking
Archivage
Exposition des
opérations
utilisateur
Back Office
Moteur de
scoring
Stockage puis
traitement des
opérations
Remontée
des alertes
Détection des fraudes
Remonté
référentiels
Scoring par
machine learning

34. ÉTAPE 5 - Donnez-vous les moyens d’y arriver
Guide de survie

35. Faites auditer votre architecture et votre implémentation

36. Une infrastructure bien dimensionnée dès le départ de la
production jusqu’aux environnements de développement
➔ DevOPS et industrialisation sont vos amis
➔ Les recommandations liés aux produits utilisés sont à
appliquer scrupuleusement

37. Etape 0 - Mais avant tout… S’organiser en
aménageant des zones franches
Guide de survie

38. Une équipe de corsaires
➔ pluridisciplinaire et colocalisée
➔ Dans un espace sans silo, ouvert
Avec des zones franches
➔ Alléger les contraintes, simplifier les règles et
favoriser l’action
Pour faire autrement
➔ Créer
➔ Tester et apprendre
➔ Échouer et réussir

39. Take away
Itérez
Partez petit,
voyez grand !
Cadrez votre
besoin
Faites des choix
éclairés en
évaluant vos
contraintes
Challengez et
adaptez votre
organisation
Ne sous-estimez pas le facteur d’échelle à tous les niveaux

40. MERCI