© Soft Computing – www.softcomputing.com
Big Data by Soft Computing
Big Data, tout le monde en parle…
Soft Computing le pr...
© 3
Merci de votre présence
Sylvain BELLIER
Directeur du pôle Marketing
Services Soft Computing
© 4
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usag...
© 5
Compétences InterlocuteursPrestations Modalités Marchés
Data
Science
Information
Technologies
Direction Digital,
Marke...
© 6
Big Data : ça reste à mode
© 7
Oui, mais on aborde la vallée des désillusions
Big Data
© 8
Du vécu métier
2003 2015
Web mining
15 M Clients
5 ans
Recommandations
Temps réel
Réseaux
d’influence
Analyse de
senti...
© 9
Du recul aussi sur le plan technique
© 10
Mais également de l’humilité…
© 11
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 12
Défi technique #1 : se préparer à gérer des volumes inimaginables
2005 2015
© 13
Défi technique #2 : sortir de la quadrature du triangle
2005 2015
Disponibilité
« Les données sont
toujours accessibl...
© 14
Défi technique #3 : exécuter tout calcul en moins de 0,14
secondes
2005 2015
Trading Desk
(ATD)
Editeur de
site
Deman...
© 16
Un segment (sur?) peuplé
Xaas
Hardware
Projets Open SourceDistributions
Données AnalyseVisualisation Application
EMR
...
© 17
Les grandes familles NoSQL
SQL
Cohérence
indispensable
Relationnel
Oracle, SQL
Server, DB2…
Clé-
valeur
Structure sim...
© 18
Les caractéristiques communes
Nosql
Non-
relationnel
Evolutivité
horizontale
Traitement
distribué
Débit rapide
Matéri...
© 19
Trouver un nouvel équilibre
« Since the inception of ebay,
not a single data was
deleted ! »
Meg Whitman, DG eBay
« T...
© 20
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 21
Big data 2015
Démocratisation
© 22
Démocratisation hardware
5 nœuds
1 namenode, 20 cœurs, 192 Go ram
4 datanodes, 64 cœurs, 64 Gb ram, 10 To DD
© 23
Démocratisation : stockage
© 24
Démocratisation : outils de datavisualisation
© 25
Démocratisation : de plus en plus de données en libre service
© 26
Démocratisation : de plus en plus de données à coût modique
© 27
Démocratisation : analytique ML en cloud
© 28
Démocratisation : ML « as a service »
© 29
Impact sur les usages : notre synthèse
+
Données
Détail
Temps réel
Prédictif
Non-
structuré
Ouvert sur
l’extérieur
Au...
© 30
Données Détail
Elément de structure
Région
Segment
Bonne
gamme
Client
Mr XXX
Contrat
Compte
courant
Ecriture
Code
com...
© 31
Décisionnel
analytique
Temps réel
Transaction
opérationnelle
Evénements
Traitement
métier
Stockage
données
Intercepti...
© 32
Non-structuré
Streams sociaux Weblogs Capteurs E-mails
Détail transactions Pages web Documents scannés Trace GPS
Donn...
© 33
Autonome
© 34
HybrideSystèmessources
SystèmesbancairesdeproductionExternes
ETL Appliance
Entrepôt
Vision unique
du client
Datamarts...
© 35
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 36
Les nouveaux besoins d’analyse
Améliorer la performance
de détection / de prévision
avec des données exogènes
Agilité...
© 37
Les nouvelles méthodologies utilisées
Random Forest
Boosting Gradient
Machine
Textmining/
Voicemining
Réseau Bayesien...
© 38
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 39
Où est quoi : architecture générale
Big data : données
chaudes
Big data : données
froides
Dataware : données
structur...
© 40
Cohabitation Datawarehouse et big data
Connecteurs
SQL
Loader
(import/export)
© 41
Outillage : exemples
Query BI Dataviz Statistique Machine
learning
Script Langage Environne
ment
Couche d’accès
© 42
Connecteurs
Loader
Couche d’accès
Query
StockerExplorerTransformerModéliserAppliquer
BI Dataviz Statistique Machine
l...
© 43
Compétences * fonctions
MarketingDatascience Programmation
Stocker
Explorer
Transformer
Modéliser
Appliquer
© 44
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 45
Exemple de problématique
© 46
Solution fonctionnelle
Prototyper l’algorithme de
substitution
Produire la matrice
d’association
Suivre et optimiser ...
© 47
Architecture
Lab data Large Data Fast Data
Prototyper l’algorithme de
substitution
Produire la matrice
d’association
...
© 48
Lab data Large Data Fast Data
© 49
Planning
Run
Initialisation du centre de services
Conception et réalisation « large »
Maintenance
Monitoring applicat...
© 50
SOMMAIRESommaire
1. Introduction
2. Big Data : le décor
3. Big Data : quoi de neuf ?
4. Analyses : évolutions des usa...
© 51
R.O.I.
Connaissance Datamining
Assortiments en magasins
Rapports
Rapports industriels
Données : vision 360° client et...
© 52
Best-of-breed intégré et verticalisé avec IBM
Outils
© 53
Cibler des R.O.I. < 6 mois
© 54
Reconsidérer chaque
année les ROI : les
barrières à l’entrée
baissent toujours plus
© 55
Offre de services
S
ensibilisation
tratégie
andbox
R
oadmap
ollout
un
© 56
Prochain SlideShare
Chargement dans…5
×

Big Data by Soft Computing - Lille

1 618 vues

Publié le

Big Data, tout le monde en parle…
Soft Computing le pratique au quotidien : applications marketing, concepts, outils, retours d’expérience.

Big Data s’impose comme une réalité incontournable. Mais qu’en est-il réellement des retours sur investissements ? Quelles en sont les applications concrètes en marketing ? Par où et comment commencer ? Comment s’organiser entre le marketing et la DSI pour tirer profit des big data ? Comment exploiter les données des réseaux sociaux et les logs web ? Quelles sont les données légalement et techniquement exploitables ? Comment choisir entre internalisation et externalisation, entre « first party » et « third party » ? Quelles possibilités pour capter et exploiter les données issues de la mobilité ?

Notre expérience de plusieurs dizaines d’années hommes sur des projets concrets et nos investissements en R&D nous permettent aujourd’hui de vous apporter des réponses à ces multiples questions. Nous nous appuierons en particulier sur 3 cas concrets illustrant :
1. L’augmentation des ventes croisées grâce à un moteur de recommandations en ligne pour un site de e-Commerce ;
2. L’enrichissement de la connaissance et de l’interaction client et marché par une écoute active des réseaux sociaux ;
3. Une amélioration de l’expérience client grâce au monitoring et à l’analyse des parcours client.

Publié dans : Technologie
  • Soyez le premier à commenter

Big Data by Soft Computing - Lille

  1. 1. © Soft Computing – www.softcomputing.com Big Data by Soft Computing Big Data, tout le monde en parle… Soft Computing le pratique au quotidien : concepts, outils, applications marketing, retours d’expérience. 12/06/2015
  2. 2. © 3 Merci de votre présence Sylvain BELLIER Directeur du pôle Marketing Services Soft Computing
  3. 3. © 4 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  4. 4. © 5 Compétences InterlocuteursPrestations Modalités Marchés Data Science Information Technologies Direction Digital, Marketing, Data IT AMOA Think Build Run Délégation d’expertise Mode projet Centre de services Digital Marketing Clients : 80% des F500 Français 12 pays servis Expertises Sectorielles Retail FinanceServices Industrie Carte d’identité : spécialiste Digital, Big Data & CRM Spécialiste Digital : 12,6 M€ Big Data: 11 M€ CRM: 14,5 M€
  5. 5. © 6 Big Data : ça reste à mode
  6. 6. © 7 Oui, mais on aborde la vallée des désillusions Big Data
  7. 7. © 8 Du vécu métier 2003 2015 Web mining 15 M Clients 5 ans Recommandations Temps réel Réseaux d’influence Analyse de sentiments 50 To+
  8. 8. © 9 Du recul aussi sur le plan technique
  9. 9. © 10 Mais également de l’humilité…
  10. 10. © 11 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  11. 11. © 12 Défi technique #1 : se préparer à gérer des volumes inimaginables 2005 2015
  12. 12. © 13 Défi technique #2 : sortir de la quadrature du triangle 2005 2015 Disponibilité « Les données sont toujours accessibles » Tolérance « seul la panne totale interromp » Cohérence « Les commits rendent l’ensemble des données cohérentes » Disponibilité « Les données sont toujours accessibles » Tolérance « seul la panne totale interromp » Cohérence « Les commits rendent l’ensemble des données cohérentes » Commit en 2 phases
  13. 13. © 14 Défi technique #3 : exécuter tout calcul en moins de 0,14 secondes 2005 2015 Trading Desk (ATD) Editeur de site Demand Side Platform (DSP) Ad exchange (Adex) Supply Side Platform (SSP) Annonceur ou Agence média Ad Server de l’éditeur ou Ad network RTB & programmati que
  14. 14. © 16 Un segment (sur?) peuplé Xaas Hardware Projets Open SourceDistributions Données AnalyseVisualisation Application EMR Bigquery Professionnal services (tec & biz)
  15. 15. © 17 Les grandes familles NoSQL SQL Cohérence indispensable Relationnel Oracle, SQL Server, DB2… Clé- valeur Structure simple Stockage clé valeur Dynamodb, Redis, Riak, MS Azure table, Oracle NoSQL Colonnes Analytique Stockage en colonne pour des recherches rapides Bigtable, Cassandra, Hbase, Hadoop Document Structure complexe, temps de réponse Clé-valeur avec de multiples attributs (semi- structuré (XML…) Couchdb, Mongodb Autres Hérarchiques (ldap…), Graph (Neoj4…), OODB (Versant…) Principes techniques : • Shared-nothing • Schemaless • Interfaces Restful simples Avantages : • Evolutivité des schémas • Scalabilité horizontale • Protocoles simples Inconvénients : • Requêtes plus complexes • Pas de cohérence garantie • Pas de clé unique garantie
  16. 16. © 18 Les caractéristiques communes Nosql Non- relationnel Evolutivité horizontale Traitement distribué Débit rapide Matériel banalisé Haute disponibilité Tolérance Cohérence éventuelle
  17. 17. © 19 Trouver un nouvel équilibre « Since the inception of ebay, not a single data was deleted ! » Meg Whitman, DG eBay « Toute donnée stockée doit être justifiée par un traitement » Mon DSI « Où mettre le curseur entre ces deux extrêmes ? »
  18. 18. © 20 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  19. 19. © 21 Big data 2015 Démocratisation
  20. 20. © 22 Démocratisation hardware 5 nœuds 1 namenode, 20 cœurs, 192 Go ram 4 datanodes, 64 cœurs, 64 Gb ram, 10 To DD
  21. 21. © 23 Démocratisation : stockage
  22. 22. © 24 Démocratisation : outils de datavisualisation
  23. 23. © 25 Démocratisation : de plus en plus de données en libre service
  24. 24. © 26 Démocratisation : de plus en plus de données à coût modique
  25. 25. © 27 Démocratisation : analytique ML en cloud
  26. 26. © 28 Démocratisation : ML « as a service »
  27. 27. © 29 Impact sur les usages : notre synthèse + Données Détail Temps réel Prédictif Non- structuré Ouvert sur l’extérieur Autonome Hybride
  28. 28. © 30 Données Détail Elément de structure Région Segment Bonne gamme Client Mr XXX Contrat Compte courant Ecriture Code commerçant
  29. 29. © 31 Décisionnel analytique Temps réel Transaction opérationnelle Evénements Traitement métier Stockage données Interception à la source Analyse Ex : page vue, …. Ex : display Résultats AlerteEx : RTB
  30. 30. © 32 Non-structuré Streams sociaux Weblogs Capteurs E-mails Détail transactions Pages web Documents scannés Trace GPS Données boursières Enregistrements téléphoniques Video-surveillance Données d’usage
  31. 31. © 33 Autonome
  32. 32. © 34 HybrideSystèmessources SystèmesbancairesdeproductionExternes ETL Appliance Entrepôt Vision unique du client Datamarts Sandbox Entrepôt Hadoop Usages Reporting Tableaux de bord Cubes OLAP Statistique (SAS...) Systèmes front-end Base métier Données de référence Synthèses transactions Données externes structurées Données externes peu structurées Données volumétrie importante Réintégration données après pré-traitement Sasde sécurité Accès Accès Accès Données externes à la demande Eléments de ciblage (dont scores) Extractions Métiers (dont scores, segmentations...) Base métier Base métier Base métier Base métier Base métier Web Services Services temps réel À destination des front-end
  33. 33. © 35 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  34. 34. © 36 Les nouveaux besoins d’analyse Améliorer la performance de détection / de prévision avec des données exogènes Agilité, pertinence, auto apprentissage Personnalisation one to oneIdentifier et optimiser les parcours omnicanaux
  35. 35. © 37 Les nouvelles méthodologies utilisées Random Forest Boosting Gradient Machine Textmining/ Voicemining Réseau Bayesien Support Vector Machines Sequential Pattern Analysis
  36. 36. © 38 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  37. 37. © 39 Où est quoi : architecture générale Big data : données chaudes Big data : données froides Dataware : données structurées Agrégatsdesignauxforts DonnéesCRM&mémoirecourte Historique Prédictif Données CRM Prédictif & signaux forts
  38. 38. © 40 Cohabitation Datawarehouse et big data Connecteurs SQL Loader (import/export)
  39. 39. © 41 Outillage : exemples Query BI Dataviz Statistique Machine learning Script Langage Environne ment Couche d’accès
  40. 40. © 42 Connecteurs Loader Couche d’accès Query StockerExplorerTransformerModéliserAppliquer BI Dataviz Statistique Machine learning Script Langage Environne ment Fonctions * outillage
  41. 41. © 43 Compétences * fonctions MarketingDatascience Programmation Stocker Explorer Transformer Modéliser Appliquer
  42. 42. © 44 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  43. 43. © 45 Exemple de problématique
  44. 44. © 46 Solution fonctionnelle Prototyper l’algorithme de substitution Produire la matrice d’association Suivre et optimiser la performance l’algorithme Proposer des susbstitutions Intégrer l’algorithme de substitution Développer l’algorithme de substitution algorithme Algorithme « industrialisé » Matrice d’association Historique des propositions Référentiels produit Scan list Programme de production des matrices d’associations Hub Produits éligibles EAN substituts
  45. 45. © 47 Architecture Lab data Large Data Fast Data Prototyper l’algorithme de substitution Produire la matrice d’association Suivre et optimiser la performance l’algorithme Proposer des substitutions Intégrer l’algorithme de substitution Développer l’algorithme de substitution
  46. 46. © 48 Lab data Large Data Fast Data
  47. 47. © 49 Planning Run Initialisation du centre de services Conception et réalisation « large » Maintenance Monitoring applications Administration Gestion des projets de setup Gestion du centre de servicesProgram Management Gestion des projets d’évolutions BusinessIT Gestiondeprojetet deservices Setup Sprints algorithme sur le « lab » Mise en place architecture Définition du SLA Conception et réalisation « fast » Tests Sprints d’amélioration algorithme sur le « lab » Surveillance de la santé de l’algorithme « lab » Infra Hard & soft Hébergement et monitoring Data exploration M1 M2 M3 M4 M5
  48. 48. © 50 SOMMAIRESommaire 1. Introduction 2. Big Data : le décor 3. Big Data : quoi de neuf ? 4. Analyses : évolutions des usages et méthodes 5. Organisation et outillage 6. Illustration sur un cas concret 7. Pour conclure
  49. 49. © 51 R.O.I. Connaissance Datamining Assortiments en magasins Rapports Rapports industriels Données : vision 360° client et produit Campagnes ciblées Technologies 1 2 3 4 Business Driven
  50. 50. © 52 Best-of-breed intégré et verticalisé avec IBM Outils
  51. 51. © 53 Cibler des R.O.I. < 6 mois
  52. 52. © 54 Reconsidérer chaque année les ROI : les barrières à l’entrée baissent toujours plus
  53. 53. © 55 Offre de services S ensibilisation tratégie andbox R oadmap ollout un
  54. 54. © 56

×