Executive VP @ Excelerate Systems à Excelerate Systems
2 Jun 2014•0 j'aime•1,494 vues
1 sur 80
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
2 Jun 2014•0 j'aime•1,494 vues
Signaler
Données & analyses
une Journée dédié au BigData par Excelerate Systems & Cloudera
1 Congférence "Big Data = Smart Business, un outil de transformation des entreprises"
3 Ateliers : Enterprise Datawarehouse, Securité et Marketing
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
2. #BigData = Smart Business
un outil de transformation des entreprises
Aadel Benyoussef
Excelerate Systems France
Aadel.Benyoussef@ExcelerateSystems.net
+33 (0)5 24 61 56 81
3. #Innovation De Nouvelles Solutions pour de Vieux Problèmes De Nouvelles Solutions pour de Nouveaux Problèmes
6. #Innovation De Nouvelles Solutions pour de Vieux Problèmes ? De Nouvelles Solutions pour de Nouveaux Problèmes ?
7. Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise
8. Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise
Informatique Personnelle
•Mac .vs. PC
•Individuelle
•Isolée
9. Notre environnement Numérique… aujourd’hui !
›Application d’Entreprise
›Bureautique
›Internet
›Email
›Réseaux Sociaux
›Objets connectés
›e-commerce
›Banque en ligne
›Jeux en réseau
›Apps Mobiles
›Sauvegarde et Transport de données
݃change / Partage
›… etc.
12. Les Entreprises s’intéressent à … Nous !
Moi
Opinions
•Ce que j’Aime
Passions
•Mes Hobbies
Coordonnées
•Comment et où me joindre
Avatars
•Mes apparences
Profession
•Quel est mon métier et où je travail
Réputation
•Ce que l’on dit sur moi
Expression
•Ce que je dis
Audience
•Qui je connais
Certificats
•Qui peut certifier de mon identité
Publications
•Ce que je partage
Achats
•Ce que j’achète, quand et où
13. Évolution de la Données
10% - Données Structurées
1980 2014
90 % - Données Non-Structurées
+3 trillion Go de données créées en 2013…
Plus de 90% sont des données non structurées
500 quadrillion de fichiers
1 Trillion = 1018, soit un milliard de milliards.
1 Quadrillion = 1024
Des changements
considérables lors
des 30 dernières
années
Applications Internet
Smartphones &
Tablettes
Machines intelligentes
Capteurs
Quantités
doublent
tous les 2 Ans
14. Les 3V qui imposent le changement-Volume-Variété-Vitesse
15. les Entreprises veulent gérer toutesles données
Toutes les données Produites en Interne et en ExterneMais aussi à toutes les données qui la Concernent
Source : IBM
16. | Mobile | Cloud | BigData | Sécurité |
4 grands changements qui touchent le marché du matériel, des logiciels et des services informatiques.
Regard à travers 1 seul prisme :
le Mobileest l’élément essentiel de Productionet de Consommationdes données.
le Cloudest l’environnement où les données sont Stockées.
le BigDataest l’ensemble des technologies qui permettent d’Exploiter, Analyseret Restituerles données.
La Protection des Donnéesest le critère Essentielpour l’établissement de la Relation de Confiancede l’ensemble.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
Analyse #1
17. Comment les données sont- elles produites?
Notre façon d’accéder aux données est en pleine mutation.
•La hausse des usages avec les appareils mobiles apporte des changements radicaux dans l'informatique pour les entreprises car ces nouveaux outils ont envahi le lieu de travail et également l’environnement privé.
•La mobilité marque le début d'un changement fondamental de stockageque ce soit au sein de l’appareil, ou dans le nuage (Cloud) pour que les données soient disponibles à tout moment, n'importe où ! En 201575% de tous les dispositifs ‘informatiques’ seront des smartphones, des tablettes et des Objets Connectés
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
18. Comment les données sont- elles stockées, gérées et utilisées?
•La production de l'information numérique est en constante hausse.
•Comment les données sont-elles stockées et gérées ?
•Où les données sont-elles stockées ?
Savoir comment toutes les données sont utiliséespar une organisation de n'importe quelle taille est vital.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
SI Cloud60%
SI interne40%
Prévisionde la RépartitionCentre de Donnéesà H2020
26. Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
27. Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
28. Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
29. Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
Pas de dépendance «Editeur»
Pas de données ou processus «propriétaires" –la sélection des fournisseurs est uniquement sur la Qualité des Services4
30. PourquoiutiliserHadoop ?
•Le moins Couteux (100% OpenSource)
•Pour traiter des Peta-Octets de données
•Le plus Rapide actuellement
•Pour les Traitements Parallèles
•Le Meilleur à ce jour
•Pour apporter des Solutions à tous les problèmes de traitement de Données Massives
31. Quelle importance accordez vous, dans la sélection d’un vendeur de BigData aux critères suivants:
7
8
9
Source: King Research, 3922 Respondents
Evolutivité
Performance
Flexibilité
Fiabilité du vendeur
Technologie Sécurisée
Intégration avec d'autres systèmes
Coût
Techniquement Supérieur aux autres
Logiciel Open Source
34. Quels sont les éléments qui déterminent votre choix de fournisseur de solution BigData?
Source: King Research, 3922 Respondents
6
6,5
7
7,5
8
8,5
9
Formations
Services de Consulting
Recommandations
Support Technique
Richesse des Fonctionnalités
35. 0%
20%
40%
60%
Quelles infrastructures pensez-vous améliorer avec des solutions BigData ?
Source: King Research, 3922 Respondents
Traitements ETL
Bases de Données Analytiques
Stockage
Entrepôts de Données
Système Central (Mainframe)
36. Quels sont les principaux avantages recherchés dans une solutions BigData d’entreprise
Source: King Research, 3922 Respondents
10%
30%
50%
70%
Amélioration des Analyses de Données
Amélioration du Traitement de Données
Prendre de Meilleures Décisions, Plus Rapidement
Augmenter la Valeur marchande des Données
Améliorer l‘Efficacité Opérationnelle
Acquérir un Avantage Concurrentiel
37. 15%
25%
35%
45%
Quelles sont vos principaux développements BigData?
Source: King Research, 3922 Respondents
Recherche / Innovation
Analyse Comportementale
Connaissance des Clients
Ciblage de Marché
Analyse de l‘Expérience Client
Amélioration Opérationnelle
39. Retour sur le “Data Warehouse”
Applications
OLTP
Applications
40. Retour sur le “Data Warehouse”
Data Warehouse
Query
Extract
Transform
Load
Transform
Architecture généralement déployé sur un SGBD Relationnel
S.I centralisée = "Enterprise Data Warehouse"
Applications
OLTP
Applications
41. Retour sur le “Data Warehouse”
Data Warehouse
Query
Extract
Transform
Load
Transform
Architecture généralement déployé sur un SGBD Relationnel
S.I centralisée = "Enterprise Data Warehouse"
Applications
OLTP
Applications
43. Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
44. Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
45. Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
46. Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
3
Nécessité d’Archivage pour économiser l’espace de stockageLes données archivées ne peuvent pas fournir une Valeur.
47. Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Business
Intelligence
Transform
1
1
1
Transformations de données est lentes, SLA manqué
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.
3
Nécessité d’archiver.
Les données archivées ne peuvent pas fournir une Valeur.
4
Pression constante pour acheter de nouvelles capacités de stockage et unités de calculs juste pour maintenir la qualité de service actuel.
Pas de place pour étendre les possibilités.
Pas de place pour l’innovation.
49. Les Changements dans le Système d’Information des Entreprises
Logs
Files
Web Data
Relational Databases
IDEs
BI / Analytics
Enterprise Reporting
Enterprise Data Warehouse
Online Serving Systems
Manager
SYSTEM OPERATORS
ENGINEERS
ANALYSTS
BUSINESS USERS
Web/Mobile Applications
CUSTOMERS
Sqoop
Sqoop
Sqoop
Flume
Flume
Flume
Modeling Tools
DATA SCIENTISTS
DATA ARCHITECTS
Meta Data/ ETL Tools
ODBC, JDBC,
NFS, HTTP
51. Distribution BigDataUne puissante plate-forme BigData basée sur Apache
•Clouderaest le plus grand contributeur au projet Hadoop
•CDHest la plus utilisée et la 1èredistribution Hadoop 100% Open Source prête à l’emploi pour les entreprises
•Intègre les projets les plus populaires liées à Hadoop dans un package unique, testé rigoureusement et qui garantit une fiabilité maximale lors de la mise en production.
La liste des distributions Hadoop : http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
+400 Partenaires
Technologies et Services
52. Une Plate- forme pour Stocker toutes les données
•Stockage et Traitement par Lots
•HDFS + NoSQL
•Gestionnaire de processus batch
BATCH
PROCESSING
(MapReduce, Hive, Pig)
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
Filesystem
(HDFS)
Online NoSQL
(Hbase)
53. Ouverte avec des méthodes d‘Accès à toutes les données
•Fournir de multiples options pour intégrer les données
•S'appuyant sur les niveaux de compétences et les investissements existants
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
BATCH
PROCESSING
(MapReduce, Hive, Pig)
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
Filesystem
(HDFS)
Online NoSQL
(Hbase)
54. Prêt pour l'entreprise avec uneSécurité Garantie et la Supervision Globale
•Sécurité et Protection des données et outils pour les Audits
•Haute disponibilité avec sauvegarde automatique et reprise après sinistre
•Système de Gestion Globale
BATCH
PROCESSING
(MapReduce, Hive, Pig)
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
3RDPARTY
APPS
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
Filesystem
(HDFS)
Online NoSQL
(Hbase)
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
55. Nouvelle Approche «Software»
Traditionnelle
•Monolithique
•Stockage Centralisé
•RDBMS
•Schéma de Donnée d’abord
•PropriétaireSoftware Big Data
•Distribué
•Stockage et Exécutionau niveau du Node
•Toutes les Données Brutes
•Open Source
56. Nouvelle Approche «Hardware»
56
Matériel Traditionnel
Matériel exotique
•Gros Serveur Central
•SAN
•RAID
Coût élevé
Évolutivité limitéeMatériel Big Data
Matériel de base
•Racks de boîtes de pizza
•Ethernet
•JBOD
Vite Rentable
Évolutivité illimitée
57. Nouvelles Possibilités grâce aux technologies du BigData
Moteurs de Recommandations
Analyse de Sentiments
Modélisation des Risques
Détection de la Fraude
Analyse de Campagne Marketing
Analyse du taux de désabonnement des clients
Analyse Social Graph
Réseau de surveillance
Data Analytics
Source: Cloudera “Ten Common Hadoopable Problems”
58. BigDataCas d’Usages !
•Moteurs de Recommandations:
les géants du Web et les sites de e-commerce qui utilisent Hadoop, l’utilisent pour proposer à leurs clients des produits et services basés sur l'analyse du profil utilisateur et les données comportementales.
LinkedIn, Facebook, Twitter utilisent cette approche pour alimenter son "personnes que vous connaissez peut-être", tandis qu’Amazon l’utilise pour proposer des produits liés aux habitudes d’achats pour les consommateurs en ligne.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
59. BigDataCas d’Usages !
•Analyse de Sentiments:
Utilisé en conjonction avec Hadoop, et des outils avancés d'analyse de texte, essentiellement non structuré des médias sociaux et des publications et blogs de réseautage social, y compris les tweets et messages Facebook, afin de déterminer le sentiment des utilisateurs liés à des entreprises particulières, des marques ou des produits.
L'analyse peut se concentrer sur une analyse macro- sentiment jusqu'au sentiment de chaque utilisateur.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
60. BigDataCas d’Usages !
•Modélisation des Risques:
les entreprises financières, les banques et d'autres utilisent Hadoop et Entrepôts de données nouvelle génération pour analyser de grands volumes de données transactionnelles pour déterminer le risque et l'exposition des actifs financiers, afin de préparer des scenarii potentiels "what- if" basés sur le comportement du marché simulé, et de marquer des clients potentiels pour le risque.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
61. BigDataCas d’Usages !
•Détection de la Fraude:
Utiliser les techniques du BigData pour combiner le comportement des clients, historiques et données transactionnelles pour détecter les activités frauduleuses.
Les sociétés de cartes de crédit, par exemple, utiliser les technologies BigData pour identifier le comportement transactionnel qui indique une forte probabilité d'une carte volée.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
62. BigDataCas d’Usages !
•Analyse campagne de marketing:
Les départements de marketing dans les industries ont longtemps utilisé la technologie pour surveiller et évaluer l'efficacité des campagnes de marketing.
BigData permet aux équipes de marketing d’intégrer l'augmentation des volumes de données de plus en plus granulaires pour augmenter la précision de l'analyse.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
63. BigDataCas d’Usages ! (suite.)
•Analyse du taux de désabonnement des clients:
Les entreprises utilisent Hadoop et les technologies de BigData pour analyser les données du comportement des clients pour identifier les modèles qui indiquent que les clients sont plus susceptibles de les quitter pour un service ou fournisseur concurrent.
Des actions peuvent alors être prises pour ‘sauver’ et garder les clients les plus rentables.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
64. BigDataCas d’Usages ! (suite.)
•Analyse Social Graph:
les données de prochaine génération et les données de réseaux sociaux sont extraites pour déterminer quels clients ont le plus d'influence sur les autres à l'intérieur de réseaux sociaux.
Ceci aide les entreprises à déterminer quels sont leurs «plus importants», clients qui ne sont pas toujours ceux qui achètent le plus de produits ou dépensent le plus, mais ceux qui ont tendance à influer sur le comportement d'achat d’autres personnes.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
65. BigDataCas d’Usages ! (suite.)
•Data Analytics:
utiliser Hadoop et les grandes technologies connexes pour intégrer des données provenant de canaux d'interaction client cloisonnés tels que centres d'appels, chat en ligne, Twitter, etc… pour avoir une vision complète de l'expérience client.
Cela permet aux entreprises de comprendre l'impact d'un canal d'interaction client dispose sur un autre afin d'optimiser l'expérience client dans son ensemble du cycle de vie.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
66. BigDataCas d’Usages ! (suite.)
•Réseau de surveillance:
Hadoop et d'autres technologies BigData sont utilisés pour ingérer, analyser et afficher les données collectées à partir des serveurs, périphériques de stockage et autres matériels informatique pour permettre aux administrateurs de surveiller l'activité du réseau et de diagnostiquer les goulots d'étranglement et autres problèmes.
Ce type d'analyse peut également être appliqué à d'autres formes de réseaux, notamment des Réseaux de Transport afin d'améliorer l'efficacité énergétique.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
67. BigDataCas d’Usages ! (suite.)
•Recherche et développement:
les entreprises, comme les fabricants de produits pharmaceutiques, utilisent Hadoop pour passer au peigne fin les volumes énormes de texte basé sur la recherche et d'autres données historiques pour aider au développement de nouveaux produits.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
68. …
Streaming Sources
-Logs
-Apps
-File systems
-Servers
-Devices
Relational Sources
-Databases
-Data Warehouse
Analyseavancée
AnalysePrédictive
Recherchetemps réelet exploration “RootCause”
Exploration, Reporting, Visualisation, Correlation
BATCH
PROCESSING
ANALYTIC
SQL
SEARCH
ENGINE
MACHINE
LEARNING
STREAM
PROCESSING
3RDPARTY
APPS
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
ENTERPRISE DATA HUB
Filesystem
Online NoSQL#BigData !
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
69. Analyser toutes les données et pas seulement les métadonnées. BigData pour l’Analyse et la Prévention contre la Fraude et les IntrusionsBigData pour l’Analyse et les investigationsBigData pour l’Analyse PrédictiveBigData pour la Protection Proactive
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFranceSecData–XL
72. Comment ?
Obstacles à l'adoption du BigData
Le manque de ressources et de compétences qualifiées
Selon McKinsey, à horizon 2018;
les États-Unis devront faire face à une pénurie de :
•140.000 à 190.000 personnes avec des compétences d'analyse de données
•1,5 million d’analystes avec le savoir-faire minimum leur permettant utiliser l'analyse de données massives pour prendre des décisions efficaces. En France; Vu le faible taux de pénétration de ces nouveaux modèles de BigData dans les entreprises, la pénurie devrait être proportionnellement plus importante.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
73. Les Nouveaux Métiers
Pour Réaliser des Projets en utilisant les technologies du BigData
ChiefData Officer(CDO) : la responsabilité du CDO concerne les données et leur état : Valeur, Qualité, Fiabilitéet doit en garantir la Cohérenceet Gouvernance. Les données peuvent être d’origine interne ou externe, privée ou publique
Data Scientist: est chargé de développer les outils adaptés au besoin pour Collecter, Analyser et faire parler les données numériques et, de les présenter sous un format simple et compréhensible (DataVizualisation)
Data Analyst: va manipuler les données une fois que la base est opérationnelle, afin de faire remonter les informations nécessaires pour les prises de décisions.
Et faire évolution les métiers du Marketing , de la Vente, des Architectes, des Administrateurs Réseaux, de DBA… avec des programmes de formations adaptées.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
74. Excelerate Systems +30 Experts CertifiésCloudera
•Depuis 2011, nous avons développé un réseau de consultants hautement qualifiés.
•Architectes,
•Administrateurs,
•Développeurs,
•Analystes, Statisticiens
•Data Scientistes
•Nous avons réalisé plusieurs projets dans divers secteurs d’activités.
•e-Commerce
•Jeux
•e-Gouvernement
•Banque et Finance
•Grande Distribution
•Marketing
•Communication
•Sécurité et Protection des Données
77. Qui sommes-nous ?
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
•Entreprise Privée, Fondée en 2007 à Seattle, Washington USA
•Des bureaux pour l’Europe à Bordeaux(France), pour l’Amérique Latine à Mexico(Mexique) et présence dans +20 pays
•Offre Riche dans 4 catégories
1.BigData, Cloud et Virtualisation.
2.Sécurité et Protection des Données et Optimisation des S.I
3.Gestion et Sécurité du Mobile en Entreprise et le CRM-Mobile.
4.Connectivité au Systèmes Centraux et l’intégration des Mainframes