SlideShare une entreprise Scribd logo
Big Data
Plan
Problématique
Définition du Big Data
Big Data et 3V
Data wahrehouse VS Big Data
Domaines d’utilisations
Les techniques de traitement
Conclusion
Big Data et Aspect Mobile
Problématique
• 1.8 Zettaoctets ont été produits en 2011
• 2,5 trillions d’octets de données chaque jour
• 90% des données dans le monde ont été créées au cours des deux dernières
années seulement.
…de données stockées en 2011
(*)1,8 Zo
Bases de données
Capteurs
Puces Internet
Réseaux sociaux
Appareils
numériques
Moyens de paiement
Ordinateurs
RFID
Mobilité
…de données générées
sur internet en 2010
800 Md Go
Videos
…de croissance des données prévue
Sur la seule année 2012
48%
…de croissance annuelles
des données non structurées
50 à 75%
Problématique
Ces données sont appelées Big Data ou volumes massifs
de données.
Définition
• Les big data (grosses données), parfois appelées données massives, des
ensembles de données qui deviennent tellement volumineux qu'ils en deviennent
difficiles à travailler avec des outils classiques de gestion de base de données ou
de gestion de l'information.
• Il s’agit donc d’un ensemble de technologies, d’architecture, d’outils et de
procédures permettant à une organisation de très rapidement capter, traiter et
analyser de larges quantités et contenus hétérogènes , structurées ,non-
structurées et changeants, et d’en extraire les informations pertinentes à un coût
accessible.
Big Data et 3V
• La difficulté de traitement du « Big Data » s’explique par
Leur volume,
Leur velocité
Et leur variété
Big Data et 3V
• Volume
 Quantité de données généré est très importante.
 La taille des données détermine la valeur et le potentiel des données en cours d'examen.
 Le nom «Big Data» contient un terme liée à la taille
• Variété
 Pas de données relationnelles traditionnelles
 Les données sont brutes, semi-structurées voire non structurées
 Des données complexes provenant du web, du format texte et des images .
Les analyses sont d’autant plus complexes qu’elles portent de plus en plus sur les liens entre des données de natures
différentes.
• Velocity
 La fréquence à laquelle les données sont générées, capturées et partagées.
 Permet de répondre aux exigences et aux défis qui nous attendent dans le chemin de la croissance et le
développement.
Data warehouse VS Big Data
• Les environnements d’analyses Big data ne visent pas à remplacer les
data warehouse traditionnels mais à les compléter
• Solution big data: technologie
• Data warehouse : architecture
Data warehouse VS Big Data
DATA WAREHOUSE (BI traditionnelle) BIG DATA
Sources de données essentiellement
internes, connues et structurées
Nombreuses sources externes
Modèles de données stables Importants volumes de données non-
structurées
La majorité des données sont des
données historiques
L’analyse est faite sur des données qui
restent dans leur état brut
Domaines d’utilisations: log files
• Les fichiers journaux de serveurs Web représentent un trésor de données que les entreprises peuvent mine pour
gagner une compréhension profonde des habitudes d'achat des clients, l'utilisation des médias sociaux, web
publicité l'efficacité et d'autres mesures qui informent des décisions d'affaires.
• Chaque clic depuis une page Web peut créer de l'ordre de 100 octets de données dans un journal de site typique.
• Par conséquent, de grands sites Web de manutention des millions de visiteurs simultanés peuvent générer des
centaines de gigaoctets ou même des téraoctets de grumes par jour.
• Débusquer les pépites d'informations précieuses à partir de cette masse de données peut nécessiter des
algorithmes très sophistiqués.
• De nombreuses organisations se tournent vers les logiciels libres utilitaires trouvés dans l'écosystème Hadoop pour
analyser ces Big Data.
• Le choix d'un outil particulier dépend des besoins de l'analyse, l'ensemble de l'analyste de données de
compétences, et le compromis entre le temps de développement et le temps d'exécution.
Hadoop
Hadoop: Qu’est ce que c’est ?
o Framework Java open source .
o pour le stockage et le traitement distribués de grosses
volumétries de données.
o Consister deux grandes parties :
HDFS (Hadoop Distributed File System)
MapReduce
HDFS(Hadoop Distributed Files System)
 Un système de fichiers large ,distribué et scalable
 Ou moins 10K nœuds ,100 milles de fichiers
 HDFS pour stocker de très gros volumes de données sur un grand nombre
de machines(nœuds).
 Principe :
1. HDFS crée des blocs entre 64MB et 256MB.
2. Chaque bloc est enregistré dans un nœud (Datanode)différent du cluster
3. Répliquée plusieurs fois.
NameNode DataNode
1. NameNode :
 s’exécute sur une machine séparée(cluster).
 Contient des métadonnées.
 Association entre les bloc et leurs emplacement sur data
Nœuds
 Moteur de réplication des blocs.
2. Data Node
 Un serveur de bloc
 Rapport des bloc
 Faciliter les échanges des donnes entre les
nœuds
MapReduce
Definition
MapReduce est un cadre logiciel qui permet aux
développeurs d'écrire des programmes qui traitent des
quantités massives de données non structurées en
parallèle sur un distribuée ...
Principe
Consiste à découper le traitement en 2 phases :
• la première phase (Map) est une étape d'ingestion et de transformation
des données sous la forme de paires clé/valeur
• la seconde phase (Reduce) est une étape de fusion des
enregistrements par clé pour former le résultat final
Des langages pour
faciliter les requêtes sur Hadoop
1. HIVE
2. PIG
Mahout
1. Définition
2. Principe
• Mahout est un API Java dédié aux algorithmes d’apprentissage, à
savoir:
 Recommandation
 Clustering
 Classification
• Mahout supporte l’écosystème Hadoop.
• Les algorithmes sont programmés sous le paradigme MapReduce
Principe
 Bibliothèque d’apprentissage automatique.
 Permet de :
 Déterminer des éléments qu’un utilisateur pourra apprécier
selon son comportement
 Grouper des documents
 Affecter automatiquement des catégories aux documents.
Hadoop un écosystème riche et complexé
Big Data et Aspect
Mobile
Smartphones : le véritable générateur de
données volumineuses
• Plus de six milliards de smartphones utilisés génèrent des données massives.
• Chaque utilisateur de smartphone génère environ 60 gigaoctets de données
chaque année
• On stocke plus de 335 exaoctets d'informations chaque année avec seuls
smartphones.
Photo
Ect…
Recherche
Texte
appel
téléphonique
e-mailVidéo
Stocker
 Stockage des données issues des Smartphones
Nécessité du Stockage:
Toute information peut être utile !
• Des patrons d'utilisation de smartphones ont aidé les chercheurs en Afrique déterminer où
les épidémies de paludisme se produisaient et où les personnes touchées sont allés.
• De cette manière, les chercheurs ont pu déterminer où distribuer les meilleurs médicaments
de manière plus efficace.
• Bientôt, que les appareils mobiles sont utilisés plus fréquemment pour acheter des biens et
services, les informations générées seront exploités pour déterminer où vous allez faire des
emplettes, quels sont vos intérêts et même quelle marque de café que vous aiment, afin que
les annonceurs et les autres peuvent identifier vos besoins et les désirs.
• Voilà ce qu’on appelle les réseaux de stockage intelligente - faisant usage de grand stockage
de données à exploiter cette information.
Mobile et Big Data : les défis
• Tout les données doivent être stockées quelque part
• Se qui signifie:
 L'industrie du stockage est dans une course pour fournir des densités plus élevées et
supérieures de dispositifs de stockage de données à moindre coût
 La technologie de déduplication de données devient encore plus important.
Conclusion
• le Big Data ne représente pas une opportunité de disruption par un nouveau
modèle, mais un moyen de plus en plus incontournable d’optimiser leur
efficience et donc leur compétitivité.
Merci pour votre attention

Contenu connexe

Tendances

Introduction au big data
Introduction au big dataIntroduction au big data
Introduction au big data
Abdelghani Azri
 
Chapitre 2 hadoop
Chapitre 2 hadoopChapitre 2 hadoop
Chapitre 2 hadoop
Mouna Torjmen
 
Big Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendancesBig Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendances
Jean-Michel Franco
 
BigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-ReduceBigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-Reduce
Lilia Sfaxi
 
Technologies pour le Big Data
Technologies pour le Big DataTechnologies pour le Big Data
Technologies pour le Big Data
Minyar Sassi Hidri
 
Cours Big Data Chap2
Cours Big Data Chap2Cours Big Data Chap2
Cours Big Data Chap2
Amal Abid
 
Big data
Big dataBig data
Big data
Karima GHALI
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence
Yassine Badri
 
TP1 Big Data - MapReduce
TP1 Big Data - MapReduceTP1 Big Data - MapReduce
TP1 Big Data - MapReduce
Amal Abid
 
Présentation Big Data DFCG
Présentation Big Data DFCGPrésentation Big Data DFCG
Présentation Big Data DFCG
Micropole Group
 
BigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-ReduceBigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-Reduce
Lilia Sfaxi
 
Business Intelligence
Business IntelligenceBusiness Intelligence
Business Intelligence
Lilia Sfaxi
 
Data mining - Introduction générale
Data mining - Introduction généraleData mining - Introduction générale
Data mining - Introduction générale
Mohamed Heny SELMI
 
La Big Data et ses applications
La Big Data et ses applicationsLa Big Data et ses applications
La Big Data et ses applications
Affinity Engine
 
Cours Big Data Chap4 - Spark
Cours Big Data Chap4 - SparkCours Big Data Chap4 - Spark
Cours Big Data Chap4 - Spark
Amal Abid
 
Cours Big Data Chap3
Cours Big Data Chap3Cours Big Data Chap3
Cours Big Data Chap3
Amal Abid
 
Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQL
Antoine Augusti
 
DataWarehouse
DataWarehouseDataWarehouse
DataWarehouse
nzuguem
 
BigData_TP5 : Neo4J
BigData_TP5 : Neo4JBigData_TP5 : Neo4J
BigData_TP5 : Neo4J
Lilia Sfaxi
 

Tendances (20)

Introduction au big data
Introduction au big dataIntroduction au big data
Introduction au big data
 
Chapitre 2 hadoop
Chapitre 2 hadoopChapitre 2 hadoop
Chapitre 2 hadoop
 
Big Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendancesBig Data : concepts, cas d'usage et tendances
Big Data : concepts, cas d'usage et tendances
 
BigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-ReduceBigData_Chp2: Hadoop & Map-Reduce
BigData_Chp2: Hadoop & Map-Reduce
 
Technologies pour le Big Data
Technologies pour le Big DataTechnologies pour le Big Data
Technologies pour le Big Data
 
Cours Big Data Chap2
Cours Big Data Chap2Cours Big Data Chap2
Cours Big Data Chap2
 
Big data
Big dataBig data
Big data
 
exercices business intelligence
exercices business intelligence exercices business intelligence
exercices business intelligence
 
TP1 Big Data - MapReduce
TP1 Big Data - MapReduceTP1 Big Data - MapReduce
TP1 Big Data - MapReduce
 
Présentation Big Data DFCG
Présentation Big Data DFCGPrésentation Big Data DFCG
Présentation Big Data DFCG
 
BigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-ReduceBigData_TP1: Initiation à Hadoop et Map-Reduce
BigData_TP1: Initiation à Hadoop et Map-Reduce
 
Business Intelligence
Business IntelligenceBusiness Intelligence
Business Intelligence
 
Data mining - Introduction générale
Data mining - Introduction généraleData mining - Introduction générale
Data mining - Introduction générale
 
La Big Data et ses applications
La Big Data et ses applicationsLa Big Data et ses applications
La Big Data et ses applications
 
Cours Big Data Chap4 - Spark
Cours Big Data Chap4 - SparkCours Big Data Chap4 - Spark
Cours Big Data Chap4 - Spark
 
Data warehouse
Data warehouseData warehouse
Data warehouse
 
Cours Big Data Chap3
Cours Big Data Chap3Cours Big Data Chap3
Cours Big Data Chap3
 
Introduction aux bases de données NoSQL
Introduction aux bases de données NoSQLIntroduction aux bases de données NoSQL
Introduction aux bases de données NoSQL
 
DataWarehouse
DataWarehouseDataWarehouse
DataWarehouse
 
BigData_TP5 : Neo4J
BigData_TP5 : Neo4JBigData_TP5 : Neo4J
BigData_TP5 : Neo4J
 

Similaire à Big data

Big data
Big dataBig data
Big data
Sameh Mbm
 
Big_Data_Cours.pdf
Big_Data_Cours.pdfBig_Data_Cours.pdf
Big_Data_Cours.pdf
GonnaBe1
 
Big data
Big dataBig data
Introduction au BigData.pdf
Introduction au BigData.pdfIntroduction au BigData.pdf
Introduction au BigData.pdf
ZkSadrati
 
Introduction au BigData.pdf
Introduction au BigData.pdfIntroduction au BigData.pdf
Introduction au BigData.pdf
ZkSadrati
 
Ecosystème Big Data
Ecosystème Big DataEcosystème Big Data
Ecosystème Big Data
Idriss22
 
Big data: NoSQL comme solution
Big data: NoSQL comme solutionBig data: NoSQL comme solution
Big data: NoSQL comme solution
JEMLI Fathi
 
Big data
Big dataBig data
Big data
Takwa Chaabane
 
Big Data Des méandres des outils au potentiel business
Big Data   Des méandres des outils au potentiel businessBig Data   Des méandres des outils au potentiel business
Big Data Des méandres des outils au potentiel business
Mouhsine LAKHDISSI
 
Introduction à la BIG DATA et l'Intelligence Artificielle
Introduction à la BIG DATA et l'Intelligence ArtificielleIntroduction à la BIG DATA et l'Intelligence Artificielle
Introduction à la BIG DATA et l'Intelligence Artificielle
Medhi Corneille Famibelle*
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide Academy
Oxalide
 
Big data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuairesBig data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuaires
Kezhan SHI
 
BigData on change d'ère !
BigData on change d'ère ! BigData on change d'ère !
BigData on change d'ère !
Excelerate Systems
 
Du Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processusDu Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processus
CHAKER ALLAOUI
 
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
Galsungen
 
BigData et Hadoop
BigData et HadoopBigData et Hadoop
BigData et Hadoop
Loïc Bertron
 
OWF12/BIG DATA Presentation big data owf ysance
OWF12/BIG DATA Presentation big data owf ysanceOWF12/BIG DATA Presentation big data owf ysance
OWF12/BIG DATA Presentation big data owf ysance
Paris Open Source Summit
 
Distributed programing (hadoop && java) version finale.pptx
Distributed programing  (hadoop && java) version finale.pptxDistributed programing  (hadoop && java) version finale.pptx
Distributed programing (hadoop && java) version finale.pptx
Ahmed rebai
 
Hadoop et le big data
Hadoop et le big dataHadoop et le big data
Hadoop et le big data
Juvénal CHOKOGOUE
 
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
BigDataBx #1 - Journée BigData à la CCI de BordeauxBigDataBx #1 - Journée BigData à la CCI de Bordeaux
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
Excelerate Systems
 

Similaire à Big data (20)

Big data
Big dataBig data
Big data
 
Big_Data_Cours.pdf
Big_Data_Cours.pdfBig_Data_Cours.pdf
Big_Data_Cours.pdf
 
Big data
Big dataBig data
Big data
 
Introduction au BigData.pdf
Introduction au BigData.pdfIntroduction au BigData.pdf
Introduction au BigData.pdf
 
Introduction au BigData.pdf
Introduction au BigData.pdfIntroduction au BigData.pdf
Introduction au BigData.pdf
 
Ecosystème Big Data
Ecosystème Big DataEcosystème Big Data
Ecosystème Big Data
 
Big data: NoSQL comme solution
Big data: NoSQL comme solutionBig data: NoSQL comme solution
Big data: NoSQL comme solution
 
Big data
Big dataBig data
Big data
 
Big Data Des méandres des outils au potentiel business
Big Data   Des méandres des outils au potentiel businessBig Data   Des méandres des outils au potentiel business
Big Data Des méandres des outils au potentiel business
 
Introduction à la BIG DATA et l'Intelligence Artificielle
Introduction à la BIG DATA et l'Intelligence ArtificielleIntroduction à la BIG DATA et l'Intelligence Artificielle
Introduction à la BIG DATA et l'Intelligence Artificielle
 
Morning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide AcademyMorning Tech#1 BigData - Oxalide Academy
Morning Tech#1 BigData - Oxalide Academy
 
Big data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuairesBig data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuaires
 
BigData on change d'ère !
BigData on change d'ère ! BigData on change d'ère !
BigData on change d'ère !
 
Du Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processusDu Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processus
 
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
2014 Présentation pour la soutenance du probatoire "Big Data"de galsungen
 
BigData et Hadoop
BigData et HadoopBigData et Hadoop
BigData et Hadoop
 
OWF12/BIG DATA Presentation big data owf ysance
OWF12/BIG DATA Presentation big data owf ysanceOWF12/BIG DATA Presentation big data owf ysance
OWF12/BIG DATA Presentation big data owf ysance
 
Distributed programing (hadoop && java) version finale.pptx
Distributed programing  (hadoop && java) version finale.pptxDistributed programing  (hadoop && java) version finale.pptx
Distributed programing (hadoop && java) version finale.pptx
 
Hadoop et le big data
Hadoop et le big dataHadoop et le big data
Hadoop et le big data
 
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
BigDataBx #1 - Journée BigData à la CCI de BordeauxBigDataBx #1 - Journée BigData à la CCI de Bordeaux
BigDataBx #1 - Journée BigData à la CCI de Bordeaux
 

Big data

  • 2. Plan Problématique Définition du Big Data Big Data et 3V Data wahrehouse VS Big Data Domaines d’utilisations Les techniques de traitement Conclusion Big Data et Aspect Mobile
  • 3. Problématique • 1.8 Zettaoctets ont été produits en 2011 • 2,5 trillions d’octets de données chaque jour • 90% des données dans le monde ont été créées au cours des deux dernières années seulement.
  • 4. …de données stockées en 2011 (*)1,8 Zo Bases de données Capteurs Puces Internet Réseaux sociaux Appareils numériques Moyens de paiement Ordinateurs RFID Mobilité …de données générées sur internet en 2010 800 Md Go Videos …de croissance des données prévue Sur la seule année 2012 48% …de croissance annuelles des données non structurées 50 à 75%
  • 5. Problématique Ces données sont appelées Big Data ou volumes massifs de données.
  • 6. Définition • Les big data (grosses données), parfois appelées données massives, des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information. • Il s’agit donc d’un ensemble de technologies, d’architecture, d’outils et de procédures permettant à une organisation de très rapidement capter, traiter et analyser de larges quantités et contenus hétérogènes , structurées ,non- structurées et changeants, et d’en extraire les informations pertinentes à un coût accessible.
  • 7. Big Data et 3V • La difficulté de traitement du « Big Data » s’explique par Leur volume, Leur velocité Et leur variété
  • 8. Big Data et 3V • Volume  Quantité de données généré est très importante.  La taille des données détermine la valeur et le potentiel des données en cours d'examen.  Le nom «Big Data» contient un terme liée à la taille • Variété  Pas de données relationnelles traditionnelles  Les données sont brutes, semi-structurées voire non structurées  Des données complexes provenant du web, du format texte et des images . Les analyses sont d’autant plus complexes qu’elles portent de plus en plus sur les liens entre des données de natures différentes. • Velocity  La fréquence à laquelle les données sont générées, capturées et partagées.  Permet de répondre aux exigences et aux défis qui nous attendent dans le chemin de la croissance et le développement.
  • 9. Data warehouse VS Big Data • Les environnements d’analyses Big data ne visent pas à remplacer les data warehouse traditionnels mais à les compléter • Solution big data: technologie • Data warehouse : architecture
  • 10. Data warehouse VS Big Data DATA WAREHOUSE (BI traditionnelle) BIG DATA Sources de données essentiellement internes, connues et structurées Nombreuses sources externes Modèles de données stables Importants volumes de données non- structurées La majorité des données sont des données historiques L’analyse est faite sur des données qui restent dans leur état brut
  • 11. Domaines d’utilisations: log files • Les fichiers journaux de serveurs Web représentent un trésor de données que les entreprises peuvent mine pour gagner une compréhension profonde des habitudes d'achat des clients, l'utilisation des médias sociaux, web publicité l'efficacité et d'autres mesures qui informent des décisions d'affaires. • Chaque clic depuis une page Web peut créer de l'ordre de 100 octets de données dans un journal de site typique. • Par conséquent, de grands sites Web de manutention des millions de visiteurs simultanés peuvent générer des centaines de gigaoctets ou même des téraoctets de grumes par jour. • Débusquer les pépites d'informations précieuses à partir de cette masse de données peut nécessiter des algorithmes très sophistiqués. • De nombreuses organisations se tournent vers les logiciels libres utilitaires trouvés dans l'écosystème Hadoop pour analyser ces Big Data. • Le choix d'un outil particulier dépend des besoins de l'analyse, l'ensemble de l'analyste de données de compétences, et le compromis entre le temps de développement et le temps d'exécution.
  • 13. Hadoop: Qu’est ce que c’est ? o Framework Java open source . o pour le stockage et le traitement distribués de grosses volumétries de données. o Consister deux grandes parties : HDFS (Hadoop Distributed File System) MapReduce
  • 14. HDFS(Hadoop Distributed Files System)  Un système de fichiers large ,distribué et scalable  Ou moins 10K nœuds ,100 milles de fichiers  HDFS pour stocker de très gros volumes de données sur un grand nombre de machines(nœuds).  Principe : 1. HDFS crée des blocs entre 64MB et 256MB. 2. Chaque bloc est enregistré dans un nœud (Datanode)différent du cluster 3. Répliquée plusieurs fois.
  • 15. NameNode DataNode 1. NameNode :  s’exécute sur une machine séparée(cluster).  Contient des métadonnées.  Association entre les bloc et leurs emplacement sur data Nœuds  Moteur de réplication des blocs. 2. Data Node  Un serveur de bloc  Rapport des bloc  Faciliter les échanges des donnes entre les nœuds
  • 17. Definition MapReduce est un cadre logiciel qui permet aux développeurs d'écrire des programmes qui traitent des quantités massives de données non structurées en parallèle sur un distribuée ...
  • 18. Principe Consiste à découper le traitement en 2 phases : • la première phase (Map) est une étape d'ingestion et de transformation des données sous la forme de paires clé/valeur • la seconde phase (Reduce) est une étape de fusion des enregistrements par clé pour former le résultat final
  • 19. Des langages pour faciliter les requêtes sur Hadoop 1. HIVE 2. PIG
  • 21. • Mahout est un API Java dédié aux algorithmes d’apprentissage, à savoir:  Recommandation  Clustering  Classification • Mahout supporte l’écosystème Hadoop. • Les algorithmes sont programmés sous le paradigme MapReduce
  • 22. Principe  Bibliothèque d’apprentissage automatique.  Permet de :  Déterminer des éléments qu’un utilisateur pourra apprécier selon son comportement  Grouper des documents  Affecter automatiquement des catégories aux documents.
  • 23. Hadoop un écosystème riche et complexé
  • 24. Big Data et Aspect Mobile
  • 25. Smartphones : le véritable générateur de données volumineuses • Plus de six milliards de smartphones utilisés génèrent des données massives. • Chaque utilisateur de smartphone génère environ 60 gigaoctets de données chaque année • On stocke plus de 335 exaoctets d'informations chaque année avec seuls smartphones.
  • 27. Nécessité du Stockage: Toute information peut être utile ! • Des patrons d'utilisation de smartphones ont aidé les chercheurs en Afrique déterminer où les épidémies de paludisme se produisaient et où les personnes touchées sont allés. • De cette manière, les chercheurs ont pu déterminer où distribuer les meilleurs médicaments de manière plus efficace. • Bientôt, que les appareils mobiles sont utilisés plus fréquemment pour acheter des biens et services, les informations générées seront exploités pour déterminer où vous allez faire des emplettes, quels sont vos intérêts et même quelle marque de café que vous aiment, afin que les annonceurs et les autres peuvent identifier vos besoins et les désirs. • Voilà ce qu’on appelle les réseaux de stockage intelligente - faisant usage de grand stockage de données à exploiter cette information.
  • 28. Mobile et Big Data : les défis • Tout les données doivent être stockées quelque part • Se qui signifie:  L'industrie du stockage est dans une course pour fournir des densités plus élevées et supérieures de dispositifs de stockage de données à moindre coût  La technologie de déduplication de données devient encore plus important.
  • 29. Conclusion • le Big Data ne représente pas une opportunité de disruption par un nouveau modèle, mais un moyen de plus en plus incontournable d’optimiser leur efficience et donc leur compétitivité.
  • 30. Merci pour votre attention

Notes de l'éditeur

  1. 1.8 Zettaoctets ont été produits en 2011 (l’équivalent d’un milliard de disque durs de grande capacité récents), un chiffre qui continue à augmenter de 50% chaque année Chaque jour, nous générons 2,5 trillions d’octets de données. A tel point que 90% des données dans le monde ont été créées au cours des deux dernières années seulement. Ces données proviennent de partout : de capteurs utilisés pour collecter les informations climatiques, de messages sur les sites de médias sociaux, d'images numériques et de vidéos publiées en ligne, d'enregistrements transactionnels d'achats en ligne et de signaux GPS de téléphones mobiles, pour ne citer que quelques sources. Ces données sont appeléesBig Data ou volumes massifs de données.
  2. DATA WAREHOUSE (BI traditionnelle) •Sources de données essentiellement internes, connues et structurées •Modèles de données stables •La majorité des données sont des données historiques •De nombreux rapports produits de manière récurrente BIG DATA •Nombreuses sources externes •Importants volumes de données non-structurées •Besoin d’itérations rapides pour expérimenter des hypothèses •L’analyse est faite sur des données qui restent dans leur état brut
  3. La spécialité d’Hadoop, ce serait plutôt le traitement à très grande échelle de grands volumes de données non structurées tels que des documents textuels, des images, des fichiers audio… même s’il est aussi possible de traiter des données semi-structurées ou structurées avec Hadoop.
  4. Au coeur du framework open source se trouve avant tout un système de fichiers en cluster, baptisé HDFS . HDFS a été conçu pour stocker de très gros volumes de données sur un grand nombre de machines équipées de disques durs banalisés. Le filesystem HDFS est conçu pour assurer la sécurité des données en répliquant de multiples fois l’ensemble des données écrites sur le cluster.
  5. C’est pourquoi quand on a besoin un task précis il suffit de poser question à NameData NameData il a connu lieu , contenue de tt DataNoeuds
  6. *Au lieu de parcourir le fichier séquentiellement , il est divisé en morceaux qui sont parcourus en parallèle. Moyen plus efficace et rapide de traiter ces données
  7. Chaque texte, chaque recherche, chaque appel téléphonique, chaque e-mail et chaque photo ou vidéo que vous téléchargez ou action est stocké.