Chapitre i-intro

Cours Big Data – Chapitre I II3 - Mastère
Enseignante : R. CHEBIL 1
Module Big Data
ASSURÉ ET PRÉPARÉ PAR RAOUDHA CHEBIL
Plan général
1. Introduction aux Big Data
2. Hadoop et HDFS
3. Approche de Traitement MapReduce
4. Traitement Avancé Big Data
5. NOSQL
6. Architectures Big Data
2
1
2

Introduction aux Big Data
DR. RAOUDHA CHEBIL ENSI
Plan
 Constats
 Définition
 Les 3V et les V supplémentaires
 Bénéfices et challenges
 Exemples d’applications
 Traitement des données
 Etapes d’un projet Big Data
 Domaines connexes
 Nouveaux métiers
4
3
4

Constats
Explosion des données issues de plusieurs
sources :
 Réseaux sociaux ;
 Signaux GPS de téléphones mobiles ;
 Radio identification (RFID tags) ;
 Logs ;
 Capteurs utilisés pour collecter des informations
climatiques, de trafic et de consommation ;
 Transactions d’achat en ligne.
5
Constats
6
Chaque jour nous générons 2,5 exaoctets de
données soit 912,5 exaoctets par an.
En 2018, on estime que 90% des données disponibles
dans le monde ont été créées pendant les deux
dernières années.
5
6

Constats
7
7
4.5 milliards d’utilisateurs
internet en 2019
Source: www.internetworldstats.com
Twitter : 500 millions de
tweets chaque jour
Source : planetscope.com
Chaque jour :
Plus de 500 TO de nouvelles
données
2.7 milliards de « j’aime »
300 millions de photos chargées
70000 requêtes demandées
Source : lemondeinformatique.fr
Constats
• Chefs d’entreprise prennent fréquemment des
décisions basées sur des informations en lesquelles ils
n’ont pas confiance, ou qu’ils n’ont pas.
1/3
• Chefs d’entreprise disent qu’ils n’ont pas accès aux
informations dont ils ont besoin pour faire leur
travail.
1/2
• Des DSI (Directeurs des SI) veulent exploiter «
L’informatique décisionnelle et analytique » pour
améliorer leur compétitivité
83%
• Des PDG ont besoin d’améliorer la capture et la
compréhension des informations pour prendre
des décisions plus rapidement.
60%
8
7
8

Constats
Intérêt de stocker, d’analyser et d’exploiter
ces données
9
Définition
Big Data = Grosses données = Méga données =
Données massives
Big Data : ensemble de données massives ayant une
structure variée et complexe avec des difficultés
de stockage, d'analyse et de visualisation.
10
9
10

Définition
11
IOPS(Input/Output Operations Per Second)
Bénéfices
 Créer du sens et des connaissances à partir de données non
enrichies et non structurées ;
 Aider les décideurs à prendre les « bonnes » décisions au bon
moment ;
 Analyser des tendances sur la durée ;
 Permettre la création de modèle sur des données ambiantes ;
 Prédire des phénomènes, des comportements…
12
11
12

Challenges
 Réunir un grand volume de données variées pour
trouver de nouvelles idées.
 Capturer des données créées rapidement.
 Sauvegarder toutes ces données.
 Traiter ces données et les utiliser.
13
Les 3V du Big data
14
Volume Variété
Vitesse
13
14

Volume
En une minute, il y a sur internet :
30h de vidéos
204 millions d’e-mails
300 mille tweets
Données numériques créées dans le monde :
1,2 zettaoctets/an en 2010
40 zettaoctets/an en 2020
15
Volume
Quelles données doivent être stockées ?
Transactions? Logs? Métier? Utilisateur? Capteurs? Médicales?
Sociales?
Aucune donnée n’est inutile.
Certaines n’ont juste pas encore servi.
Problèmes :
Comment stocker les données dans un endroit fiable, qui soit
moins cher ?
Comment parcourir ces données et en extraire des
informations facilement et rapidement?
16
15
16

Variété
Données structurées
◦ Schéma prédéfini imposé aux données
◦ Très structurées
◦ Stockées dans un système de base de données
relationnel.
17
20% des données
Variété
Données semi-structurées
◦ XML, SGML,. . .
◦ Tweets
◦ BibTeX
◦ Les logs
18
17
18

Variété
Données non-structurées
Les données ne sont pas organisées
◦ Multimédia : vidéos, photos, audio
◦ Messages emails
◦ Texte libre
◦ Présentations
◦ Rapports
◦ . . .
19
Vitesse (Vélocité)
o Plusieurs données sont générées rapidement et ont
besoin d’être traitées rapidement.
o Le défi consiste à gérer, analyser, visualiser et
découvrir les connaissances à partir des données
recueillies en temps opportun et de manière évolutive.
o Décisions en retard opportunités ratées
20
19
20

Vitesse
E-Promotions : selon votre localisation actuelle,
votre historique d’achat, ce que vous aimez envoi
de promotions dans les magasins de votre entourage.
Suivi santé : capteurs surveillants vos activités et
votre corps des mesures anormales exigent une
réaction immédiate
21
Les V supplémentaires…
Véracité
o Proposée par IBM
o Avec l’augmentation de la quantité, la qualité et la
précision des données diminuent.
o Les solutions big data doivent remédier à cela.
o Besoin d’une grande rigueur dans la collecte,
l’enrichissement et le croisement des données.
22
21
22

Valeur
o La valeur ajoutée des données ou des informations
extraites
o Il faut transformer les données en valeurs exploitables
o Sans une réelle valeur, ce n’est qu’un gaspillage de
ressources
23
Visualisation
Représentation des données sous formes intelligentes,
pratiques et interactives
24
23
24

Variabilité
Les données ont une signification en
perpétuelle évolution : lol, émoticônes,…
25
Technologies Big Data
26
Plusieurs technologies Big Data classées selon leurs objectifs :
25
26

Exemples d’applications
Ressources humaines et recrutement :
 Méthode utilisée surtout par les cabinets de recrutement et les
grands groupes afin de mieux cibler les candidats au
recrutement.
 Etablir un profil type de candidat pour chaque poste.
 Récolter les données à partir des réseaux sociaux (LinkedIn,
Google +, Facebook et Twitter) et des bases de données en
ligne.
 A l’aide des outils d’analyse, établir des profils permettant
de repérer les candidats potentiels en amont d’un
recrutement.
27
Marketing prédictif
 Nouvelles méthodes permettant de bien cibler les clients.
 Collecter les données à partir des sources disponibles :
• Dans le cas où les données possédées ne sont pas suffisantes, il
est possible d’acheter des BD existantes ou d’utiliser l’open data.
 Effectuer une analyse approfondie des clients et de
l’efficacité des campagnes réalisées.
 Augmenter l’efficacité des campagnes en personnalisant
les offres.
28
27
28

Maintenance prédictive
 Méthode utilisée dans le milieu industriel pour réduire les
coûts de maintenance des équipements.
 Installation de capteurs sur les machines.
 Utiliser les données récuperées pour planifier l’entretien de
celles-ci.
 Cette méthode sera de plus en plus facile avec l’essor des
objets connectés.
29
Santé
Les solutions Big Data révolutionnent la recherche dans le
domaine de la santé :
Mieux traquer les agents pathogènes :
◦ Surveiller les maladies infectieuses ;
◦ Alerte en cas d’épidémie : grippe, infections alimentaires
(salmonelloses, listérioses…), rage, méningites bactériennes...
La génomique : reine du big data :
◦ Réduction considérable des coûts du séquençage du génome
humain !
Analyse d’images médicales ou de microscopie
30
29
30

 Détection de fraudes
 Réduction de crimes
 Surveillance
31
Traitement des données
Trois grandes classes :
 Traitement descriptif : que s’est-il passé ?
 Traitement prédictif : que va-t-il se passer ?
 Traitement prescriptif : comment faire pour que ça
se passe ?
32
31
32

Etapes d’un projet Big Data
Etape 1 : Identifier et collecter les données
En amont de tout projet Big Data, il faut identifier les sources
de données les plus pertinentes et collecter les données
Attention il ne faut pas investir dans des informations dont le coût de
traitement est plus élevé que leur valeur potentielle.
Etape 2 : Nettoyage de données
Convertir les données pour les analyser = générer des vues
structurées
33
Etapes d’un projet Big Data
Etape 3 : Travail ad-hoc
Analyser les données avec des outils divers SQL, R, Python
pour bâtir des modèles
Etape 4 : Evaluation
Etape 5 : Industrialisation
Peaufiner les algorithmes
Automatiser les traitements et les méthodes de visualisation
Les placer sur un gestionnaire de cluster
34
33
34

Nouveaux métiers
Chief Data Officer
◦ Responsable de l’acquisition des données ;
◦ Identification de fournisseurs possibles de données, sensibilisation,
négociation et acquisition ;
◦ Pilote et contribue à la stratégie Big Data de l’entreprise.
Data Architect
◦ Elabore l’infrastructure technique permettant de gérer d’énormes
volumes de données.
Data Scientist
◦ Construit des algorithmes permettant d’extraire des informations
pertinentes et utiles à partir des masses de données non structurées ;
◦ Doit poser les bonnes questions!
35
Nouveaux métiers
Data Analyst
◦ C’est un spécialiste du métier pour lequel on met en œuvre des initiatives
Big Data
◦ Réceptionne, analyse et consolide les données reçues du Data Scientist
Data Visualizer
◦ Marie l’art à la donnée ;
◦ Présente l’information, sous forme de graphiques ou d’images, de façon
compréhensible et efficace fournissant un outil précieux surtout pour
l’aide à la décision.
36
35
36

Le revers de la médaille…
 Sécurité des données : risques d’intrusions!
 Exploitations illégales des données!
 Respect de nos vies privées ?!
 Respect du secret médical dans le domaine de la
santé ?
 Pertinence de toutes les décisions prises
automatiquement ?
Nécessité de surveiller l’exploitation des données
massives pour éviter les dérives.
37
Plusieurs domaines connexes…
38
Data mining Data science
Machine
Learning
Business
Intelligence
Big Data
37
38

Informatique décisionnelle :
Ensemble de méthodes, de moyens et d'outils informatiques
utilisés pour piloter une entreprise et aider à la prise de
décision : tableaux de bord, rapports analytiques et
prospectifs.
Big Data :
Utilisation de statistiques inférentielles sur des données à
faible densité en information dont le grand volume permet
d’inférer des lois donnant lieu à des capacités prédictives,
descriptives ou prespcriptives.
39
BI vs Big Data
BI vs Big Data
40
Responsables
Métier
Responsables
IT
Déterminer quelles questions poser
Structurer les données pour
répondre à ces questions
Responsables
IT
Responsables
Métier
Fournir une plateforme pour
permettre la découverte créative
Explorer la plateforme pour déterminer
quelles questions poser
39
40

Data Mining
Famille d'outils permettant l'exploration et l'analyse des
données contenues au sein d'une base décisionnelle de type
Data Warehouse ou DataMart.
 Permet de trouver des structures originales et des corrélations
informelles entre les données => Extraire des informations
significatives depuis de grandes quantités de données.
Permet de mieux comprendre les liens entre des phénomènes
en apparence distincts et d'anticiper des tendances
difficilement détectables.
41
Data Science
 Science de la donnée
 Discipline récente en pleine évolution
 Bâtit ses outils et concepts sur le data mining = data mining
massif!
 Analyser les données de façon à détecter des agrégats, des
liens, des informations =>répondre à des questions, bâtir des
modèles…
42
41
42

Machine Learning
 Va au-delà du data mining et de la data science.
 S’appuie sur des algorithmes afin de traiter les données et
d’apprendre des règles au fur et à mesure.
 La prise de décision se fait de manière automatique.
43
DS-ML
44
https://fr.blog.businessdecision.com/methode-crisp-la-cle-de-la-reussite-en-data-science/
43
44

DM versus ML
Data mining Machine learning
1960 1980 : grâce au jeu de dames
développé par un des pionniers du
« Computer Gaming » : Arthur
Samuel.
Consiste à extraire d’un grand
volume de données, les
informations les plus utiles pour
détecter des corrélations cachées
entre données ou des tendances.
Il est utilisé par des humains
Une fois triées, les données
peuvent aider le Machine Learning
dans sa tâche de formation des
systèmes informatisés pour la
réalisation de tâches complexes,
sans avoir besoin
d’intervention humaine.
DM versus ML
Data mining Machine learning
Le Data Mining puise ses
informations dans des réserves de
données.
Le Machine Learning fonctionne
avec des algorithmes.
Le Data Mining ne peut ni
apprendre ni s'adapter.
Il suit des règles prédéfinies et est
statique.
L’intérêt de l’apprentissage
automatique c’est d’apprendre. Il
ajuste les algorithmes au fur et à
mesure que les bonnes
circonstances se manifestent.
La DM est aussi intelligente que les
utilisateurs qui entrent les
paramètres.
Le ML signifie que les ordinateurs
deviennent plus intelligents.
45
46

DM versus ML
En termes simples, le Data Mining est une ressource sur
laquelle le Machine Learning peut compter pour accomplir ses
fonctions.
L’intervention humaine est presque absente lorsqu’il s’agit du
Machine Learning par contre elle est importante dans le Data
Mining.
Plusieurs termes à comprendre
et à différencier…
48
Rack server
Data center
Cluster
47
48

Chapitre i-intro

Contenu connexe

Tendances

Similaire à Chapitre i-intro

Chapitre i-intro