Baina bigdata introduction 2016

Big Data
Données massives
Prof. Karim Baïna
karim.baina@gmail.com
Professeur d'Enseignement Supérieur
ENSIAS,
Université Mohammed V de Rabat, Maroc
Co-responsable du Diplôme Universitaire « Big Data Scientist »
Chef du Département Génie Logiciel
Responsable du Service de Coopération
Semaine Culturelle, 17-20 Mai 2016
Faculté des Sciences de Kénitra, Université
Ibn Tofaïl

© Karim Baïna 2016 2
Big Data – Contexte

Big Data – L'univers digital devient de
plus en plus large et interconnecté
© IBM
(10^12)

Big Data – Perception du Volume
de l'univers digital
Lune
Terre
2/3 6,6x
TeraB (10**12 B) → PetaB (10**15 B) → ExaB (10**18 B) → ZetaB (10**21 B)

Big Data 4 V
● VOLUME
– 90% des données universelles ont été créées durant les 5 dernières années
– de 2013 à 2020, la taille de l'univers digital sera multipliée par 10 de 4.4 trillion (10**12) GB à 44 trillion
– La taille de l'univers digital plus que double chaque 2 ans
● VELOCITY (Fréquence de production de la donnée)
– 6 Milliard de téléphones portables dans le monde (sur 8 Milliard de population)
– Une voiture moderne embarque plus de 100 capteurs
– 200 Million de compteurs intelligents, 30 Billion (10**12) Tag RFID, 420 Million de capteurs médicaux
– 2,3 Trillion (10**12) GB de données sont générées chaque jours dans le monde
● VARIETY
● 80% des données universelles sont non-structurées (inexploitables par les systèmes traditionnels)
● VERACITY
● Il y a entre 30 % – 80 % followers fictifs sur twitter (selon la popularité du compte)
– La circulation des hoax (canulars), spam, fake post est reprise (retwittée) plus que les démentis.
Doug Laney, « 3D Data Management: Controlling Data Volume, Velocity, and Variety. », 2001 research report, META Group (now Gartner)
Samsung 16TB
(Technologie SSD)
Le plus large HD

Réponses aux 4 V
● VELOCITE
– Collecte des données réactive à la fréquence de leur arrivée
– Réponse on time (ponctuelle) pas nécessairement « temps réel »
● VOLUME
– stockage réparti sur un réseau de machines (cloud)
– calculs parallèles sur les données réparties (grid)
● VARIETE
– Prise en charge des données brutes [non|semi| ]-structurées et multi-
format (texte|..|matrice|graphe|image|audio|vidéo)
● VERACITE
– Traçabilité de la provenance, assurance de la vérifiabilité en dédoublant les
sources de données, adoption d'un plan de qualité des données

Big Data -
conséquence de la maturité et la
démocratisation de plusieurs disciplines
● Grid Computing : Calcul parallèle & distribué, de haute performance (HPC)
● Cloud Computing : Capacité de stockage infini, réparti et sécurisé,
fragmentation/réplication
● Internet of Things (IoT) : Informatique ambiante (UC), Informatique mobile, Multitudes
de devices connectés, plages d’adressage latge (IPV6)
– Exemples : tout objet pingable (caméra, capteur, etc.) présente des web services façades,
voiture comme ordinateur ambulant, télé-maintenance proactive, traçabilité (RFID), tracking
par GPS, etc.
● Web 3.0 (Social, Sémantique)
● SNA (Social Network Analysis)
● Data Management : SQL, Bases de données réparties, Bases de données XML, Objets,
etc. NoSQL, DWH (data warehousing), BI (Business Intelligence)
● All In Memory : Mémoire à forte capacité, Disque flash SSD, les bases de données se
chargent en mémoire et tous les calculs se font en mémoire sans besoin d'accès HD
● NLP (Natural Language Processing)

Big Data - Étude de cas
● Sécurité du citoyen : La ville de Chicago é pu réduire le crime
et améliorer la sécurité des citoyens grâce une plateforme
geospatiale analytique temps réel (WindyGrid utilisant
MongoDB). Elle analyse des données depuis plus de 30
différent départements – localisations des bus, appels 911, et
même des Tweets afin de mieux comprendre et réagir face aux
urgences.
Sécurité routière
Circulation routière

● Analyse de Sentiment : Une organisation ne peut pas
rester juste indifférente à l'égard d'une crise de réactions
sur un réseau social (ex. Twitter) plus de 30 min par ex.
L'analyse temps réelle fournit un moyen d'alerter si les
sentiments sur Twitter autour d'un problème la concernant
tournent au vinaigre.
Analyse de satisfaction du client /
perception du citoyen

● Analyse temps réel de churn (taux d'attrition) :
L'analyse temps réel fournit une meilleure perception
de l'engagement actuel du client, et améliore la
détection du moement critique ou un client décide de
partir ou de rester.
Recommending system

● Traitement des échanges boursiers : des secondes de grandes valeurs peut être
éliminées du temps de réactions des entreprises financières. Il est possible d'agir sur
la base de nouvelles informations en temps réel, comme le rapport national de
l'emploi (Current Employment Statistics – CES by Bureau of Labor Statistics – BLS)
édité le premier vendredi de chaque mois. Le négoce à base de ce rapport
génarelement commence après 10 seconds de sa publication sur le web.
Recommending system

● Recommandation de services/produits : Plus que Facebook qui
vous proposent des amis ou des thèmes, Amazon exploite les
données sur les produits pour lesquels vous (ou vos ressemblants)
êtes réellement passer au paiement pour vous les proposer. Les
psychologues parlent du pouvoir de suggestion – mettre quelque
chose que quelqu'un pourrait vouloir l'une devant l'autre pourrait
créer une envie irrésistible d'achat indépendamment de la réelle
nécessité du produit.
systèmes de recommandation

Recommending system
Catastrophes naturelles
...
Sécurité territoriale
épidémiologie

Big Data – Sources de
données

Variété Big Data -
multitude des formats de données
● Données brutes non-structurées
– Texte brute en langage naturel
– Modèle multimédia (images-audio-vidéo)
● Données semi-structurées
– Hybridation d'une structure macro flexible avec un contenu non structuré,
ex. Logs, e-mails, EDI, données de capteurs
● Données structurées
– Modèle relationnel (tables, csv/tsv)
– Modèle orienté colonnes (Matrices creuses avec données manquantes ou
optionnelles)
– Modèle associatif (Clés-Valeurs)
– Modèle arborescent (XML, JSON,... avec respect d'une structure DTD/schema)
– Modèle de graphes (RDF,...)
– ..
Panama Papers 11,5 Million de documents multi-format

Big Data – Stockage de
données

Variété Big Data -
multitude des formats de données
● Modèle relationnel
– Hive, Impala
● Matrices creuses (via clé-valeur)
– HBase, Redis
● Modèle de Document (en JSON)
– MongoDB, Couchbase
● Modèle de Graphe
– Neo4J, Giraph
● ...

Big Data – Traitement des
données

Big Data -
3 Stratégies de traitement – 1/3
● Analyse synchrone en lots sur des données réparties (synchronous batch
processing « data-intensive »)
● Les traitements (en lots) sont décomposés, transportés vers les machines
stockant les données distribuées « data locality » et persistance sur disque
des résultats intermédiaires
● Le volume des données (en PétaOctets 10^15 Octets) et la complexité des
calculs sont plus importants que la fréquence des calculs (en milliers). Et
les traitements parallèles ne partagent pas des données seulement des
résultats intermédiaires.
● Toute Optimisation du calcul et donc raccourcissement du temps de
réponse est importante vis à vis du client. La data locality est donc
prioritaire.
● Les temps de réponse varient entre quelques minutes à quelques heures

Big Data -
Le principe du synchronous batch
processing

Big Data -
● Analyse en quasi-temps réel des données en
mémoire (in memory, micro-batching)
● Les traitements (en lots) sont décomposés,
transportés vers les machines stockant les
données distribuées « data locality » et persistance
en mémoire des résultats intermédiaires
● Les temps de réponse varient de quelques
secondes à quelques minutes
Micro-Batch in memory Batch in memory

Big Data -
Le principe du synchronous batch in
memory
Batch in memory

Big Data -
Le principe du micro-batching in
memory
Micro-Batch in memory

Big Data -
● Analyse temps Réel des données en mouvement
(Real Time Analysis Processing – RTAP, Complex
Event Processing – CEP)
● Les données (événements) arrivent vers les calculs et
sont traitées à la volée avant même d'être stockées
● Les traitements peuvent accueillir plusieurs millions
d'événements par seconde (Velocity)
● Les temps de réponse ne doivent pas dépasser
quelques secondes

Big Data -
Le principe du real time analysis
processing
● Analyse temps Réel des données en mouvement
(Real Time Analysis Processing – RTAP, Complex
Event Processing – CEP)
Pattern recognition/correlation/scoring rules

Big Data Map Reduce vs
Grid Computing
● Analyse asynchrone en lots sur des données réparties
(asynchronous batch processing « compute-intensive »)
● Les traitements (en lots) sont distribuées en parallèle sur des
serveurs et les données sont envoyées à ces serveurs pour
traitement, la data locality n'est pas prioritaire !!
● La fréquence des calculs (en millions) prévaut sur le volume
des données. Et les traitements parallèles peuvent partager
des données sur le réseau.
● Le client n'attend pas le résultat, il est notifié quand c'est prêt
● Les temps de réponse varient entre plusieurs heures à
quelques jours

Vue globale de l'architecture
Big Data
Real Time Processing
Big Data Zone
ata
ke

Big Data – Visualisation de
données « Dataviz »

Big Data &
visualisation
http://www.mastersindatascience.org/blog/10-cool-big-data-visualizations/

Big Data &
visualisation

Big Data &
visualisation
http://www.theguardian.com/world/interactive/2011/mar/22/middle-east-protest-interactive-timeline

Big Data &
visualisation
Not all Arab tweeters agreed with Mona Eltahawy views of feminism in the Arab world
Visualizing Big Data:
Social Network Analysis
by Michael Lieberman, 2014

Big Data – Quels Profils et
Compétences ?
Dev Ops Engineer
Builds the cluster
Data Analyst
SQL & NoSQL guru
Big Data Developer/
Insight Developer
Insight Developer,
Productise insight
Data Scientist
Data Manager,
Machine learning expert
Data Innovator
Business Analyst,
Data Value services
Chandan Rajah @ChandanRajah

Big Data – Quels Profils et
Compétences ?
● Pour devenir Spécialiste de Big Data
– Un DBA devra apprendre à manipuler des données
non-structurées
– Un Statisticien devra apprendre à manipuler des
données qui ne tiennent pas en mémoire RAM
– Un ingénieur Génie Logiciel devra apprendre la
modélisation statistique et la communication des
résultats
– Un analyste métier ingénieur BI (ou analyste
d'affaires - Business Analyst) devra apprendre à
exécuter des algorithmes décisonnels à l'échelle
© Bill Howe

37
Big Data – Le Maroc a tout à y gagner
Énergies
Desertec
Développement durable
& Économie verte
Développement humain
& Économie équitable
Environnement
Logistique
Industrie & Services

RTAP
Real Time
agregation
Batch
transformating
OLAP Model
Historisation & Analysis
!HBase
Real Time vs Batch vs Long Term
Big Data processing
IoTSensor/Machine
ServerLogs,Text
Clickstream
Geospatiale,Sentiments

Big Data Reference Architecture
http://thinkbig.teradata.com/leading_big_data_technologies/big-data-reference-architecture/

Big Data - Gartner Hype Curve

Baina bigdata introduction 2016

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Baina bigdata introduction 2016

Similaire à Baina bigdata introduction 2016 (20)

Plus de Karim Baïna

Plus de Karim Baïna (20)

Baina bigdata introduction 2016