Karim baina iwaise2016

Les Big Data
une Transformation Disruptive
des Systèmes d'Information
Rabat, Morocco, November, 9-10th, 2016
Prof. Karim Baïna
karim.baina@um5.ac.ma, karim.baina@gmail.com
Professeur d'Enseignement Supérieur
ENSIAS, Université Mohammed V de Rabat, Maroc
Co-responsable du Diplôme Universitaire « Big Data Scientist »
Ex-Responsable de l'équipe Alqualsadi sur les Architectures d'Entreprises
du Laboratoire International Associé CNRS (LIA) : DATANET - Big Data et Réseaux à Large échelle
Chef du Département Génie Logiciel et Chef de Service de Coopération

© Karim Baïna 2016 2/61
Les prédictions des résultats
de éléctions présidentielles
2016 aux USA :
un anti-pattern pour la Big
Data Analytics

Pourquoi beaucoup d'Algorithmes
d'Analyse Big Data ont mal prédit la
victoire du Président Américain ?
Akinwande Atanda ©

● Le déni de la réalité : « Denial can be a powerful drug », « the black swan
election »
● la « bulle digitale » avec ses données non représentatives du citoyen lambda, et ses filtres
algorithmiques peuvent se transformer en prisme qui fausse la réalité
– Les lecteurs de journaux croient ce qu'ils veulent croire, ainsi que ceux sur Facebook - et
jamais les deux ne se rencontreront
● Les médias n'ont pas l'information réelle de la base
– Les médias de la côté est sont sans doute hors de contact avec la population en grande partie
rurale qui a voté pour Trump : Coût de la vie, exode rurale, manque d'espoir, etc.
● Les médias était très divisés et fragmentés par rapport aux vérités (manque de
Véracité):
● favorable à l'infobésité, désinformation, les mensonges et les canulars
http://fortune.com/2016/11/09/media-trump-failure/ « Here's Why the Media Failed to Predict a Donald Trump Victory »

● A ‘Dewey Defeats Truman’ Lesson for the Digital Age
● Erreur de prédiction en 1948 du succès du président Truman
commise par le Chicago Daily Tribune
● Mike Murphy, a Republican strategist, said on MSNBC, “My
crystal ball has been shattered into atoms’’ because he
predicted the opposite outcome. “Tonight Data died,’’ he
added.
● Big Data and the sophisticated modeling could not save
American journalism from yet again being behind the story
http://www.nytimes.com/2016/11/09/business/media/media-trump-clinton.html?_r=0

● The news media by and large missed what was happening all around
it, and it was the story of a lifetime. The numbers weren’t just a poor
guide for election night - they were an off-ramp away from what was
actually happening.
● No one predicted a night like this — that Donald J. Trump would pull
off a stunning upset over Hillary Clinton and win the presidency.
● The misfire on Tuesday night was about a lot more than a failure in
polling. It was a failure to capture the boiling anger of a large portion of
the American electorate that feels left behind by a selective recovery,
betrayed by trade deals that they see as threats to their jobs and
disrespected by establishment Washington, Wall Street and the
mainstream media.

True = 1
False = 0
Lorsque cinq clés ou moins sont fausses, le parti au pouvoir (incubent-
party) gagne. Lorsque six ou plus sont fausses (ici 6), le parti contestataire
(challenging-party) gagne !!
pollyvote.com : 13 keys to the white house
Pourtant l'Algorithme de Prof. Allan Lichtman (entre
autres), se basant sur les résultats des présidentielles
depuis 1860 a prédit les votes populaires résultats de
1984 à 2016

Pourtant l'Algorithme de Prof. Allan Lichtman (entre
autres), se basant sur les résultats des
présidentielles depuis 1860 a prédit les votes
populaires résultats de 1984 à 2016
1980 Ronald W. Reagan Républicain
1984 Ronald W. Reagan Républicain
1988 George H. W. Bush Républicain
1992 Bill Clinton Démocrate
1996 Bill Clinton Démocrate
2000 George W. Bush Républicain
2004 George W. Bush Républicain
2008 Barack Obama Démocrate
2012 Barack Obama Démocrate
2016 Donald Trump Républicain
R
R
R
D
DD
D
R
D
D
R
Al Gore (Democrate) won the popular vote, but George W. Bush (Republican) occupies the White House
(49,7 % pour le parti Démocrate au pouvoir
soit réussite des Républicains)
Modèle de Régression Linéaire
pollyvote.com : 13 keys to the white house

● Pourtant l'Algorithme de Prof. Allan Lichtman
● n'applique même pas une analyse Big Data
● C'est un algorithme supervisé (régression linéaire)
qui exploite seulement une matrice booléenne de taille 39
* 13 (réponses à 13 questions durant 30 élections )

Plan
● Élections présidentielles 2016 et anti-pattern pour
la Big Data Analytics
● Introduction
● Les Systèmes d'Information
● Les Big Data
● Les Systèmes d'Information pour Les Big Data - Transformation Disruptive
– des Données
– des Technologies
– des Processus
– des Personnes
● Études de Cas et Opportunités de création de la Valeur

Introduction

Les Systèmes d'Information

SI – Définition 1
● "Role of information technology within an
Information System is to capture, transmit,
store, retrieve, manipulate, or display
information used in one or more business
processes" Alter'1996

SI – Définition 2
● Le Modèle intégré de Système d'Information de Schultheis
& Sumner's 1998 fait intervenir l'intéraction 4 composants :
1. Technology element (hardware & software)
2. Human element (People)
3. Organizational element (procedures)
4. Information element (stored data)

Les Big Data

Big Data 5 V
● VOLUME
– de 2013 à 2020, la taille de l'univers digital sera multipliée par 10 de 4.4 à 44 trillion (10^12) GB
– La taille de l'univers digital plus que double chaque 2 ans
● VELOCITY (Fréquence de production de la donnée)
– Une voiture moderne embarque plus de 100 capteurs
– 2,3 Trillion (10^12) GB de données sont générées chaque jours dans le monde
● VARIETY
– 80% des données universelles sont non-structurées (inexploitables par les systèmes traditionnels)
● VERACITY
– Données incertaines, entre 30 % – 80 % followers fictifs sur twitter (selon la popularité du compte)
– La circulation des hoax (canulars), spam, fake post est reprise (retwittée) plus que les démentis.
● VALUE (VA mesurable générée à la société ou à l'entreprise)
– améliorer soins de santé, mieux comprendre & servir clients/citoyens, optimiser processus métiers &
booster performance, améliorer sécurité & mieux maîtriser risques à l'international, obtenir de
nouveaux avantages compétitifs, et créer de nouveaux modèles business radicaux, etc.
Doug Laney, « 3D Data Management: Controlling Data Volume, Velocity, and Variety. », 2001 research report, META Group (now Gartner)
Samsung 16TB
(Technologie SSD)
Le plus large HD

Big Data – étude d'opportunité de
Recherche (index de volume de
recherche google)
https://www.google.com/trends/
Le marché du Big Data s'élèverait à 40 milliards de dollars pour l'année 2015
et il connaîtra, selon les prévisions, une croissance de 14% chaque année jusqu'en 2020

Big Data -
Un domaine au carrefour
de plusieurs disciplines et d'expertises
IoT/IoE
Digital Humanities
Social Networking
Information
Systems
Computational
Linguistics

Big Data -
IoT/IoE
Digital Humanities
Social Networking
Information
Systems
Cloud &
Grid
Computing
Computational
Linguistics

Big Data -
IoT/IoE
Digital Humanities
Social Networking
Information
Systems
KM
Data
Management
Cloud &
Grid
Computing
Computational
Linguistics

Big Data -
IoT/IoE
Digital Humanities
Social Networking
Information
Systems
Maths &
Statistics
& OR
Computational
Linguistics
KM
Data
Management
Cloud &
Grid
Computing

Big Data -
IoT/IoE
Digital Humanities
Social Networking
Software
engineering
Information
Systems
Maths &
Statistics
& RO
Computational
Linguistics
KM
Data
Management
Cloud &
Grid
Computing

pour
Les Big Data
« Transformation disruptive des Données »

Big Data – l'univers digital en pleine
expansion pilote la croissance et
l'intégration de l'économie numérique
source intel.com
source Hongkiat.com
● 90% des données mondiales ont été produites
durant les 5 dernières années
● +1,2 T (10¹²) de recherche sur Google
● +4 Md (10⁹) heures de vidéo sur Youtube
● +1 Md d'utilisateurs actifs sur Facebook passant
700 M min par mois
● +500 M d'utilisateurs postant +55 M Tweets / jour
● +30 Md Tag RFID Tag en 2013 (1.3 md in 2005)
● +6 Md de téléphones portables
● +4,6 Md de téléphone caméra
● +420 M de « wearable » moniteurs de santé sans fil
● +200 M de compteurs intelligents en 2014 (76 M en
2009)
● +100 M de GPS activé

Big Data – Perception du Volume
de l'univers digital
Lune
Terre
2/3 6,6x
TeraB (10**12 B) → PetaB (10**15 B) → ExaB (10**18 B) → ZetaB (10**21 B)

Volume - Big Data Paradigm shift :
dans le monde digital, la collecte se
fait en temps réel & en mode push
● Contrairement au SI
traditionnels, les données
massives sont produites par
– L'écoute directe du monde
réel et « les données
alimentent le SI sans
intervention (saisie)
humaine » : réseaux de
capteurs connectés, IoE
– Les end-user directement :
réseau sociaux,
téléphones, caméras,
objets domestiques
connectés
source intel.com
source Hongkiat.com

Variété - Big Data :
multitude des formats de données
OLAP
non-structured
semi-structured
structured
● Contrairement au SI traditionnels, les
données massives sont produites par
Les SI à l'ère du Big Data sont capables
de Croiser
– de multiples sources de données
(internes et externes)
– de formats multiples (ou même
sans format)
– Avec ou sans contrainte de schéma
(ELT ou « schema on read »)
● Le Traitement de la Langue Naturelle fait
partie intégrantes des SI à l'ère du Big
Data
80 % des données
produites sont
non- structurées et
donc non
exploitables par
les SI traditionnels

pour
Les Big Data
« Transformation disruptive des Technologies »

Volume - Big Data « data-intensive »
Paradigm shift : Data Locality
Principle 1 : spread data across a cluster of computers
Principle 2 : keep work physically close to the data
(partition/fragmentation)
● Le volume des données (en PétaOctets 10^15 Octets) et la complexité
des calculs sont plus importants que la fréquence des calculs (en
milliers). Et les traitements parallèles ne partagent pas les données
initiales seulement des résultats intermédiaires.
Data at Rest

Volume - Big Data Paradigm shift :
Synchronous batch processing
Data at Rest

Variété - Big Data Paradigme shift :
Cohabitations de Syntaxe & Sémantique variables de données
● Avant les Big Data : syntaxe et sémantique
statique
– Toutes les informations d'une entité ou relation
obéissent à un schéma unique (modèle
relationnel)
● Avec les Big Data : syntaxe et sémantique ad-
hoc
– Il peut y avoir autant de schémas que de faits
(modèle NoSQL)

Variété - Big Data paradigm shift :
Schema on Run/Read (aka ELT)
● Avant les Big Data : Schema on Load/Write (aka ETL)
– L'Objet & les dimensions d'analyse sont pré-organisées selon l’utilisation envisagée
– Collecte des données de production structurées selon un format initial
– Stockage dans un hyper-cube structuré.
– A chaque fois que les données évoluent, il y a nécessité de mise à niveau du
datawarehouse et remise en question de la stratégie d’organisation de l’information
(Cycle de vie très long et rigide)
● Avec le Big Data - Schema on Run/Read (aka ELT) :
– Collecte des données non ou semi-structurées depuis les sources
– Stockage les données brutes sans structures explicites
– Exploration et Analyse les données « programmatoirement » le programme s'adapte au
format et pas l'inverse !!
– Stockage dans une structure cible pour de futures analyses
– Cycle de vie court, flexible et Compatible avec la démarche inductive (zéro hypothèse)

Vélocité - Big Data paradigm shift :
Real Time Analysis Processing (RTAP)
● Les données (événements) arrivent vers les calculs et sont traitées
à la volée et en mémoire (in memory) avant même d'être stockées
● Les traitements de plusieurs millions d'événements par seconde.
Pattern recognition/correlation/scoring rules
Data in Motion
Une entreprise de
la taille de HP (en
2013) génère 100
Md d'événements
par jour ~ 12 million
d'événements par
seconde

Big Data – un écosystème de
nouveaux concepts et technologies

Big Data – un écosystème de
nouveaux concepts et technologies
Cloudera ©

pour
Les Big Data
« Transformation disruptive des Processus »

● Avant les Big Data : réactivité hors contexte
– Procédé métier sans état : n'a pas de mémoire
– Procédé métier malvoyant : traitement hors contexte ne prenant que les
informations explicites
– Procédé métier réactif : request/response
● Avec les Big Data : proactivité contextuelle
– Procédé métier avec état : possède une mémoire du dossier permettant
un traitement personnalisé (recommandation personnalisée)
– Procédé métier voyant et pré-voyant : prend en compte tout le contexte
du dossier et des dossiers similaires (recommandation item & sociale)
– Procédé métier proactif : prédictif et préventif (recommandation hybride)
K. Baïna & A. Ismaïli Alaoui 2015
Big Data paradigm shift : Processus
métiers enrichis par les Big Data

Big Data paradigm shift : Démarche
inductive d'ingénierie des données
● SI Avant les Big Data : Démarche DÉDUCTIVE (expérimentale)
– Le chercheur a une vue théorique du monde naturel, basée sur des
concepts et théories acceptés, et cherche à vérifier certaines
hypothèses quant aux causes d'un phénomène. Ces hypothèses
sont ensuite testées au cours de l'analyse, et c'est par le jeu de
leurs acceptations/rejets que se construisent les théories
explicatives. Les scientifiques qui pratiquent cette approche sont
qualifiés de rationalistes.
● SI Avec les Big Data : Démarche INDUCTIVE/INFERENTIELLE
(observationnelle, corrélative, régressive)
– Les données (observations) sont collectées sans formuler
préalablement d'hypothèse et les explications sont dérivées de
ces données par généralisation des faits observés pour produire
un modèle scientifique de la réalité dit prévisionnel.
« patterns »

Big Data paradigm shift : Processus
technique & Architecture d'ingénierie
des données
(Real Time Processing)
Big Data Zone
ata
ke
(Batch Processing)
● Zone Big Data :
● Big Data Lake (Traitement de données
au repos) : Acquisition, Extraction
Nettoyage/Annotation,
Intégration/Aggrégation, Représentation,
et Stockage des données d'une manière
[non, semi] ou structurée.
● Real Time Processing (RTAP des
données au mouvement) :
Management Big Data et Analyses en
temps réel
● Bac à sable Analytique « Analytics Sand
Box » : Modélisation, Analyse, et Interpretation des
données à travers une démarche
inductive/inférentielle sur un échantillon.
● Boucle d'apprentissage continue entre la zone Big
Data et le bac à sable Analytique (processus
déductif/inductif)
● Environnement Business Intelligence :
Navigation de datamarts structurés, Reporting des
indicateurs, Actionnement des Alertes, Intégration
avec des processus métiers.
Inspired from EMC (except RTAP part)

pour
Les Big Data
« Transformation disruptive des Personnes »

Dev Ops Engineer
Builds the cluster
Data Analyst
SQL & NoSQL guru
Big Data Developer/
Insight Developer
Insight Developer,
Productise insight
Data Scientist
Data Manager,
Machine learning expert
Data Innovator
Business Analyst,
Data Value services
INFRA DATA ENGINEERING DATA SCIENCE DATA INNOVATION
SI pour les Big Data – nouveaux
Profils de Personnes
TECHNOLOGIES ALGORITHMES OPPORTUNITES
Digital-citizen
news publisher
Distributor
E-journalist
Big Data producer

● Pour devenir Spécialiste de Big Data
– Un Statisticien devra apprendre à manipuler des données
distribuées et qui ne tiennent pas en mémoire RAM d'une
seule machine
– Un analyste métier ingénieur BI (ou analyste d'affaires -
Business Analyst) devra apprendre à écrire et exécuter
des algorithmes décisionnels à l'échelle et faire du
reporting sur des données stockées en format brute
– Un DBA devra apprendre à manipuler des données non-
structurées
– Un ingénieur Génie Logiciel devra apprendre la
modélisation statistique et la communication des résultats
© Prof. Bill Howe
SI pour les Big Data – nouveaux
Profils de Personnes

Pour
Les Big Data –
études de cas et opportunités de
création de la Valeur

Valeur - Big Data paradigm shift : 3 P
● PERSONNALISATION
– Prise en compte personnalisée du comportement, pour proposer, suggérer
et recommander
● PREDICTION / PREVISION
– Explication de phénomènes, Simulation des tendances et Prévision des
conséquences
● PREVENTION
– Proposition de mesures, d’actions anticipatives pour limiter l’impact d’un
phénomène

Valeur - Big Data paradigm shift : 3 P
● PERSONNALISATION
– Analyse de corrélation d'événements complexes pour produire des éléments de
connaissances
– Reconnaissance personnalisée et efficace des comportements anormaux pour
suggérer/recommander des actions adécquates.
– Identification d'informations actionables parmi des larges masses de données et
réduire le taux de faux positifs (Veracité) à des niveaux gérables
(actions/interventions sont coûteuses).
● PREDICTION / PREVISION
– Analyse de Prédiction : déduction & explication qu'un événement risque de se
produire (Prévision), exactement quand (Prédiction), et prévoir les conséquences.
● PREVENTION
– Analyse de Prévention : proposition d'actions correctives/préventives pour limiter
l'impact d'un événement

● e-Gov et e-citoyen
– Analyser les problèmes du quotidien pour mieux servir le citoyen
● Commerce & Marketing
– Analyser la satisfaction Client et prédire le churn (attrition)
– Détecter les nouveaux usages et besoins et Acquérir de nouveaux clients
– Fructifier les clients acquis grâce aux systèmes de recommandation
● Industrie & Production
– Analyser la qualité des procédés de production
– Réduire les pertes et les redondances
● Sécurité & cyber-sécurité
– Détecter les Fraudes
– Détecter les anomalies liées à la cybersécurité
Baïna & Ismaïli Alaoui 2015
Valeur du Big Data résulte de la richesse
des données + la force des algorithmes

Val
Recommandation
de services/produits
Prévision Catastrophes naturelles
...
Prévision des évolution
des épidémies
Traitement des échanges boursiers
Sécurité territoriale
Mesure de la Perception du citoyen
Mesure de la Satisfaction du client
Anticiper les pics
de la circulation
Sécurité du citoyen
Valeur

Baïna & Ismaïli Alaoui 2015
Big Data -
Valeur & Visualisation :
Algorithme du Bonheur

Big Data -
Valeur & Visualisation :
Algorithme du Bonheur
Un échantillon
Json de Tweeter
Un dictionnaire
d'émotion

Big Data -
Valeur & Visualisation : Algorithme du
Bonheur (en 7 mini-requêtes HiveQL)I) Charger Dictionnaire d'émotion
create table dictionary (word string, rating int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY 't';
LOAD DATA LOCAL INPATH '/home/hadoop/AFINN.txt' into TABLE dictionary;
II) Charger Tweets depuis stockage flume
create external table load_tweets(id BIGINT, text STRING, country STRING)
ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe' LOCATION '/user/flume/tweets'
Tokeniser les tweets
create table split_words as select id as id, split(text,' ') as words, country from load_tweets;
Applatir les mots des tweets
create table tweet_word as
select id as id, word, location from split_words LATERAL VIEW explode(words) w as word;
III) Croiser Tweets & Dictionnaire
create table tweet_word_join as
select tweet_word.id, tweet_word.word, country, dictionary.rating
from tweet_word LEFT OUTER JOIN dictionary ON(tweet_word.word =dictionary.word);
Calculer moyenne score de chaque Tweet
create table tweet_rating_avg as
select id, country, AVG(rating) as rating from tweet_word_join GROUP BY id, country order by rating
DESC;
Calculer moyenne score de chaque Pays
create table location_rating_avg as
select country, AVG(rating) as rating from tweet_rating_avg GROUP BY country order by rating DESC;
-Like

Big Data -
Valeur & Visualisation : Détection
d'Anomalies (AD) – macro ségmentation
anomaly
outlier
Cluster 2
Cluster 1
anomaly
Linear regression
K-Means (clustering)
1) Générer un Modèle de ce qui est
normal pour tous les individus
observés :
regrouper les données en utilisant de
sméthodes supervisées ou non
supervisées ex. Classification/Clustering
2) Détecter les anomalies :
Trouver des données qui ne confirme pas
le schéma/pattern normal
Détecter les observations qui dévient
énormément des comportements
attendus.
Quand cela se produit, lever l'alerte.
Ex : analyse globales de comportements des
utilisateurs/employés/citoyens/clients,
matériels, Interactions inter-application, ..
unsupervised algorithm
supervised algorithm

Big Data -
Valeur & Visualisation : Détection de changement de
comportement (B.A.D) – micro ségmentation
1) Générer un Modèle de ce qui est
normal pour un individu :
Si le scoring de la donnée courante n'est
pas aberrante (assez proches des données
récentes), l'ajouter à un buffer de
référence
2) Détécter le changement de
comportement :
Superviser en continu les changement en
termes de comportement entre les
observations courantes et le buffer de
référence sur la base de distance.
Détecter l'écart dans le scoring de
l'observation courante.
Quand cela se produit, lever l'alerte.
Ex : analyse micro du comportement de chaque
utilisateur/employé/citoyen/client, matériel,
Interaction inter-application, ..

Big Data -
Valeur & Visualisation : Crimes
d'Armes aux états unies
http://www.mastersindatascience.org/blog/10-cool-big-data-visualizations/
<= 30
> 30
Nombre Années perdues

Big Data -
Valeur & Visualisation : intensité
séismiques dans le monde

Big Data -
Valeur & Visualisation : importances et
durées des guerres dans le monde

Big Data -
Valeur & Visualisation : Analyse des causes
des appel 311 par type et par période du jour

Big Data -
Valeur & Visualisation : Faits marquants des printemps
arabes selon la gravité, le pays, dans le temps
http://www.theguardian.com/world/interactive/2011/mar/22/middle-east-protest-interactive-timeline

Big Data -
Valeur & Visualisation : Polarité des opinions sur les
réseaux sociaux par rapport à une féministe Arabe
Not all Arab tweeters agreed with Mona Eltahawy views of feminism in the Arab world
Visualizing Big Data:
Social Network Analysis
by Michael Lieberman, 2014

Valeur & Opportunités du Big
Data – Améliorer le quotidien du
citoyen Marocain
Améliorer la Sécurité
Routière – plus de
campagnes et de
signalisation dans les
régions/véhicules à haut
risque
Améliorer la qualité
du transport – mieux
desservir la demande
en période de pic
Améliorer les services
sociaux – mieux desservir les
régions selon les spécialités
manquantes
Réduire le chômage et
augmenter l'employabilité –
mieux connecter offreurs et
demandeurs d'emploi, anticiper
les besoins du marché d'emploi
Améliorer l'éducation –
mieux servir les régions
marginalisées

Valeur & Opportunités du Big Data –
Sans oublier bien évidemment de
Préparer le Maroc de demain
Énergies
Desertec
Développement durable
& Économie verte
Développement humain
& Économie équitable
Environnement
Logistique
Industrie & Services

Big Data
as a Disruptive Transformation of Information Systems
Prof. Karim Baïna karim.baina@um5.ac.ma, karim.baina@gmail.com,
@kbaina, www.slideshare.net/kbaina
Professeur d'Enseignement Supérieur
ENSIAS, Université Mohammed V de Rabat, Maroc
Co-responsable du Diplôme Universitaire « Big Data Scientist »
Ex-Responsable de l'équipe Alqualsadi sur les Architectures d'Entreprises
du Laboratoire International Associé CNRS (LIA) : DATANET - Big Data et Réseaux à Large échelle
Chef du Département Génie Logiciel et Chef de Service de Coopération
46/46
made with :

Karim baina iwaise2016

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (19)

En vedette

En vedette (10)

Similaire à Karim baina iwaise2016

Similaire à Karim baina iwaise2016 (20)

Plus de Karim Baïna

Plus de Karim Baïna (19)

Karim baina iwaise2016