Keynote Big Data & Data Science - 24h pharma@dreux

KeyNote
Big Data & Data Science
Vendredi 12 Octobre 2018

Alexia Audevart
Data & Enthusiasm
@aaudevart
President of
Toulouse Data Science meet-up
Co-organizer of
Toulouse DevFest conference
Founder of datactik
Data Scientist

Alexia Audevart – 24H Pharma@Dreux© Tous droits réservés - 2018
5 exaoctets
(1 exaoctet = 1 million teraoctet)
Internet
1sec
<
Réseaux
sociaux
Internet
des objets
* Digital Universe Study by IDC, 2012.
L’évolution des données

Datanami

QUIZZ
Quelle est la valeur marchande annuelle des données
personnelles laissées gratuitement par les internautes ?
1 000 milliards de dollars

… des nouvelles technologies
et des outils pour exploiter et
analyser ces données
Une variété de sources de
données…
… et des outils &
technologies pour les
visualiser et les utiliser
Calculators, Storage... Big Analytics
Visualisation
Interfaces
Platforms & Apps
Internal & External
Que se cache derrière le buzzword Big Data ?

Le BIG DATA n’est pas une technologie
Mais la capacité de collecter, stocker, traiter, valoriser, rapidement à moindre
coût de gros volumes de données
où la taille unitaire d’une donnée est insignifiante.

Vers une nouvelle gestion des données
Process-centric
• Données structurées
• Données venant de sources Internes
• Données “importantes” uniquement
• Multiple copies des Données
Data-centric
• Données de tous types (structurées, semi-
structurées, non-structurées)
• Données venant de multiple sources de données
(interne & externe)
Data
App
App
App
App
App
App
Data
Data
Data
Data

Analyzed Data
Structured Data
Unstructured Data
Reservoir data
Run Analytics
Business Insights
Data Lake

Data Sources
Internal DataSources External DataSources
Data Usage
Access Layer
Usage
AnalyticsAPI / Drivers
Data
Exploration
Search
DataSecurity&Governance
Orchestration
Administatration
Staging Data
Unstructured DataSemi-structured DataStructured Data
Foundation Data
Processed Data
Storage
Processing
Searching Data
Crossing /
Cleaning Data
Machine
Learning
Data Acquisition
Ingestion Streaming
Event ProcessingData Loader Data Capture
Data Lake

L’écosystème Big Data

Hadoop

Bases de données NoSQL

Moteurs de recherche &
Analyse de logs

Data Visualisation + BI

Data Science
Machine Learning

Pourquoi utiliser le Big Data ?
• Archivage
• Déchargement d’entrepôt de données
• ETL (Extract-Transform-Load)
• Fail-Over
Réductions des couts
• Analyser et Irer de la valeur des
données de l’entreprise
• Analyser des données exogènes de
l’entreprise et les corréler avec des
données internes
Elargir le champ des possibles

Quelques cas d’utilisation

Partie 2 : Valorisation des données

Data
Mining
Base de
données
Intelligence
Artificielle
Machine Learning
Statistiques
Réaliser des machines capable
de simuler l’intelligence
Donner la possibilité à des machines
d’apprendre sans être explicitement
programmées pour.
Découvrir des structures
dans de vastes ensembles de
données (patterns).
Ensemble de méthodes permettant
de décrire et d’analyser des
observations (ou des données)
Reconnaissance
de Patterns
Deep
Learning
Data Buzz Words

L’expertise humaine n’existe pas L’humain n’est pas capable d’expliquer son expertise
Les solutions changent au cours du temps Les solutions doivent s’adapter à des cas particuliers
Navigation sur Mars Reconnaissance vocale
Routing dans un réseau informatique Empreinte biométrique
Machine learning : quand ?

Le Machine Learning
Expérience Tâche Performance
Données d’entrées
• Prix de maisons
• Images
• Transaction Clients
• Clickstream data
Tâche
• Prédire les prix
• Catégoriser les images
• Segmenter les clients
• Optimiser les flux
d’utilisateurs
Performance
• Prix précis
• Images triées correctement
• Groupement cohérent
• KPI

Un programme informatique se dit d’apprendre de l’expérience E par rapport à une catégorie
de tâches T et mesure de la performance P, si sa performance à des tâches T, telle que
mesurée par P, s’améliore avec l’expérience E.
Tom Mitchell – 1998
Le Machine Learning
Expérience Tâche Performance

Quizz
Supposons que votre logiciel de messagerie surveille les emails que vous marquez en spam/non spam
et qu'il apprenne à mieux filtrer les spams.
Identifier la tâche T, la mesure de performance P et l’expérience E
• Classifier des emails en spam et non spam
• Emails labellisés en spam ou non spam
• Le nombre d’emails correctement classés en spam/non spam

Définition : Modèle Machine Learning
Représentation mathématique des relations dans un ensemble de données

Features = éléments ou dimensions d’un jeu de données
Définition

Machine Learning – Phase d’apprentissage
Historical
Data
Compare Models
Feature
Engineering
Test
Train
Validation
Validation Results
Hyper-parameter
tuning
Build Models
MODELS
Test Results

InferenceLearning
Modèle Machine Learning
Expected
Label
New Input Data
Text,
Documents,
Images,
Sounds,
….
MODEL
Training Input Data
Text,
Documents,
Images,
Sounds,
….
Labels
Features
Vectors
Features
Vector
Machine Learning
Algorithm

3 Types d’apprentissage
Appren6ssage Supervisé Apprentissage Non Supervisé
Appren6ssage par
renforcement

EvolutionariesConnectionistsBayesiansSymbolists
Systematically
reduce uncertainty
Simulate evolutionEmulate the brain
Fill the gaps in
existing knowledge
Source Image : Blog PWC Pedro Domingo-The Master Algorithm
Analogizers
Notice similarities
between old and
new
Ces différents courants peuvent être combinés pour résoudre des problématiques.
Les 5 courants du Machine Learning

Définition de la data visualisation ?
Ensemble de méthodes et techniques
de représentation
des données sous forme visuelle

Quand utilise-t-on la data visualisation ?
La communication implique de la simplification,
L’exploration de données implique de l’exhaustivité.
Exploration des données Représenta:on des données

60 000 fois plus
Rapide d’analyser une image que du texte
90% de l’information transmise au
cerveau est visuelle
1 image vaut 1000 mots

Besoin de raisonner, à un certain niveau de difficulté et pour une certaine
quantité d’informations
=> utilisation de supports externes
Ce principe est nommé la cognition externe
Le raisonnement humain

Le raisonnement humain
2 Phases

La dataviz a toujours existé

QUIZZ
Quels sont les graphiques que vous connaissez ?

Invention de 3 graphiques – William Playfair
« En fait de moyens et de calculs, le plus sûr moyen
de frapper l’esprit est de frapper les yeux » - William Playfair
Série statistique chronologique
sous forme de courbe
Le graphique en barre Le camembert

Quelle est la proportion de chaque groupe ?
Ethic composition of prisoners in Jail in 2008 in the USA. (Le Monde 5/12/2014)
?
?
?37 %
16 %
44 %
QUIZZ

Le camembert
Un pie chart ou camembert regroupent ces 3 caractéristiques :
• Angles
• Aires
• Arcs de cercle
Mauvaise appréciation par l’oeil de ces 3 caractéristiques !
Si plus de 4 catégories sont représentées :
• Trop de secteur = comparaison difﬁcile
• Superposition des libellées
• Quasi inexistence des petits secteurs
• Nb de couleurs = afﬁchage indigeste

La Time line - Joseph Priestley (1765)

http://www.concerthotels.com/100-years-of-rock/
Exemples

h4p://mbtaviz.github.io/
Exemples

La dataviz concerne tous les types de données
Données structurées Données semi-structurées Données non structurées
LOG

Variables qualitatives ou catégorielles
expriment une qualité
=> Représente des catégories que l’on nomme avec
un label
Exemple :
• signe astrologique
• liste des pays
Opération : = , ≠
Variables Nominales
=> Catégories naturellement ordonnées = le rang
Exemple :
• un peu, moyen, beaucoup, à la folie
Opération : = , ≠, <, >
Variables Ordinales
Différents types de variables

Variables quantitatives
contiennent des valeurs mesurables
Þ Variables numériques ayant des valeurs
dénombrables entre deux valeurs
Þ Variables ayant des valeurs finies
Exemple :
• Nombre de voitures dans la rue
• Nombre de personnes majeures
• Nombre de candidats à l’examen
Variables Discrètes
=> Variables numériques ayant un nombre inﬁni de
valeurs entre deux valeurs.
Exemple :
• La vitesse d’une voiture
• La taille, le poids d’une personne
• Le temps de réalisation d’une tâche
Variables Continues
Différents types de variables

Relation entre les données
Information qualitative
=> Pas de notion d’ordre
Information ordonnée
=> Des données numériques ou
non
Information quantitative
=> Quantités absolues
Ressemblance et Différence
= ≠
Ordre, Classement, Hiérarchie
O
Proportionnalité
Q

3 graphiques pour représenter les données quantitatives

Choisir le bon graphique

Un modèle (simple) de la perception visuelle humaine
Etape 1
Perception Pré-attentive
Etape 2
Consolidation des objets
identifiés &
représentation spatiale

Capacités pré-attentives
• Perception inconsciente
• Mécanismes bas niveau du système visuel
• Extrêmement rapide : réaction en 200 ms
• Montée en charge : le temps de réaction
croit lentement avec le nombre d’objets
• Différents types de stimuli

Perceptions Visuelles
Limites et freins de la nature humaine
• Physiologie de l’oeil
• Illusions graphiques
• Fausses interprétations
• Daltonisme
• Erreurs d’appréciation
• Préjugés de formes
• Charge cognitive

Edward Tufte :
• Professeur Américain
• “Leonard de Vinci des données” par le NY Times
• Auteur de 4 livres : http://www.edwardtufte.com/tufte/
Ses travaux :
• Concept du data-ink ratio
=> Maximiser la data densité
• Intégrité : Eviter les manipulations / tordre les données
L’excellence graphique se détermine donc par la conjonction de la densité de
l’information associée à une faible densité visuelle
Les Travaux de Tufte

Distribution d’une variable continue en 5 groupes
Les Travaux de Tufte : Data-ink ratio

Suppression de l’encre ne représentant pas les données

Suppression de toutes les informations redondantes

Mise en évidence des données

L’excellence graphique se détermine donc par la conjonction de la densité
de l’information associée à une faible densité visuelle
Avons nous perdu des informations ?
Quelle information est mise en évidence ?

Integrité : The lie Factor
Fuel Economy Standards – NY Times 1978
Les Travaux de Tufte : Intégrité – Lie Factor

Integrité : The lie Factor
Fuel Economy Standards – Revisited

• Salaires : 28 % représentés par... 200 %
• Heures de vol : 200 % de différence pour représenter 23 %
Le Point : https://twitter.com/lepoint/status/657611278832287744
Attention aux manipulations : Intégrité – Lie Factor

L’effet visuel doit être égal à l’effet dans les données
Lie Factor = 1 sinon DISTORSION

Expliquer Eclairer Engager / Divertir
Les clés du Data Storytelling

Le Data Storytelling permet de démocratiser l’accès aux données
et de faciliter la prise de décision
Les clés du Data Storytelling

Story Telling
http://histography.io/

• Quel est le message que vous souhaitez transmettre ?
• A quel public est-il destiné ?
• Quelles questions se pose ce public ?
• Quelles réponses lui apportez-vous?
• Les données les plus importantes sont-elles mises en valeur ?
• La compréhension de votre visualisation est-elle rapide ?
• Est-elle intelligible par elle même ?
Posez-vous les bonnes questions !

Librairies JavaScript

Les acteurs :
Self Service BI

Les acteurs
• Kibana
• Roambi
• …
Tableaux de bords interactifs

Merci de votre attention.
A vous de jouer !

Keynote Big Data & Data Science - 24h pharma@dreux

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Keynote Big Data & Data Science - 24h pharma@dreux

Similaire à Keynote Big Data & Data Science - 24h pharma@dreux (20)

Dernier

Dernier (6)

Keynote Big Data & Data Science - 24h pharma@dreux