Le document présente les caractéristiques et avantages d'un datalake par rapport à un datawarehouse moderne, soulignant sa flexibilité, sa capacité d'absorption d'informations et aux pipelines de données. Il évoque également les étapes clés pour construire des outils de données et l'importance d'expérimenter et d'itérer dans la data-science. Enfin, il encourage à initier des projets simples en utilisant des KPI et des cas d'utilisation.

1. DATALAKE
DE L’IDÉE À LA PLATE-FORME
1
07 / 03 / 2016
Vincent Heuschling
CEO Affini-Tech
vhe@affini-tech.com
@vhe74

2. DATALAKE ???
N’est pas un datawarehouse moderne.
Est flexible et agile.
Absorbe tous les flux d’informations
internes et externes.
Permet de construire des pipelines et
services de données.
Permet d’experimenter.
2

3. E.T.L. IS DEAD !
THINK E.L.T.
3
Charger les données brutes
Les nettoyer et les normaliser
Construire des pipelines de transformation

4. DATA PIPELINES
4
Collecter
Nettoyer
Explorer
Agréger
Machine-
learning
Visualiser
Servir

5. SCALE
DATA PIPELINES
5
Collecter
Nettoyer
Explorer
Agréger
Machine-
learning
Visualiser
Servir
}x N

6. KEY FEATURES
6
STORE
COMPUTE RESSOURCES
EXPLORE
& EXPERIMENTCOLLECT
( EXTRACT & LOAD )
TRANSFORM & PROCESS
EXPOSE
( WEBSERVICE & SQL )
INDEX & CATALOG

7. DETAILS
7
Raw
data
Clean &
structured
Structured
models
Analytics
Applications
Business
Domain
Datalake
{
Datascience tools
Machine Learning
External DB
Collectors

8. REAL-TIME ?
8
Raw
data
Clean &
structured
Structured
models
Analytics
Applications
Business
Domain
Datalake
Collectors
{
Datascience tools
Machine Learning
External DB
Real-time Applications
& Partenaires

9. NOTEBOOKS
9
Datalake
Notebooks

10. 10

11. SOLUTIONS
11

12. SOLUTIONS
12
Storage
NoSql :
Hadoop :
Cloud : Object Storage

13. SOLUTIONS
13
???
NOTEBOOKS

14. CASSANDRA
14

15. HADOOP
15
MAPR-FS
NFS
+
Kafka

16. 16
Cloud StorageMachines
Virtuelles
Machines
Virtuelles Bigquery (sql)
Data-visualisation
Data-science
?
?
CLOUD

17. COMMENT ?
17

18. SCRUM
18

19. AGILITÉ
19
Question
Experiment
& Code
Experiment
& Code
Test
Run?

20. AGILITÉ
20
Question
Experiment
& Code
Experiment
& Code
Test
Run?
?
?
? New project

21. SPRINTS
21

22. 3 GRANDES ETAPES
22
Construire une roadmap
Quels sont les leviers pour
améliorer l’efficacité avec la
Data ?
Quelles innovations sont
possibles avec la Data ?
1 Imaginer 2 Experimenter
Passer de l’intuition à la
conviction
Démontrer les ROI
Mener des PoC sur un mois
Technologies
Data-science
3 Construire
Construire les outils et
services innovants
Mettre en oeuvre des
plateformes de données
globales.

23. GO !
23
Démarrer avec du KPI / Reporting
Un use-case simple (en jours !)
Trouver des use-cases Data-Science
Itérer…

24. MERCI
Vincent Heuschling
Gsm : 06 61 88 76 71
Email : vhe@affini-tech.com
Web : http://www.affini-tech.com
Twitter : @affinitech & @vhe74
24