Télécharger en tant que PDF, PPTX
![MapReduce
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]](https://image.slidesharecdn.com/cartographiedubigdata-151113131419-lva1-app6892/85/Cartographie-du-big-data-21-320.jpg)
![Le code va à la donnée
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]
B1 B2 B1 B3
B1 B2 B2 B3
DN 1 DN 2
DN 4DN 3
DN 1
DN 3
DN 4](https://image.slidesharecdn.com/cartographiedubigdata-151113131419-lva1-app6892/85/Cartographie-du-big-data-22-320.jpg)
Contenu connexe
Similaire à Cartographie du big data
Cartographie du big data
- 1. Cartographie du bigdata 29 septembre 2015 Arnaud Cogoluègnes
- 2.
- 3.
- 4. Retour vers lefutur : SGBDR
- 5.
- 6. Standard, portable SQL-86 ...SQL:2011 select * from Book
- 7. Un point d’intégration Image: http://www.eaipatterns.com/SharedDataBaseIntegration.html
- 8. Une fausse bonneidée ? Image : http://www.eaipatterns.com/SharedDataBaseIntegration.html ?
- 9. Casser le monolithe Services ApplicationA Application B Application C
- 10. Le web, commentscaler ?
- 11.
- 12. Data Corrélation Prédiction Adaptabilité Stockage Plus de données Tempsréel Exploitation Réactivité Extraction
- 13.
- 14.
- 15. Hadoop, un systèmedistribué Système de fichiers distribué : HDFS API de programmation : MapReduce, YARN
- 16.
- 17. HDFS HDFS MapReduce, YARN Votre application Tolérantaux pannes Scalable Formats de fichiers Compression
- 18. Blocs, datanodes, namenode file.csvB1 B2 B3 fichier composé de 3 blocs (taille par défaut d’un bloc : 128 Mo) B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 les datanodes stockent les blocs (le bloc 3 est ici sous-répliqué) B1 : 1, 2, 3 B2 : 1, 3, 4 B3 : 2, 4 Namenode le namenode gère les méta-données et s’assure de la réplication
- 19. HDFS, les limitations Fichiers“append-only” Bien pour “write once, read many times” Peu de gros fichiers, bien Plein de petits fichiers, pas bien
- 20.
- 21. MapReduce file.csv B1 B2B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2]
- 22. Le code vaà la donnée file.csv B1 B2 B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2] B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 DN 1 DN 3 DN 4
- 23.
- 24.
- 25. MapReduce, les limitations Codebas niveau Ré-utilisation difficile Préférer les abstractions comme Cascading Peu flexible et limité
- 26. Les successeurs deMapReduce Flink Spark Tez Plus flexibles Plus “simples”
- 27. Comment stocker ? Formatsde fichiers Compression Parquet SequenceFile Texte Avro Pas de compression Snappy Deflate GZIP ORC
- 28. La panoplie YARN/MapReduce/Tez API-based (Spark, Cascading,Flink) Hive SQL Pig Script ETL Votre application
- 29. Spark Spark Votre application YARN MesosCluster natif
- 30. Tez Apache Tez MapReduce nouvellegénération Cascading API Java Hive SQL Pig Script ETL Votre application YARN
- 31. Cascading Cascading Votre application MapReduce TezFlink Hazelcast Production-ready En cours
- 32. Big Data inAction
- 33. Architecture lambda :objectifs ● Tolérant aux pannes ● Latence faible ● Scalable ● Générique ● Extensible ● Requêtes “ad hoc” ● Maintenance minimale ● Debuggable
- 34.
- 35. Batch layer Speed layer Servinglayer Batch layer Stockage des données. Création des vues.
- 36. Serving layer Speed layer Servinglayer Batch layer Accès aux vues batch.
- 37. Speed layer Speed layer Servinglayer Batch layer Accès temps réel.
- 38. Architecture lambda Flux de données Broker Traitement tempsréel Données (append-only) Traitement batch Vues batch Vues temps réel Application Batch Serving Speed
- 39. Batch layer Speed layer Servinglayer Batch layer Hadoop (MapReduce, HDFS). Thrift, Cascalog.
- 40. Serving layer Speed layer Servinglayer Batch layer ElephantDB, BerkeleyDB.
- 41. Speed layer Speed layer Servinglayer Batch layer Cassandra, Storm, Kafka.
- 42. Architecture lambda complète Fluxde données Broker Traitement temps réel Données (append-only) Traitement batch Vues batch Vues temps réel Application Batch Serving Speed
- 43. Application ETL -reporting Flux de données Données (append-only) Traitement batch Vues batch Application Batch Serving
- 44. Application temps réel Fluxde données Broker Traitement temps réel Vues temps réel Application Speed
- 45. Jointure flux etréférentiel Hadoop Traitement (jointures, transformation) Flux Reporting, exploration Données de référence
- 46. Gestion de données Donnéesbrutes Données parsées Traitement et insertion Archives Vues Transformations Avro, GZIP Rétention permanente Parquet, Snappy Rétention 2 ans glissants Traitement (Cascading) HDFS BD temps réel
- 47. Hive, Pig, API-based UDF: User Defined Function Hive + SQL (non-standard) Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Pas de contrôle du flot Logique disséminée Programmation par UDF Pig + Pig Latin Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Logique disséminée Programmation par UDF API-based (Spark, Cascading, Flink) + API Java Testable unitairement Contrôle du flot Bonne réutilisabilité - Programmation nécessaire
- 48. Les outils SQL(Hive, Spark SQL) A utiliser une fois les données traitées Bien pour l’exploration Ou pour les traitements très simples Connecteurs JDBC (pour le reporting)
- 49. Outils intermédiaires (Pig) Peutcontenir de la logique Pig Latin simple d’accès Adapté à des traitements “one-shot”... (ex. : rapports)
- 50. API-based (Spark, Cascading,Flink) Pour les traitements plus complexes Parsing, jointure, nettoyage, dé-duplication, etc En amont de l’exploration, du reporting
- 51.
- 52. Temps réel “Stream processing” Fluxd’événements Traitements parallélisés Ecriture dans une BD Latence ~ 1 seconde
- 53. Temps réel -approche “classique” Queues et consommateurs (“workers”) Coordination des workers Failover à implémenter Consommateur Consommateur Consommateur Consommateur
- 54. Topologie Storm spout spout bolt bolt bolt bolt bolt Source dedonnées (ex. : Kafka) Traitement (ex. : filtre, aggrégation, count, etc) Topologie Source : https://storm.incubator.apache.org/
- 55. Parallèle et tolérantà la panne
- 56. Temps réel -outils et considérations Samza Delivery semantics One-at-a-time Storm Spark Streaming Flink Micro batch Déploiement Langages supportés Maturité Monitoring
- 57.
- 58. Abstrait, mon datacenter? Additionnerles serveurs/VM Avoir un ensemble de ressources (CPU, RAM) Demander de la ressource pour une application Le système se charge de la distribution
- 59. Les solutions techniques YARN Mesos Kubernetes Optimisationdes ressources Grande maturité de déploiement nécessaire
- 60. Mesos Projet open source,fondation Apache Mature Utilisateurs : Twitter, Apple, Viadeo, Airbnb Adapté au Big Data et aux Microservices
- 61. Architecture de Mesos Source: http://mesos.apache.org/documentation/latest/mesos-architecture/
- 62. Architecture de Mesos Source: http://mesos.apache.org/documentation/latest/mesos-architecture/
- 63.
- 64.
- 65.
- 66. Mesos and co,warning Travail en amont nécessaire ! Packaging automatique Déploiement automatique
- 67.
- 68.
- 69. “Scatterplot matrix” Source :http://cdn-ak.f.st-hatena.com/images/fotolife/t/triadsou/20130124/20130124110747.png
- 70. Machine learning Clustering k-Nearest Neighbors (k-NN) Classification Modèles Prédiction Régressionlinéaire k-means Arbre de décisions
- 71. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions
- 72. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Utilisateurs, capteurs, ...
- 73. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions JSON, XML, messages, etc...
- 74. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Parsées, dé- doublonnées, triées, jointées, ... Spark, Cascading, Python
- 75. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Faire connaissance avec les données R, Python, Spark, Hive, Notebooks (IPython, Zeppelin)
- 76. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Spark MLib, Python SciKit, R, Weka, ... Classification, prédiction, ...
- 77. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Reporting, visualisation, ...
- 78. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Filtre anti-spam, moteur de recommandations, ...
- 79. Big data, datascience, etc! Données brutes Données traitées Nouveau produit Communication Exploration Modèle, statistiques Décisions Influence sur les données
- 80.
- 81. Pour résumer Pensez aucloud pour le prototypage Hadoop n’est pas un SGBDR Adoptez une approche agile et itérative Ne négligez pas l’industrialisation des dév.
- 82.
- 83.