![MapReduce
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/nosql-et-big-data-36-2048.jpg?cb=1668389087)
![Le code va à la donnée
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]
B1 B2 B1 B3
...](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/nosql-et-big-data-37-2048.jpg?cb=1668389087)
Introduction NoSql 201406 - lbroudoux
Le téléchargement de votre SlideShare est en cours.
×
Plus De Contenu Connexe
Diaporamas pour vous (20)
Les utilisateurs ont également aimé (10)
Similaire à NoSQL et Big Data (20)
Plus par acogoluegnes (6)
Plus récents (20)
NoSQL et Big Data
- 1. NoSQL et Big Data Arnaud Cogoluègnes - Zenika ADIRA - 8 octobre 2014 This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
- 2. NoSQL Hadoop MapReduce HDFS Théorème CAP Eventual consistency Hive Pig Architecture lambda Cascading MongoDB Cassandra Big Data
- 3. Agenda Que faire du NoSQL Hadoop et moi NoSQL et Hadoop en action
- 4. NoSQL
- 5. Retour vers le futur : les SGDBR
- 6. Les garanties ACID
- 7. Standard, portable SQL-86 ... SQL:2011 select * from Book
- 8. Un point d’intégration Image : http://www.eaipatterns.com/SharedDataBaseIntegration.html
- 9. ORM : les premières tensions
- 10. Une fausse bonne idée ? ?
- 11. Service : les tensions continuent Services Application A Application B Application C
- 12. Le web : comment “scaler” ?
- 13. SGBDR : généraliste
- 14. NoSQL Moins de fonctionnalités Plus spécialisés Garanties relachées Principes des “pipes” Unix
- 15. NoSQL viable, les aggrégats CommandeClient Ligne Produit 1 * 1 * * 1 "commandes" : [ { "id" : 32, "clientId" : 2, "lignes" : [ { "articleId" : 79, "prix" : 29, "nom" : "Spring in Action" } ] } ]
- 16. Les aggrégats + Unité atomique Données co-localisées - Usage unique Vues à créer par usage
- 17. Partition (Sharding) Alan Bob ... Zoe Alan Bob Zoe << A >> << B >> << Z >> … Pas de sharding Sharding
- 18. Réplication Alan … Alan Alan
- 19. Partition et réplication Alan Bob Zoe … Zoe Alan Bob Bob Zoe Alan
- 20. Relacher la durabilité commit() fsync() store() fsync()
- 21. Stockage mémoire et réplication Alan … Alan Alan
- 22. Théorème CAP Alan Alan Partition réseau Choisir disponibilité ou cohérence Disponibilité = update autorisé Cohérence = update interdit
- 23. Bases de données NoSQL Clustering Open source Scalabilité Pas de schéma
- 24. Clé/valeur Pas bien pour… Requêtes sur les données Transactions sur plusieurs objets Relations complexes Bien pour… Session Profil Cache Implémentations Redis Riak Hazelcast "user1" => "login : alan ; gender : M" "user2" => "login : zoe ; gender : F"
- 25. Orientées colonnes Pas bien pour… Requêtes Agrégations Bien pour… Mesures Logs Expiration Implémentations Cassandra HBase stationID : 1234 => date : 20140914 value : 12 date : 20140915 value : 22 value : 18date : 20140916 stationID : 6789 => date : 20140914 value : 25 date : 20140915 value : 28 value : 27date : 20140916
- 26. Orientées documents Pas bien pour… Transactions sur plusieurs collections Requêtes avec jointures Bien pour… Logs CMS E-commerce Implémentations MongoDB CouchBase "commandes" : [ { "id" : 32, "clientId" : 2, "lignes" : [ { "articleId" : 79, "prix" : 29, "nom" : "Spring in Action" } ] } ]
- 27. Orientées graphes Pas bien pour… Grosse volumétrie Mises à jour massives Bien pour… Données “connectées” Routage, données localisées Recommandations Implémentations Neo4j Arnaud Spring Batch in Action Zenika Alan auteur employé lecteur
- 28. Moteur d’indexation Pas bien pour… Transactions Bien pour… Indexation Recherche plain/text Implémentations ElasticSearch Solr
- 29. Hadoop
- 30. Hadoop, un système distribué ● Système de fichiers distribué : HDFS ● API de programmation : MapReduce, YARN
- 31. Hadoop HDFS MapReduce, YARN Votre application
- 32. HDFS HDFS MapReduce, YARN Votre application Tolérant aux pannes Scalable Formats de fichiers Compression
- 33. Blocs, datanodes, namenode file.csv B1 B2 B3 fichier composé de 3 blocs (taille par défaut d’un bloc : 128 Mo) B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 les datanodes stockent les blocs (le bloc 3 est ici sous-répliqué) B1 : 1, 2, 3 B2 : 1, 3, 4 B3 : 2, 4 Namenode le namenode gère les méta-données et s’assure de la réplication
- 34. HDFS, les limitations Fichiers “append-only” Bien pour “write once, read many times” Peu de gros fichiers, bien Plein de petits fichiers, pas bien
- 35. MapReduce HDFS MapReduce Votre application Simple Batch Scalable Jointure, distinct, group by
- 36. MapReduce file.csv B1 B2 B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2]
- 37. Le code va à la donnée file.csv B1 B2 B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2] B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 DN 1 DN 3 DN 4
- 38. Hadoop 1 HDFS MapReduce
- 39. Hadoop 2 HDFS YARN MapReduce Votre application
- 40. MapReduce, les limitations Code bas niveau Ré-utilisation difficile Préférer les abstractions comme Cascading
- 41. Comment stocker ? Formats de fichiers Compression Parquet SequenceFile Texte Avro Pas de compression Snappy Deflate GZIP
- 42. La panoplie MapReduce Cascading API Java Hive SQL Pig Script ETL Votre application
- 43. Spark Spark Votre application
- 44. Tez Apache Tez MapReduce nouvelle génération Cascading API Java Hive SQL Pig Script ETL Votre application
- 45. NoSQL et Hadoop en action
- 46. Architecture lambda : objectifs ● Tolérant aux pannes ● Latence faible ● Scalable ● Générique ● Extensible ● Requêtes “ad hoc” ● Maintenance minimale ● Debuggable
- 47. Layers Speed layer Serving layer Batch layer
- 48. Batch layer Speed layer Serving layer Batch layer Stockage des données. Création des vues.
- 49. Serving layer Speed layer Serving layer Batch layer Accès aux vues batch.
- 50. Speed layer Speed layer Serving layer Batch layer Accès temps réel.
- 51. Batch layer Speed layer Serving layer Batch layer Hadoop (MapReduce, HDFS). Thrift, Cascalog.
- 52. Serving layer Speed layer Serving layer Batch layer ElephantDB, BerkeleyDB.
- 53. Speed layer Speed layer Serving layer Batch layer Cassandra, Storm, Kafka.
- 54. Jointure flux et référentiel Hadoop Traitement (jointures, transformation) Flux Reporting Données de référence
- 55. Gestion de données Données brutes Données parsées Traitement et insertion Archives Vues Transformations Avro, GZIP Rétention permanente Parquet, Snappy Rétention 2 ans glissants Traitement (Cascading) HDFS BD temps réel
- 56. Cinématique avec Spring Batch Archivage Traitement Traitement Traitement Nettoyage Java, API HDFS Cascading MapReduce
- 57. Hive, Pig, Cascading UDF : User Defined Function Hive + SQL (non-standard) Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Pas de contrle du flot Logique disséminée Programmation par UDF Pig + Pig Latin Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Logique disséminée Programmation par UDF Cascading + API Java Testable unitairement Contrôle du flot Bonne réutilisabilité - Programmation nécessaire
- 58. Comment commencer ● Identifier les cas d’utilisation ● Caractériser les données ○ volume, fraîcheur nécessaire, append-only ● En déduire les produits adaptés ● Virtualiser ou pas ● Penser au déploiement et à la maintenance ● Penser au cloud pour le prototypage
- 59. Conclusion NoSQL : de nouveaux outils ciblés Big Data : de nouvelles possibilités Des architectures, des patterns émergents
