Télécharger en tant que PDF, PPTX
![NoSQL viable, les aggrégats
CommandeClient
Ligne
Produit
1 *
1
*
*
1
"commandes" : [
{
"id" : 32,
"clientId" : 2,
"lignes" : [
{
"articleId" : 79,
"prix" : 29,
"nom" : "Spring in Action"
}
]
}
]](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/NoSQL-et-Big-Data-15-2048.jpg)
![Orientées documents
Pas bien pour…
Transactions sur plusieurs
collections
Requêtes avec jointures
Bien pour…
Logs
CMS
E-commerce
Implémentations
MongoDB
CouchBase
"commandes" : [
{
"id" : 32,
"clientId" : 2,
"lignes" : [
{
"articleId" : 79,
"prix" : 29,
"nom" : "Spring in Action"
}
]
}
]](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/NoSQL-et-Big-Data-26-2048.jpg)
![MapReduce
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/NoSQL-et-Big-Data-36-2048.jpg)
![Le code va à la donnée
file.csv B1 B2 B3
Mapper
Mapper
Mapper
B1
B2
B3
Reducer
Reducer
k1,v1
k1,v2
k1 [v1,v2]
B1 B2 B1 B3
B1 B2 B2 B3
DN 1 DN 2
DN 4DN 3
DN 1
DN 3
DN 4](https://image.slidesharecdn.com/adira-bigdata-201410081-150215051300-conversion-gate01/75/NoSQL-et-Big-Data-37-2048.jpg)
Contenu connexe
NoSQL et Big Data
- 1. NoSQL et BigData Arnaud Cogoluègnes - Zenika ADIRA - 8 octobre 2014 This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
- 2.
- 3. Agenda Que faire duNoSQL Hadoop et moi NoSQL et Hadoop en action
- 4.
- 5. Retour vers lefutur : les SGDBR
- 6.
- 7. Standard, portable SQL-86 ...SQL:2011 select * from Book
- 8. Un point d’intégration Image: http://www.eaipatterns.com/SharedDataBaseIntegration.html
- 9. ORM : lespremières tensions
- 10. Une fausse bonneidée ? ?
- 11. Service : lestensions continuent Services Application A Application B Application C
- 12. Le web :comment “scaler” ?
- 13.
- 14. NoSQL Moins de fonctionnalités Plusspécialisés Garanties relachées Principes des “pipes” Unix
- 15. NoSQL viable, lesaggrégats CommandeClient Ligne Produit 1 * 1 * * 1 "commandes" : [ { "id" : 32, "clientId" : 2, "lignes" : [ { "articleId" : 79, "prix" : 29, "nom" : "Spring in Action" } ] } ]
- 16. Les aggrégats + Unité atomique Donnéesco-localisées - Usage unique Vues à créer par usage
- 17. Partition (Sharding) Alan Bob ... Zoe Alan BobZoe << A >> << B >> << Z >> … Pas de sharding Sharding
- 18.
- 19. Partition et réplication AlanBob Zoe … Zoe Alan Bob Bob Zoe Alan
- 20.
- 21. Stockage mémoire etréplication Alan … Alan Alan
- 22. Théorème CAP Alan Alan Partitionréseau Choisir disponibilité ou cohérence Disponibilité = update autorisé Cohérence = update interdit
- 23. Bases de donnéesNoSQL Clustering Open source Scalabilité Pas de schéma
- 24. Clé/valeur Pas bien pour… Requêtessur les données Transactions sur plusieurs objets Relations complexes Bien pour… Session Profil Cache Implémentations Redis Riak Hazelcast "user1" => "login : alan ; gender : M" "user2" => "login : zoe ; gender : F"
- 25. Orientées colonnes Pas bienpour… Requêtes Agrégations Bien pour… Mesures Logs Expiration Implémentations Cassandra HBase stationID : 1234 => date : 20140914 value : 12 date : 20140915 value : 22 value : 18date : 20140916 stationID : 6789 => date : 20140914 value : 25 date : 20140915 value : 28 value : 27date : 20140916
- 26. Orientées documents Pas bienpour… Transactions sur plusieurs collections Requêtes avec jointures Bien pour… Logs CMS E-commerce Implémentations MongoDB CouchBase "commandes" : [ { "id" : 32, "clientId" : 2, "lignes" : [ { "articleId" : 79, "prix" : 29, "nom" : "Spring in Action" } ] } ]
- 27. Orientées graphes Pas bienpour… Grosse volumétrie Mises à jour massives Bien pour… Données “connectées” Routage, données localisées Recommandations Implémentations Neo4j Arnaud Spring Batch in Action Zenika Alan auteur employé lecteur
- 28. Moteur d’indexation Pas bienpour… Transactions Bien pour… Indexation Recherche plain/text Implémentations ElasticSearch Solr
- 29.
- 30. Hadoop, un systèmedistribué ● Système de fichiers distribué : HDFS ● API de programmation : MapReduce, YARN
- 31.
- 32. HDFS HDFS MapReduce, YARN Votre application Tolérantaux pannes Scalable Formats de fichiers Compression
- 33. Blocs, datanodes, namenode file.csvB1 B2 B3 fichier composé de 3 blocs (taille par défaut d’un bloc : 128 Mo) B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 les datanodes stockent les blocs (le bloc 3 est ici sous-répliqué) B1 : 1, 2, 3 B2 : 1, 3, 4 B3 : 2, 4 Namenode le namenode gère les méta-données et s’assure de la réplication
- 34. HDFS, les limitations Fichiers“append-only” Bien pour “write once, read many times” Peu de gros fichiers, bien Plein de petits fichiers, pas bien
- 35.
- 36. MapReduce file.csv B1 B2B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2]
- 37. Le code vaà la donnée file.csv B1 B2 B3 Mapper Mapper Mapper B1 B2 B3 Reducer Reducer k1,v1 k1,v2 k1 [v1,v2] B1 B2 B1 B3 B1 B2 B2 B3 DN 1 DN 2 DN 4DN 3 DN 1 DN 3 DN 4
- 38.
- 39.
- 40. MapReduce, les limitations Codebas niveau Ré-utilisation difficile Préférer les abstractions comme Cascading
- 41. Comment stocker ? Formatsde fichiers Compression Parquet SequenceFile Texte Avro Pas de compression Snappy Deflate GZIP
- 42. La panoplie MapReduce Cascading API Java Hive SQL Pig ScriptETL Votre application
- 43.
- 44. Tez Apache Tez MapReduce nouvellegénération Cascading API Java Hive SQL Pig Script ETL Votre application
- 45. NoSQL et Hadoop enaction
- 46. Architecture lambda :objectifs ● Tolérant aux pannes ● Latence faible ● Scalable ● Générique ● Extensible ● Requêtes “ad hoc” ● Maintenance minimale ● Debuggable
- 47.
- 48. Batch layer Speed layer Servinglayer Batch layer Stockage des données. Création des vues.
- 49. Serving layer Speed layer Servinglayer Batch layer Accès aux vues batch.
- 50. Speed layer Speed layer Servinglayer Batch layer Accès temps réel.
- 51. Batch layer Speed layer Servinglayer Batch layer Hadoop (MapReduce, HDFS). Thrift, Cascalog.
- 52. Serving layer Speed layer Servinglayer Batch layer ElephantDB, BerkeleyDB.
- 53. Speed layer Speed layer Servinglayer Batch layer Cassandra, Storm, Kafka.
- 54. Jointure flux etréférentiel Hadoop Traitement (jointures, transformation) Flux Reporting Données de référence
- 55. Gestion de données Donnéesbrutes Données parsées Traitement et insertion Archives Vues Transformations Avro, GZIP Rétention permanente Parquet, Snappy Rétention 2 ans glissants Traitement (Cascading) HDFS BD temps réel
- 56. Cinématique avec SpringBatch Archivage Traitement Traitement Traitement Nettoyage Java, API HDFS Cascading MapReduce
- 57. Hive, Pig, Cascading UDF: User Defined Function Hive + SQL (non-standard) Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Pas de contrle du flot Logique disséminée Programmation par UDF Pig + Pig Latin Prise en main rapide Extensible avec UDF - Testabilité médiocre Réutilisabilité médiocre Logique disséminée Programmation par UDF Cascading + API Java Testable unitairement Contrôle du flot Bonne réutilisabilité - Programmation nécessaire
- 58. Comment commencer ● Identifierles cas d’utilisation ● Caractériser les données ○ volume, fraîcheur nécessaire, append-only ● En déduire les produits adaptés ● Virtualiser ou pas ● Penser au déploiement et à la maintenance ● Penser au cloud pour le prototypage
- 59. Conclusion NoSQL : denouveaux outils ciblés Big Data : de nouvelles possibilités Des architectures, des patterns émergents