MapReduceRP*
Map
Reduce
RP* Framework pour le traitement
parallèle de très grande
quantité de données
Encadrer par:Mr.ARID...
MapReduceRP*
Le plan de travail
Partie théorique
Partie pratique
Conclusion
1
MapReduceRP*
Vous la connaissez peut-être…
2
MapReduceRP*
Deux gros problèmes
1. Données à très grande échelle
2. Ressources financières limitées
3
MapReduceRP*
Schéma logique d’exécution
MapReduce
« Map »: générer un ensemble (clé/valeur) intermédiaire.
« Reduce »:comb...
MapReduceRP*
Schéma général d’exécution MapReduce
5
MapReduceRP*
Exemple Word Count
Fonction de partitionnement
hash(Key) mod R
Ou R:nombre des tâches reduce
6
MapReduceRP*
Structures de données classiques
 Limite sur les performances d'accès
 Vulnérabilité aux pannes
 Scalabili...
MapReduceRP*
Multi-ordinateurs
 Une collection d'ordinateurs,
Stations de travail, interconnectés
par un réseau informati...
MapReduceRP*
SDDS
 Conçues spécifiquement pour les
multi-ordinateurs
 pour des bases de données modernes
données complex...
MapReduceRP*
Classification des SDDS
RP*
10
MapReduceRP*
La distribution des données
 Utiliser algorithme distribition par
intervalle RP* « Range Partitioning »
 Ba...
MapReduceRP*
Algorithme RP*
 Famille des SDDS, appelée RP*
(Range Partitioning) : RP*N, RP*C et
RP*S
 RP*N :utilisation ...
MapReduceRP*
Algorithme d'éclatement d'une case
1/ Déterminer (Cm) la clé de l'enregistrement
du milieu de la case de débo...
MapReduceRP*
Exemple
 Évolution d’un fichier RP*N avec des
enregistrements de clé
alphanumérique et pour b =4.
 inséré c...
MapReduceRP*
serveur
Visualisation exemple
Client
Réseau
Client
…
Cases de Données
…
Insertions
…
serveur
serveur
serveur
...
MapReduceRP*
Solutions pour la distribution de
données par intervalle
Soumettre un job
MapReduce
Utilisateur
Input
Data
Ou...
MapReduceRP*
Structure RP*
17
MapReduceRP*
Architecteur HDFS
18
MapReduceRP*
HDFS & MapReduce
Couche
Entité
HDFS MapReduce
Maître NameNode JobTracker
Esclave DataNode TaskTracker
19
MapReduceRP*
Interface : Applications - SDDS
send
Request
Socket
Network
ResponseRequest
Receive
Response
file client(n)
,...
MapReduceRP*
Bucket
Insertion Search Update Delete
Thread 1 Thread 4
…
Request
Analysis
Listen
Thread
Socket
Client
Networ...
MapReduceRP*
Requête simple
 Coté client :Envoyée à l’aide d’un message
Multicast. Reçue par tous les serveurs.
 Coté se...
MapReduceRP*
Requête à intervalle
 Il s’agit de la recherche de l’ensemble des
enregistrements de clés « c » appartenant ...
MapReduceRP*
Visualisation Requête
Load Data Load Data
DémarrerRéponse
Serveur
Concerné
Transfert
Réponse
24
MapReduceRP*
Partie pratique
25
MapReduceRP*
Résultats de simulation-1-
0
10000
20000
30000
40000
50000
60000
70000
80000
90000
10000 30000 50000 100000
1...
MapReduceRP*
Résultats de simulation-2-
0
10000
20000
30000
40000
50000
60000
5000 10000 100000
100000
50000
30000
10000
-...
MapReduceRP*
Résultats de simulation-3-
0
100
200
300
400
500
600
10000 30000 50000 100000
100000
10000
5000
-Temps de rec...
MapReduceRP*
Résultats de simulation-4-
0
200
400
600
800
1000
1200
1400
1600
10000 30000 50000 100000
100000
10000
5000
-...
MapReduceRP*
Conclusion
Nos travaux ont porté sur le couplage des
algorithmes SDDS avec paradigme MapReduce,
et afin de pr...
MapReduceRP*
Perspectives
 Implémenter d’autres variantes de RP* tel que : la
variante RP*c, RP*s
 Implémenter notre sys...
MapReduceRP*
www.izzeddineameur.netne.net
Merci
Prochain SlideShare
Chargement dans…5
×

MapReduce au Niveau RP*

298 vues

Publié le

MapReduce framework pour le traitement parallèle de trés grand quantité de données, on à proposé integration de algorithme spésifique pour SDDS appelé Range Partitionning(RP*)
Cette proposition assuré ordonocement dynamique de données & optimisé phase intermidiare entre Map et Reduce

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
298
Sur SlideShare
0
Issues des intégrations
0
Intégrations
7
Actions
Partages
0
Téléchargements
9
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • (1) Extension Dynamique du Fichier
  • MapReduce au Niveau RP*

    1. 1. MapReduceRP* Map Reduce RP* Framework pour le traitement parallèle de très grande quantité de données Encadrer par:Mr.ARIDJ Mohamed Réaliser par:AMEUR Izzeddine Juillet 2014
    2. 2. MapReduceRP* Le plan de travail Partie théorique Partie pratique Conclusion 1
    3. 3. MapReduceRP* Vous la connaissez peut-être… 2
    4. 4. MapReduceRP* Deux gros problèmes 1. Données à très grande échelle 2. Ressources financières limitées 3
    5. 5. MapReduceRP* Schéma logique d’exécution MapReduce « Map »: générer un ensemble (clé/valeur) intermédiaire. « Reduce »:combine toutes les valeurs associé à la même clé intermédiaire Données R E D U C E M A P Résultat Split 0 Split 1 Split 2 Split 3 Split 4 4
    6. 6. MapReduceRP* Schéma général d’exécution MapReduce 5
    7. 7. MapReduceRP* Exemple Word Count Fonction de partitionnement hash(Key) mod R Ou R:nombre des tâches reduce 6
    8. 8. MapReduceRP* Structures de données classiques  Limite sur les performances d'accès  Vulnérabilité aux pannes  Scalabilité et Disponibilité  Impossible pour un grand nombre de clients Serveurs Clients Répertoire d'accès 7
    9. 9. MapReduceRP* Multi-ordinateurs  Une collection d'ordinateurs, Stations de travail, interconnectés par un réseau informatique (MAN, LAN, WAN) Réseau Besoin de Systèmes de Stockage Distribués et à Haute Disponibilité 8
    10. 10. MapReduceRP* SDDS  Conçues spécifiquement pour les multi-ordinateurs  pour des bases de données modernes données complexes: spatiales, vidéo, Image, Son, … 9
    11. 11. MapReduceRP* Classification des SDDS RP* 10
    12. 12. MapReduceRP* La distribution des données  Utiliser algorithme distribition par intervalle RP* « Range Partitioning »  Basé sur paradigme B-arbres et intervalles (fichier ordonnée + accès rapide)  Admettant les requêtes à intervalles  Garantie de bonnes performances 11
    13. 13. MapReduceRP* Algorithme RP*  Famille des SDDS, appelée RP* (Range Partitioning) : RP*N, RP*C et RP*S  RP*N :utilisation exclusive du Multicast  RP*C :c’est un fichier RP*N avec une image au niveau de chaque client. Utilisation de Unicast et Multicast  RP*S : c’est un fichier RP*C + un index distribué au niveau des serveurs indexant toutes les cases. Élimine le multicast. 12
    14. 14. MapReduceRP* Algorithme d'éclatement d'une case 1/ Déterminer (Cm) la clé de l'enregistrement du milieu de la case de débordement 2/ Créer une nouvelle case j 3/ Déterminer l'en-tête de la case j λj := Cm ; Copier dans la case j les enregistrements de la case i avec la clé C>Cm 4/ Modifier l'en-tête de la case i Effacer les enregistrements de la clé C>Cm 13
    15. 15. MapReduceRP* Exemple  Évolution d’un fichier RP*N avec des enregistrements de clé alphanumérique et pour b =4.  inséré clé a to the of and +  -  of and a of - to the +  of Règle 1 Règle 2 Règle 3 Règle 4 14
    16. 16. MapReduceRP* serveur Visualisation exemple Client Réseau Client … Cases de Données … Insertions … serveur serveur serveur Coordinateur Transfert Enregistrements 15
    17. 17. MapReduceRP* Solutions pour la distribution de données par intervalle Soumettre un job MapReduce Utilisateur Input Data Output Data Algorithme RP* Map Map Map Reduce Reduce Reduce Sortir Map Sortir RP* 16
    18. 18. MapReduceRP* Structure RP* 17
    19. 19. MapReduceRP* Architecteur HDFS 18
    20. 20. MapReduceRP* HDFS & MapReduce Couche Entité HDFS MapReduce Maître NameNode JobTracker Esclave DataNode TaskTracker 19
    21. 21. MapReduceRP* Interface : Applications - SDDS send Request Socket Network ResponseRequest Receive Response file client(n) ,,,,,, ,,,,,, ,,,,, ,,,,,,,, Server Address Receive Request Return Response Request Response Server Architecture Client 20
    22. 22. MapReduceRP* Bucket Insertion Search Update Delete Thread 1 Thread 4 … Request Analysis Listen Thread Socket Client Network Request Response Architecture Server 21
    23. 23. MapReduceRP* Requête simple  Coté client :Envoyée à l’aide d’un message Multicast. Reçue par tous les serveurs.  Coté serveur : Chaque serveur S, d’intervalle [, ], procède comme suit :  Si clé « c » [, ] alors S exécute la requête, puis envoie éventuellement une réponse au client à l’aide d’un message Unicast, sinon ignore la requête  Cette réponse contient le résultat de l’exécution de la requête( par exemple : l’enregistrement de clé « c » trouvé avec succès ) 22
    24. 24. MapReduceRP* Requête à intervalle  Il s’agit de la recherche de l’ensemble des enregistrements de clés « c » appartenant à un intervalle donné [a, b] (a <b)  Elle est envoyée à tous les serveurs à l’aide d’un message Multicast.  Elle est traitée sur chaque serveur d’intervalle (, ] tel que (, ]  [a, b]  {}.  Les enregistrements sélectionnés sont ensuite envoyés au client . 23
    25. 25. MapReduceRP* Visualisation Requête Load Data Load Data DémarrerRéponse Serveur Concerné Transfert Réponse 24
    26. 26. MapReduceRP* Partie pratique 25
    27. 27. MapReduceRP* Résultats de simulation-1- 0 10000 20000 30000 40000 50000 60000 70000 80000 90000 10000 30000 50000 100000 100000 10000 5000 -Temps de distribution (ms)- 26
    28. 28. MapReduceRP* Résultats de simulation-2- 0 10000 20000 30000 40000 50000 60000 5000 10000 100000 100000 50000 30000 10000 -Temps de distribution (ms) en fonction de nombre de clés insérés - 27
    29. 29. MapReduceRP* Résultats de simulation-3- 0 100 200 300 400 500 600 10000 30000 50000 100000 100000 10000 5000 -Temps de recherche de requête simple (ms)- 28
    30. 30. MapReduceRP* Résultats de simulation-4- 0 200 400 600 800 1000 1200 1400 1600 10000 30000 50000 100000 100000 10000 5000 -Temps de recherche de requête à intervalle (ms)- 29
    31. 31. MapReduceRP* Conclusion Nos travaux ont porté sur le couplage des algorithmes SDDS avec paradigme MapReduce, et afin de profiter au maximum des ressources de stockage et de traitement de ces réseaux d’ordinateurs il faut assurer que les données sont stockées de façon ordonnée. 30
    32. 32. MapReduceRP* Perspectives  Implémenter d’autres variantes de RP* tel que : la variante RP*c, RP*s  Implémenter notre système avec une base de données NoSql  L’adaptation d’un outil en ligne permet ordonné donnée de façon périodiquement 31
    33. 33. MapReduceRP* www.izzeddineameur.netne.net Merci

    ×