Téléchargé 69 fois
Téléchargé parDuyhai Doan
Algorithmes distribues pour le big data @ DevoxxFR 2015
Le document traite d'algorithmes distribués appliqués au big data, incluant des techniques de comptage d'éléments distincts, en particulier l'approche HyperLogLog pour estimer la cardinalité dans de grands ensembles. Il aborde aussi le consensus distribué à travers le protocole Paxos, ses phases de promesse et d'acceptation, ainsi que les défis de gestion des pannes et de coordination dans des environnements distribués. Enfin, des exemples d'implémentation de ces algorithmes dans des systèmes comme Cassandra et Redis sont présentés.
Algorithmes distribues pour le big data @ DevoxxFR 2015
- 1. @doanduyhai#AlgosBigData Algorithmes Distribués pourle BigData @doanduyhai doanduyhai@gmail.com Datastax Évangéliste technique Cassandra
- 2. @doanduyhai#AlgosBigData Programme Comptage de grandsnombres avec HyperLogLog Consensus distribué avec Paxos 2
- 3.
- 4. @doanduyhai#AlgosBigData Compter le nombred’éléments distincts, en distribué, dans un ensemble de grande cardinalité Le défi 4
- 5. @doanduyhai#AlgosBigData Compter le nombred’éléments distincts, en distribué, dans un ensemble de grande cardinalité Le défi 5
- 6. @doanduyhai#AlgosBigData Compter le nombred’éléments distincts, en distribué, dans un ensemble de grande cardinalité Le défi 6
- 7. @doanduyhai#AlgosBigData Quelques approches possibles 7 TechniqueStockage requis Nb d’éléments estimés Marge d’erreur Java HashSet 10 447 016 (10M) 67 801 0% Linear Probabilistic Counter 3 384 (3k) 67 080 1% HyperLogLog 512 70 002 3% Source: http://highscalability.com/
- 8.
- 9. @doanduyhai#AlgosBigData Lancés de dé 9 0 2 4 6 8 10 12 14 16 18 20 12 3 4 5 6 100 lancés de dé
- 10. @doanduyhai#AlgosBigData Lancés de dé 10 0 20 40 60 80 100 120 140 160 180 200 12 3 4 5 6 103 lancés de dé
- 11. @doanduyhai#AlgosBigData Lancés de dé 11 0 20000 40000 60000 80000 100000 120000 140000 160000 180000 12 3 4 5 6 106 lancés de dé
- 12. @doanduyhai#AlgosBigData Avant HyperLogLog, il yavait … LogLog Algorithme LogLog 12
- 13. @doanduyhai#AlgosBigData Algorithmesimplifié LogLog 1) Choisirune fonction de hachage H très distributive 2) Pour chaque élément observé (login, article_id, uuid …), appliquer H 3) Convertir le hash en séquence binaire 4) Déduire des séquences binaires, la cardinalité 13 0111010010101… 0010010010001… 1010111001100… …
- 14. @doanduyhai#AlgosBigData Intuition LogLog Équi-probabilité: 50% desséquences commencent par 0xxxxx 50% des séquences commencent par 1xxxxx 1/4 des séquences commencent par 00xxxxx 1/4 des séquences commencent par 01xxxxx 1/4 des séquences commencent par 10xxxxx 1/4 des séquences commencent par 11xxxxx 14
- 15. @doanduyhai#AlgosBigData Intuition LogLog 15 000000…0001xxxxxxx On repèrele 1er bit mis à 1 à la position r à partir du début 000000001xxxx à r = 9 0001xxxxxxxxx à r = 4 000001xxxxxxx à r = 6 rang r
- 16. @doanduyhai#AlgosBigData Intuition LogLog 16 000000…0001xxxxxxx Il ya 2r combinaisons de chaine de bits de longueur r 000…0001, 000…0010, 000…0011,…, 111…1111 rang r
- 17. @doanduyhai#AlgosBigData Intuition LogLog 17 Équi-probabilité: 1/2r desséquences commencent par 000000…0001xxx 1/2r des séquences commencent par 000000…0010xxx … 1/2r des séquences commencent par 111111…1111xxx
- 18. @doanduyhai#AlgosBigData 18 Raisonnons àl’envers !
- 19. @doanduyhai#AlgosBigData 19 Raisonnons àl’envers ! J’ai autant de chance de voir 000000…0001xxx que de voir 000000…0010xxx que de voir 000000…0011xxx etc…
- 20. @doanduyhai#AlgosBigData 20 Raisonnons àl’envers ! Si j’ai observé 000000…0001xxx je verrai probablement 000000…0010xxx et également 000000…0011xxx etc…
- 21. @doanduyhai#AlgosBigData 21 Raisonnons àl’envers ! Si j’ai observé 000000…0001xxx il y a probablement 2r séquences binaires de rang r …
- 22. @doanduyhai#AlgosBigData 22 Raisonnons àl’envers ! Si j’ai observé 000000…0001xxx il y a probablement 2r séquences binaires de rang r … cardinalité estimée
- 23. @doanduyhai#AlgosBigData Formule LogLog Cherchons laposition 000…01xxx la plus longue observée parmi tous les séquences binaires 23 cardinalité n ≈ 2max(r)
- 24. @doanduyhai#AlgosBigData Problème avec LogLog Exemple:sur 1000 éléments distincts (210 = 1024) 0010000100xxxxxxxxxx 0011001010xxxxxxxxxx 0000000001xxxxxxxxxx … 000000000000001xxxxx à rang r = 15. Cardinalité = 215 = 32768 (FAUX !) … 1100110100xxxxxxxxxx 24
- 25.
- 26. @doanduyhai#AlgosBigData Approche HyperLogLog 1) Élimineret lisser les éléments exceptionnels ☞ moyenne harmonique 26 H = n 1 x1 + 1 x2 +...+ 1 xn Source: Wikipedia
- 27. @doanduyhai#AlgosBigData Approche HyperLogLog Ex: moyenneharmonique de 3, 6, 7, 2 et 120 Moyenne arithmétique = 51 … 27 H = 5 1 3 + 1 6 + 1 7 + 1 12 + 1 120 ≈ 6.80
- 28. @doanduyhai#AlgosBigData Approche HyperLogLog 2) Distribuerle calcul ("diviser pour mieux régner") ☞ appliquer LogLog à n buckets 28 101101000xxxxxxx p = longueur du préfix (ici 6) nombre de buckets = 2p (ici 64)
- 29. @doanduyhai#AlgosBigData Approche HyperLogLog 2) Distribuerle calcul ("diviser pour mieux régner") 29 000000xxx B1 B2 B3 B32 B33 B34 B64… … 000001xxx 000010xxx 010000xxx 010001xxx 010011xxx 111111xxx Flux de données
- 30. @doanduyhai#AlgosBigData Approche HyperLogLog 3) AppliquerLogLog dans chaque bucket 30 101101 0000001xxx p = préfix du bucket r = rang pour LogLog
- 31. @doanduyhai#AlgosBigData Approche HyperLogLog Pour chaquebucket i, on calcule la cardinalité estimée du bucket, Mi 31 Mi ≈ 2max(ri) ri = rang maximal trouvé dans le bucket Mi
- 32. @doanduyhai#AlgosBigData Formule HyperLogLog Moyenne harmoniquedes Mi, H(Mi), par définition 32 H(Mi) ≈ n/b n = nb total d’éléments distincts (cardinalité recherchée) b = nb de buckets ☞ n ≈ b・H(Mi)
- 33. @doanduyhai#AlgosBigData HyperLogLog, les maths 33 H(xi) = b 1 x1 + 1 x2 +...+ 1 xb = b 1 1 xi i=1 b ∑ " # $ $ $ $ % & ' ' ' ' H(xi ) = b 1 xi i=1 b ∑ " # $ $ % & ' ' −1 = b xi −1 i=1 b ∑ " # $ % & ' −1
- 34. @doanduyhai#AlgosBigData HyperLogLog, les maths Onremplace les xi dans la formule par Mi 34 H(Mi ) = b Mi −1 i=1 b ∑( ) −1 On remplace les Mi dans la formule par 2max(ri) H(Mi ) = b 2i −max(ri ) i=1 b ∑ # $ % & ' ( −1
- 35. @doanduyhai#AlgosBigData HyperLogLog, les maths Onremplace dans la formule initiale n ≈ b・H(Mi) 35 n ≈ αbb2 2−max(ri ) i=1 b ∑ $ % & ' ( ) −1 n = cardinalité estimée b = nb de buckets rang max dans chaque bucket𝛼b = constante correctrice
- 36. @doanduyhai#AlgosBigData Quelles applications ? Nbde visiteurs uniques sur une page web Nb de clicks uniques sur un article en ligne Top N éléments (visiteurs, articles, …) … 36
- 37. @doanduyhai#AlgosBigData Exemples d’implémentation Cassandra: estimertaille d’une table distribuée Redis: data structure de base DataFu Pig: UDF standard Twitter Algebird: algorithmes d’algèbre pour Storm & Scalding 37
- 38.
- 39. @doanduyhai#AlgosBigData Trouver un consensusdans un système distribué, en présence de pannes aléatoires(réseau, machine,…). Le défi 39
- 40. @doanduyhai#AlgosBigData Trouver un consensusdans un système distribué, en présence de pannes aléatoires(réseau, machine,…). Le défi 40
- 41. @doanduyhai#AlgosBigData Trouver un consensusdans un système distribué, en présence de pannes aléatoires(réseau, machine,…). Le défi 41
- 42. @doanduyhai#AlgosBigData 42 • protocolebloquant • intervention humaine si manager down 2 phase commit ?
- 43. @doanduyhai#AlgosBigData 43 • étatincohérent possible si partition réseau 3 phase commit ?
- 44. @doanduyhai#AlgosBigData 44 • 2allers/retours • 3/4 rôles • Proposer/Leader • Acceptor • Learner • A besoin d’un quorum (majorité stricte) Paxos
- 45. @doanduyhai#AlgosBigData Paxos phase 1:prepare 45 Proposer /Leader Acceptor prepare(n) Acceptor Acceptor Acceptor Acceptor prepare(n) prepare(n) n = numéro de séquence Client
- 46. @doanduyhai#AlgosBigData Paxos phase 1:promise 46 Proposer /Leader Acceptor Acceptor Acceptor Acceptor Acceptor promise() promise() promise()
- 47. @doanduyhai#AlgosBigData Paxos phase 2:accept 47 Proposer /Leader Acceptor Acceptor Acceptor Acceptor Acceptor accept(n,val) val = valeur du consensus accept(n,val) accept(n,val)
- 48. @doanduyhai#AlgosBigData Paxos phase 2:accepted 48 Proposer /Leader Acceptor Acceptor Acceptor Acceptor Acceptor accepted(n,val) accepted(n,val) accepted(n,val) Client
- 49. @doanduyhai#AlgosBigData Paxos phase 2:learn 49 Proposer /Leader Acceptor Acceptor Acceptor Acceptor Acceptor Learner Learnerval val val Client Learner
- 50. @doanduyhai#AlgosBigData Paxos phase 1:prepare 50 Le proposer choisit un nombre n (séquence toujours croissante) Il envoie prepare(n) à un quorumd’Acceptors Proposer /Leader prepare(n) Acceptor
- 51. @doanduyhai#AlgosBigData Paxos phase 1:promise 51 Chaque acceptor, à la réception d’un prepare(n): • s’il a déjà accepté un accept(m,valm) de la part d’un autre proposer avec m ≤ n ☞ retourne promise(n,(m,valm)) Proposer /Leader Acceptor promise(n,(m, valm))
- 52. @doanduyhai#AlgosBigData Paxos phase 1:promise 52 Chaque acceptor, à la réception d’un prepare(n): • s’il n’a accepté aucune proposition encore (accept(?,?)) ou s’il a retourné une promesse avec m < n ☞ retourne promise(n, ∅) ET promet de ne plus accepter aucun prepare(m) ou accept(m,?) avec m < n Proposer /Leader Acceptor promise(n,∅)
- 53. @doanduyhai#AlgosBigData Paxos phase 1:promise 53 Chaque acceptor, à la réception d’un prepare(n): • s’il a déjà fait une promesse/accepté une valeur avec m > n ☞ ignore la requête. Il peut renvoyer un Nack également (optimisation) Proposer /Leader Acceptor Nack
- 54. @doanduyhai#AlgosBigData Paxos phase 1:objectifs 54 Buts de la phase 1: • découvrir toute proposition en cours pour la faire progresser • bloquer toute ancienne proposition qui n’a pas abouti
- 55. @doanduyhai#AlgosBigData Paxos phase 2:accept 55 Le leader reçoit plusieurs promise(n,(mi,vali)): • si tous les couples (mi,vali) reçus sont vides (promise(∅, ∅)), le leader peut envoyer accept(n,val) avec val de son choix • extrait tous les couples (mi,vali) pour garder vali avec le mi le plus grand ET envoie accept(n,valmax(mi)) au quorum d’acceptors Proposer /Leader Acceptor accept(n,valmax)
- 56. @doanduyhai#AlgosBigData Paxos phase 2:accepted 56 Chaque acceptor à la réception d’un accept(n,val): • s’il n’a fait aucune promesse avec m > n, retourne accepted() • sinon, ignore la requête Proposer /Leader Acceptor accepted(n,val)
- 57. @doanduyhai#AlgosBigData Paxos phase 2:learn 57 Chaque acceptor après avoir envoyé un accepted(): • envoie la valeur val choisie à une liste de learners (stockage durable) Le consensus est atteint et a pour valeur val ! Ceci définit un tour de Paxos
- 58. @doanduyhai#AlgosBigData Limites du Paxosthéorique 58 Une fois la valeur val choisie, on ne peut plus la modifier ! Besoin de faire un reset de val pour un autre tour de Paxos Multi-Paxos • plusieurs tours de Paxos en parallèle • chaque serveur peut devenir tour à tour Proposer, Acceptor & Learner Fast-Paxos, Egalitarian-Paxos etc …
- 59. @doanduyhai#AlgosBigData Situations de conflits 59 Ledernier arrivé fait progresser une proposition "en cours" a1 a2 a3 a4 a5 prepare(n1) promise(∅) promise(∅) promise(∅) prepare(n1) prepare(n1) Légende message reçu message envoyé accept(n1,a) prepare(n2) prepare(n2) prepare(n2) promise(n2,(n1,a)) promise(∅) promise(∅) propose(n2,a) propose(n2,a) propose(n2,a) accepted() ☠ ☠ accept() accept() accept()
- 60. @doanduyhai#AlgosBigData Situations de conflits 60 Annulationd’une promesse précédente a1 a2 a3 a4 a5 prepare(n1) promise(∅) promise(∅) promise(∅) prepare(n1) prepare(n1) Légende message reçu message envoyé accept(n1,a) prepare(n2) prepare(n2) prepare(n2) promise(∅) promise(∅) promise(∅) propose(n2,b) propose(n2,b) propose(n2,b) accepted() accepted() accept(n1,a) accept(n1,a) accepted() ❌Nack accepted() accepted()
- 61. @doanduyhai#AlgosBigData Situations de conflits 61 Inter-deadlock a1 a2 a3 a4 a5 Légende messagereçu message envoyé prepare(n2) prepare(n2) prepare(n2) promise(∅) promise(∅) promise(∅) accept(n2,b) accept(n2,b) accept(n1,a) accept(n2,b) Nack Nack accept(n1,a) accept(n1,a)prepare(n1) promise(∅) promise(∅) promise(∅) prepare(n1) prepare(n1) prepare(n3) promise(∅) promise(∅) promise(∅) prepare(n3) prepare(n3) … … …
- 62. @doanduyhai#AlgosBigData Situations de conflits 62 Inter-deadlock a1 a2 a3 a4 a5 Légende messagereçu message envoyé prepare(n2) prepare(n2) prepare(n2) promise(∅) promise(∅) promise(∅) accept(n2,b) accept(n2,b) accept(n1,a) accept(n2,b) Nack Nack accept(n1,a) accept(n1,a)prepare(n1) promise(∅) promise(∅) promise(∅) prepare(n1) prepare(n1) prepare(n3) promise(∅) promise(∅) promise(∅) prepare(n3) prepare(n3) … … …
- 63. @doanduyhai#AlgosBigData Quelles applications ? Électionde master dans les architectures master/slave Atteindre un consensus distribué Créer un algorithme de Compare & Swap distribué Créer un lock distribué 63
- 64. @doanduyhai#AlgosBigData Exemples d’implémentation Cassandra: lightweighttransaction Google Chubby/Spanner: lock/transaction distribué(e) Heroku: à travers le framework Doozerd pour gérer la conf Neo4j (≥ 1.9): en replacement de ZooKeeper pour la haute disponibilité 64
- 65. @doanduyhai#AlgosBigData CREATE TABLE users( logintext PRIMARY KEY, firstname text, … ); Cassandra Lightweight Transaction 65 Contrainte d’unicité
- 66. @doanduyhai#AlgosBigData INSERT INTO users(login,firstname,…) VALUES(‘jdupond’,’Jean’,…) IFNOT EXISTS; Cassandra Lightweight Transaction 66 Contrainte d’unicité
- 67. @doanduyhai#AlgosBigData CREATE TABLE locks( lock_typetext PRIMARY KEY, lock_id uuid, … ); Cassandra Lightweight Transaction 67 Compare & swap distribué
- 68. @doanduyhai#AlgosBigData //Acquérir un lock UPDATElocks USING TTL 60 SET lock_id = 110e8400-e29b-11d4-a716-446655440000 WHERE lock_type = ‘TRANSACTION_ACHAT’ IF lock_id = null; //Relâcher un lock UPDATE locks SET lock_id = null WHERE lock_type = ‘TRANSACTION_ACHAT’ IF lock_id = 110e8400-e29b-11d4-a716-446655440000; Cassandra Lightweight Transaction 68 Compare & swap distribué
- 69.
- 70.