Cassandra, réplication et langage de requête

1. Cassandra, réplication et langage de requête
Jonathan Ellis

2. RDBMS & VOUS

3. SQLITE, PYTHON
SCRIPTS, FICHIERS LOG
EXEMPLE ?
DONNÉES DE
PETITE TAILLE

4. LA PLUPART DES
SITES WEB
RDBMS
DONNÉES DE
TAILLE MOYENNE

5. RDBMS CONVIENT-IL AUX DONNÉES MASSIVES ?
VOUS BIG DATA

6. SCALABILITÉ VERTICALE
Taille des
données au
démarrage
OH, WHOA,
THINGS ARE
KICKING UP

7. “ACID”, PAS TOUJOURS VRAI
ATOMICITÉ
COHÉRENCE
ISOLATION
DURABILITÉ

8. Cohérence ?
RÉPLICATION ASYNCHRONE != COHÉRENCE
CLIENT
MAITRE ESCLAVE
Délai de
Réplication
NON! HUH?

9. LA 3ÈME FORME NORMALE NE SCALE PAS
HORRIBLE
▸ IMPRÉVISIBLE
▸ DONNÉES >>MÉMOIRE ?
▸ RECHERCHE SUR DISQUE —>
LENT
▸ UTILISATEURS MÉCONTENTS

10. PARTITIONNER
CLIENT
CAUCHEMAR

11. DISPONIBILITÉ?
PAS AVEC CES
TÊTES DE MULE …

12. CONCLUSION:
GESTION DE LA CROISSANCE DES
DONNÉES, PAS SI SIMPLE …

13. VOTRE MEILLEUR AMI, CASSANDRA

14. ARCHITECTURE

15. ARCHITECTURE
PEER TO PEER
▸ Cassandra, architecture Masterless: ni
Maître ni Esclave
▸ Chaque noeud gère lui-même ses données
▸ Comment est-ce possible ?
▸ Réplication
▸ Niveau de cohérence
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

16. RÉSULTAT ?
SCALABILITÉ LINÉAIRE
HAUTE DISPONIBILITÉ

17. CLIENT
TOPOLOGIE
OPÉRATION

18. ▸ Le “facteur de réplication”
définit le nombre de
“copies”
ARCHITECTURE
CASSANDRA DISTRIBUE ET RÉPLIQUE LES DONNÉES
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

19. ▸ Les copies acquittent auprès du
coordinateur;
▸ le coordinateur acquitte auprès du client
ARCHITECTURE
COMMENT ACQUITTE T-ON LES ÉCRITURES ?
COORDINATEUR
ack
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

20. ARCHITECTURE
NIVEAUX DE COHÉRENCE AJUSTABLE ?
▸ ONE
▸ QUORUM
▸ ALL
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

21. ONE
ARCHITECTURE
▸ Une seule copie acquitte
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

22. ▸ Toutes les copies acquittent
ARCHITECTURE
ALL
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

23. ARCHITECTURE
QUORUM
▸ Quorum = (somme du facteur de réplication / 2) + 1
▸ Question: combien de copies doivent-ils acquitter si le
facteur de réplication est 3 & on veut du quorum?
NOEUD
1
NOEUD
2
NOEUD
3
NOEUD
4

24. PARAMÈTRES MULTI-DC
▸ QUORUL vs. LOCAL_QUORUM
▸ ONE vs. LOCA_ONE
US-EAST FR-PARIS

25. PARTITIONER
CONSISTENT HASHING
Comment les données sont
elle réparties sur le cluster
en réalité ?

26. LA MODÉLISATION DE
DONNÉES AVEC CASSANDRA
SEMBLE DIFFICILE
PAS EXACTEMENT

27. KEYSPACE
TABLE
PARTITION
LIGNE
STRUCTURE DE DONNÉES DANS CASSANDRA

28. CLÉ PRIMAIRE =
CLÉ DE PARTITION +
CLUSTERING COLUMNS

29. CLÉ DE PARTITION
SEULE MANIÈRE DE LOCALISER
LA PARTITION SUR LE CLUSTER

30. CLUSTERING COLUMNS
POUR DÉFINIR LE TRI,
L’ORDRE ET L’UNICITÉ

31. POURQUOI LES CLUSTERING
COLUMNS SONT SI EFFICACES ?

32. UN EXEMPLE

33. CRÉER UN KEYSPACE
CREATE KEYSPACE test
WITH replication =
{'class': 'SimpleStrategy',
'replication_factor': '1'};
USE test;

34. CRÉER UNE TABLE
CREATE TABLE timeline (
user_id text,
tweet_id timeuuid,
tweet_author text,
tweet_body text,
PRIMARY KEY (user_id,
tweet_id)
);
CLÉ PRIMAIRE EN BLANC

35. EXEMPLE DE REQUÊTE D’INSERTION
insert into timeline
(user_id, tweet_id, tweet_author, tweet_body)
values ('jbellis',
now(),
‘Jonathan Ellis',
'Bonjour Paris!');

36. CRÉER UNE TABLE
CREATE TABLE timeline (
user_id text,
tweet_id timeuuid,
tweet_author text,
tweet_body text,
PRIMARY KEY (user_id,
tweet_id)
);
LA CLÉ DE PARTITION PERMET LE ROUTAGE

37. PARTITIONER

38. CRÉER UNE TABLE
CREATE TABLE timeline (
user_id text,
tweet_id timeuuid,
tweet_author text,
tweet_body text,
PRIMARY KEY (user_id,
tweet_id)
);
QU’EN EST-IL DES CLUSTERING COLUMNS?

39. user_id tweet_id _author _body
jbellis 3290f9da.. rbranson lorem
jbellis 3895411a.. tjake ipsum
... ... ...
driftx 3290f9da.. rbranson lorem
driftx 71b46a84.. yzhang dolor
... ... ...
yukim 3290f9da.. rbranson lorem
yukim e451dd42.. tjake amet
... ... ...
SELECT *
FROM timeline
WHERE
user_id = ’driftx’;

40. MODÈLE DE DONNÉES
ORIENTÉ REQUÊTE

41. LES RDBMS, C’ÉTAIT SI BIEN…
JE N’AVAIS PAS
BESOIN DE DÉ-
NORMALISER

42. MAIS N’OUBLIONS
PAS QUE…

43. LA 3ÈME FORME NORMALE NE SCALE PAS!
HORRIBLE
▸ LES TRIS GLOBAUX SONT
COUTEUX
▸ LES JOINTURES MULTI-
MACHINES SONT ENCORE
PLUS COUTEUSES
▸ UTILISATEURS MÉCONTENTS !

44. PAS DE PANIQUE!

45. ROULEMENT DE TAMBOUR …

46. MAINTENANT C’EST
DUY HAI DOAN !