Télécharger en tant que PDF, PPTX
![CQL
CREATE TABLE members (
username text,
firstname text,
email list<text>,
PRIMARY KEY (username)
);
members
bob
firstname
...
Robert
...
...
bill
...
firstname
...
William
INSERT INTO members (username, firstname,
email)
VALUES ('bob', 'Robert',
['bob@gmail.com', 'bob@yahoo.fr']
);](https://image.slidesharecdn.com/cassandra-140304062409-phpapp02/85/Apache-Cassandra-Concepts-et-fonctionnalites-50-320.jpg)
Téléchargé parRomain Hardouin
Apache Cassandra - Concepts et fonctionnalités
Le document présente Apache Cassandra, un système de gestion de base de données NoSQL orienté colonnes, distribué et hautement disponible. Il discute des concepts clés, de l'architecture, des fonctionnalités, des outils et du modèle de données de Cassandra. L'installation et l'utilisation de Cassandra, ainsi que ses avantages par rapport aux SGBDR traditionnels, sont également abordées.
Contenu connexe
Apache Cassandra - Concepts et fonctionnalités
- 1. Apache Cassandra Concepts etfonctionnalités Romain Hardouin Lyon Cassandra Users
- 2. Plan Présentation de Cassandra Conceptsclés Installation Les outils DataStax : DevCenter et OpsCenter Modèle de données Requêtes
- 3. Présentation de Cassandra “Semblableà l'Aphrodite d'or” – Homère
- 4. NoSQL* * ≠ BigData Lyon Cassandra Users
- 5. Big Data* * 3V= Volume, Vélocité, Variété Lyon Cassandra Users
- 6. Cassandra ● SGBD NoSQL orientécolonnes ● Distribué : P2P ● Haute disponibilité : no SPOF ● Massivement parallèle ● Scalabilité linéaire ● Multi data centers ● Réplication native ● Open source : Facebook → Apache
- 7. What were thetop reasons for going with Cassandra? ● No single points of failure ● Highly scalable writes (we have highly variable write traffic) ● A healthy and productive open source community – Ryan King Lyon Cassandra Users
- 8.
- 9.
- 10.
- 11. Cluster ● Noeud = Instancede Cassandra ● Cluster = Ring = Ensemble des noeuds
- 12. Théoreme CAP ● Seuls deuxdes trois sont réalisables Haute disponibilité A C Cohérence @eric_brewer P Tolérance aux partitionnements
- 13. Théoreme CAP ● En pratique – Continuum – ConsistencyLevel (CL) – A Latence ! C P
- 14. Cohérence in fine ● ● ● Eventuallyconsistency A un instant T, la donnée la plus récente n'est pas présente partout Pas de suppression instantanée – Tombstone
- 15. Cohérence paramétrable ● Combien derépliques écrites/lues avant aquittement ● ● ● – ONE, QUORUM, ALL ANY SERIAL Datacenter aware : ● ● LOCAL_ONE, LOCAL_QUORUM EACH_QUORUM
- 16. Gossip ● Protocole epidémique decommunication P2P ● Echange d'informations chaque seconde ● Réseau overlay maillé complet
- 17. Partitioner ● Token = f – – ● Murmur3,MD5 BOP Token => noeud (row) Lyon Venise pays gentilé FR Lyonnais pays gentilé IT Vénitiens
- 18. Facteur de réplication ● Nombred'occurrences d'une donnée – Replication Factor (RF) RF = 2
- 19. Réplication ● Replica placement strategy – NetworkTopologyStrategy Lyon RF= 2 pays gentilé FR Lyonnais
- 20. Snitch ● Comment connaitre latopologie du réseau ? – PropertyFile, GossipingPropertyFile – EC2(MultiRegion) – RackInferring 10 . 1 . 2 . 3 DC Noeud Rack
- 21. Coordinator ● P2P => oncontacte n'importe quel noeud ● Noeud contacté = coordinateur ● Le coordinateur contacte les répliques (proxy) Client
- 22. Ecriture ● Exemple avec RF= 2, CL = ONE Client
- 23. Repair ● Hinted-handoff – ● Read repair – ● Fenêtre paramétrable Probabilitéparamétrable Anti-entropy repair – Indispensable – Généralement hebdomadaire
- 24.
- 25.
- 26. Java ● Oracle JDK – – ● Cassandra 1: v6 Cassandra 2 : v7 Production – Java Native Access (JNA)
- 27. Debian ● Apache – deb http://www.apache.org/dist/cassandra/debian Vmain ● ● V = 12x, 20x DataStax – deb http://debian.datastax.com/community stable main ● ● ● Cassandra, DevCenter, OpsCenter, DSC apt-get install cassandra → v2.0 apt-get install cassandra=1.2.15
- 28. RedHat / CentOS ● DataStax – http://rpm.datastax.com/community ● Cassandra,DevCenter, OpsCenter, DSC
- 29. Les outils DataStax DevCenteret OpsCenter
- 30.
- 31.
- 32.
- 33. Modèle de données SGBDorienté colonnes
- 34. Column ● Identifiée par sonnom ● Valeur et nom typés – blob, int, text, timestamp, timeuuid, uuid, ... ≤ 9 MO conseillé Max 2 GO Nom Valeur Timestamp Résout les conflits => NTP, VMWare tools
- 35. Column ● Time to live – Neremplace pas une purge métier Nom Valeur Timestamp TTL
- 36.
- 37. Column ● Nom porteur d'informations – Colonnecomposite – Intérêt : requêtage “ rhone:* ” rhone:bron rhone:lyon rhone:villeurbanne Valeur Timestamp Valeur Timestamp Valeur Timestamp
- 38. Row ● Identifiée par saclé (typée) ● Contient des colonnes, triées par nom ● Une ligne est stockée sur un seul noeud * 2.109 Nom colonne 1 ... N Clé Valeur colonne 1 Timestamp * hors réplication
- 39. Column Family (CF) ● Regroupeles lignes et donc les colonnes ● Les lignes ne sont pas triées * ● Arena allocation : ≤ 1000 CF Nom CF Colonne 1 Clé 1 ... N Valeur 1 Timestamp ... ... Colonne 1 Clé N ... N Valeur 1 Timestamp * sauf si le ByteOrderedPartitioner est utilisé
- 40. Keyspace ● Regroupe les columnfamilies ● Peut coûteux en mémoire Nom keyspace 1 Nom CF N Nom CF 1 Colonne 1 ... N Colonne 1 ... N Clé 1 Clé 1 Valeur 1 Timestamp Timestamp Colonne 1 ... N ... Valeur 1 Timestamp Valeur 1 ... Colonne 1 ... N ... Valeur 1 Timestamp
- 41.
- 42. Requêtes SELECT * FROMbig_data
- 43. NoSQL ● Les applications doiventen faire plus – – ● Moins de fonctionnalités que les SGBDR Dénormalisation Pas de transactions – V1.0 : Row level isolation – v2.0 : Lightweight transactions, CAS ● Pas de jointures ● Pas de «GROUP BY»
- 44. Par où commencer ● Penser“requête” – – ● Critères de recherches Tris Penser “alimentation” – Comment les données arrivent ? – Données brutes ?
- 45. Penser "requêtes" ● Comment fairesans jointures ? – – ● Peu de données : 2 requêtes + filtre mémoire Big data : autant de Column Family que de requêtes Exemple : – Rechercher les meetup d'une ville – SELECT * FROM events WHERE city = 'Lyon' – Column Family "events by city"
- 46. "events by city" TimeUUID events_by_city lyon 31369e8e ...30a9e2d2 <valueless> ... <valueless> Valueless pattern events 30a9e2d2 ... 31369e8e event_name event_date Cassandra 2014-02-25 ... ... event_name event_date Hadoop 2014-03-13
- 47. Penser "requêtes" ● Comment fairesans aggregation ? – Peu de données : travail en mémoire – Big data : Hadoop, Hive, Pig, etc.
- 48. Penser "alimentation" Exemple :séries temporelles => wide rows – Données financières ● – Actions, produits dérivés, etc. Données brutes ● Capteurs, satellites, etc. sensors Sensor_1:<date> e598170e <blob> e53a9da4 ... e408c24e <blob> ... <blob> 100 mesures / s => 8 640 000 colonnes
- 49. CQL ● Simplifie l'utilisation – ● cqlsh, DevCenter CQL3 – Cassandra >= 1.2 CQL Implémentation
- 50. CQL CREATE TABLE members( username text, firstname text, email list<text>, PRIMARY KEY (username) ); members bob firstname ... Robert ... ... bill ... firstname ... William INSERT INTO members (username, firstname, email) VALUES ('bob', 'Robert', ['bob@gmail.com', 'bob@yahoo.fr'] );
- 51. Référence DataStax : datastax.com www.datastax.com/docs InterviewRyan King (Twitter) : http://nosql.mypopescu.com/post/407159447/cassandra-twitter-an-interview-with-ryan-king