Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (9)
Similaire à Cassandra Spark Lan Party at Devoxx France
Similaire à Cassandra Spark Lan Party at Devoxx France (20)
Cassandra Spark Lan Party at Devoxx France
- 1. #DevoxxFR Cassandra / Spark Lan Party Gautier Dhordain @gdhordain Amira Lakhal @miralak Thomas Recloux @thomasrecloux Jérémy Sevellec @jsevellec 1 (Pour l’instant, ne touchez à rien)
- 2. #DevoxxFR Ne touchez vraiment à rien :-) (tout sera en ethernet) ‘pas de wifi’ 2
- 3. #DevoxxFR Qui est-ce? 3 Gautier Dhordain (@gdhordain) Freelance - Ch’ti JUG volunteer Amira Lakhal (@miralak) Valtech Technology - Duchess Leader Thomas Recloux (@thomasrecloux) Freelance - Ch’ti JUG co-leader Jérémy Sevellec @jsevellec Freelance - Ch’ti JUG co-leader
- 4. #DevoxxFR Si vous avez une question / un problème : N’ hésitez pas à demander à un T-Shirt rouge 4
- 5. #DevoxxFR Merci pour le prêt de matériels / salle 5
- 6. #DevoxxFR Ce qu’on va faire 6 Créer un cluster Cassandra / Spark avec vos machines
- 7. #DevoxxFR Ce qu’on va faire 7 Découverte par la pratique
- 8. #DevoxxFR Ce qu’on va faire 8 FUN
- 9. #DevoxxFR Ce qu’on va faire 9 Battre un record du monde! Devoxx France 2012 : 36 noeuds
- 10. #DevoxxFR Sondage 10 Qui a déjà joué avec - Cassandra ? - Spark ? - Cassandra et Spark ? - Scala ?
- 11. #DevoxxFR AGENDA 11 - Setup Réseau - un peu de théorie Cassandra - Setup Cassandra - Jouer avec Cassandra - un peu de théorie Spark - Setup Spark - Jouer avec Cassandra et Spark
- 12. #DevoxxFR Respectez la conf demandée 12
- 16. #DevoxxFR Merci de couper votre WIFI 16
- 17. #DevoxxFR Regroupez-vous par datacenter / switch Répartissons « la charge » 17
- 19. #DevoxxFR Configuration réseau 19 IP : votre IP (celle du post-it) Masque de sous réseau : 255.0.0.0 pas de proxy pas de routeur/gateway/passerelle test ping : 10.1.1.0, 10.1.1.1, 10.2.1.1, 10.3.1.1
- 21. #DevoxxFR 21
- 22. #DevoxxFR C’est quoi Cassandra 22 « The Apache Cassandra database is the right choice when you need scalability and high availability without compromising performance »
- 23. #DevoxxFR Pourquoi utiliser Cassandra? 23 Scale UP/DOWN Données qui ne tiennent pas sur un serveur Grosse charge d’écriture
- 24. #DevoxxFR Principales fonctionnalitées 24 Nativement distribué datacenter aware Master less Partionnement des données Réplication des données Niveau de consistance configurable
- 26. #DevoxxFR Comment est stockée une table sur le cluster? 26 Chaque table a une PRIMARY KEY PRIMARY KEY = PARTITION KEY Une fonction associe une valeur de clef primaire à un Hash / Token Chaque noeud du cluster prend en charge un « token range » Pour chaque « keyspace » (= schéma) , on défini un « REPLICATION FACTOR ». Chaque donnée est répliquée selon ce replication factor.
- 27. #DevoxxFR 27 name gender age jérémy M 25 amira F 26 gautier M 42 thomas M 27 …. …. …. name gender age jérémy M 25 … … …. name gender age amira F 26 … … … name gender age gautier M 42 thomas M 27 …. …. ….
- 29. #DevoxxFR Consitency Level 29 Cassandra vous laisse maitre du niveau de consistence Principaux niveaux : • ONE • LOCAL_ONE • QUORUM • LOCAL_QUORUM Quorum = (replication factor / 2 ) + 1
- 31. #DevoxxFR NE PAS DEMARRER CASSANDRA AVANT LE GO d’un T-Shirt rouge 31
- 32. #DevoxxFR 32 KEEP CALM THERE’S AN APP FOR THAT
- 34. #DevoxxFR NE PAS DEMARRER CASSANDRA AVANT LE GO d’un T-Shirt rouge 34
- 35. #DevoxxFR Setup Cassandra 35 - récupérer le binaire Cassandra - décompresser l’archive - configurer : cassandra.yaml logs
- 36. #DevoxxFR Cassandra.yaml 36 seeds : Liste des noeuds à contacter initialement listen_address : communication inter noeud rpc_address : communication avec client RackInferringSnitch : 10.<datacenter>.<rack>.<node> auto_bootstrap: false : joindre le cluster sans échanger de données
- 37. #DevoxxFR Démarrage progressif du cluster Cassandra 37
- 38. #DevoxxFR Création du Keyspace et de la table 38
- 41. #DevoxxFR C’est quoi Spark 41 « Apache Spark™ is a fast and general engine for large-scale data processing. »
- 42. #DevoxxFR Pourquoi utiliser Spark? 42 Pour faire du calcul distribué sur un gros volume de données parce que Hadoop c’est trop compliqué parce que c’est hype de faire du Spark
- 44. #DevoxxFR RDD 44 RDD = Resilient Distributed Dataset Spark construit un DAG à partir des opérations sur le RDD et chaque opération n’est effectuée que si nécessaire Une opération peut être effectuée deux fois API Scala / Java / Python
- 45. #DevoxxFR DAG 45
- 46. #DevoxxFR RDD 46 Transformations locales : • map • filter • flatMap • … Transformations distribuées : • groupByKey • reduceByKey • …
- 47. #DevoxxFR RDD 47 Actions : • collect • count • first • take(n) • foreach • ….
- 49. #DevoxxFR Pourquoi utiliser Cassandra et Spark? 49 Spark est le couteau suisse permettant de gérer vos données avec Cassandra
- 51. #DevoxxFR Cassandra Spark Connector 51 Un vrai connecteur Data locality Scala / Java
- 53. #DevoxxFR Nouvelles opérations RDD 53 cassandraTable(keyspace, table) repartitionByCassandraReplica(keyspace, table) joinWithCassandraTable(keyspace, table)
- 54. #DevoxxFR Stop à la théorie 54
- 56. #DevoxxFR 56 KEEP CALM THERE’S AN APP FOR THAT
- 59. #DevoxxFR Démarrage du cluster Spark 59
- 61. #DevoxxFR Music Dataset 61 albums title (PK) performer_name year country quality status performers performer_name (PK) country gender type born died styles
- 62. #DevoxxFR Récap 62 créé un réseau avec 3 data centers créé un cluster Cassandra sur 3 datacenters inséré/lu des données dans cassandra faire tomber un datacenter créé un cluster Spark (global) executer un job Spark sur le cluster battu un record du monde? : non
Notes de l'éditeur
- Abstraction d’une collection distribuée Tolérant aux pannes Opérations « Lazy »