Ce diaporama a bien été signalé.
Le téléchargement de votre SlideShare est en cours. ×

HDFS HA : Stockage à haute disponibilité par Damien Hardy

Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité
Publicité

Consultez-les par la suite

1 sur 17 Publicité

HDFS HA : Stockage à haute disponibilité par Damien Hardy

Télécharger pour lire hors ligne

Jusqu'alors dans HDFS, NameNode etait un élément critique difficile à fiabiliser. Hadoop 2 et donc CDH4 introduisait HDFS HA. CDH4.1 élimine tous les SPOF. Nous verrons comment mettre en place la haute disponibilité dans HDFS. Quels sont les nouveaux services, comment les articuler.
http://fr.viadeo.com/fr/profile/damien.hardy8

Jusqu'alors dans HDFS, NameNode etait un élément critique difficile à fiabiliser. Hadoop 2 et donc CDH4 introduisait HDFS HA. CDH4.1 élimine tous les SPOF. Nous verrons comment mettre en place la haute disponibilité dans HDFS. Quels sont les nouveaux services, comment les articuler.
http://fr.viadeo.com/fr/profile/damien.hardy8

Publicité
Publicité

Plus De Contenu Connexe

Diaporamas pour vous (18)

Les utilisateurs ont également aimé (16)

Publicité

Similaire à HDFS HA : Stockage à haute disponibilité par Damien Hardy (20)

Plus par Olivier DASINI (20)

Publicité

HDFS HA : Stockage à haute disponibilité par Damien Hardy

  1. 1. Hadoop CDH4.1.2 HDFS HA : Stockage à haute disponibilité Viadeo Tech Days 2012 Damien Hardy Architecte Infrastructure @Viadéo
  2. 2. Overview 1. Hadoop par Cloudera 2. CDH3 : Hadoop 1 3. CDH4 : Hadoop 2 4. HDFS HA 5. Paramétrage 6. Mire en route 7. Failover 8. Coté client 9. Information ailleurs 10.Questions
  3. 3. Cloudera : distribution Hadoop Packetage Debian et Redhat Dépots publiques Patchs Commiteurs Apache
  4. 4. CDH3 : D'où venons nous ? Hadoop 1.0 NameNode (SPOF) SecondarynameNode (ceci n'est pas un NameNode) DataNode Jobtracker Tasktracker Hbase 0.90 Master server Region server Zookeeper 3.3 ...
  5. 5. ©http://lesjoiesdusysadmin.tumblr.com/post/35638011614
  6. 6. CDH4.1 : HADOOP 2 Hadoop 2.0 NameNode DataNode JournalNode ZK Failover Controler (ZKFC) Jobtracker Tasktracker Hbase 0.92 Master server Region server Zookeeper 3.4 ...
  7. 7. HDFS HA NameNode n'est plus un SPOF o/ SecondaryNameNode n'est plus utile 2 NameNodes en mode active/standby Bascule automatique possible (ZKFC) Pas d'IP flottante ni de hearbeat/keepalive basé sur Zookeeper (déjà utilisé pour Hbase) avec ou sans NFS (grace aux JournalNodes)
  8. 8. hdfs-site.xml : déclaration du cluster dfs.nameservices : nom du "point d'accès" dfs.ha.namenodes.hdfscluster : liste des 2 noms de serveurs NameNode dfs.namenode.rpc- address.hdfscluster.<nom> : adresse RPC du node dfs.namenode.http- address.hdfscluster.<nom> : adresse HTTP du node
  9. 9. hdfs-site.xml : méthode Failover dfs.ha.automatic-failover.enabled : bascule automatique ? ha.zookeeper.quorum : liste des serveurs du cluster ZooKeeper
  10. 10. hdfs-site.xml : partager les données dfs.namenode.shared.edits.dir : dossier de partage des meta données (sur NFS ou Quorum JournalNode) dfs.journalnode.edits.dir : chemin de stockage pour le JournalNode (sur chaque serveur du Quorum) dfs.ha.fencing.methods : méthode de STONITH (pour dossier partagé)
  11. 11. Initialisation Hdfs NameNode (premier) hdfs namenode -format start hadoop-hdfs-namenode Hdfs NameNode (second) hdfs namenode -bootstrapStandby start hadoop-hdfs-namenode Hdfs zkfc (bascule automatique) hdfs zkfc -formatZK start hadoop-hdfs-zkfc (sur 2 NameNode)
  12. 12. Administration hdfs haadmin Usage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId>] [-transitionToStandby <serviceId>] [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>] [-getServiceState <serviceId>] [-checkHealth <serviceId>] [-help <command>] Pour provoquer une bascule de serveur. checkHealth non implémenté
  13. 13. Côté client HDFS: l'exemple HBase hbase-site.xml hbase.rootdir : hdfs://<dfs.nameservices>/hbase La config HDFS dans le $CLASSPATH core-site.xml dfs.client.failover.proxy.provider.<ns> hdfs-site.xml
  14. 14. Résultat Démo
  15. 15. Information http://ccp.cloudera.com/display/CDH4DOC/CD H4+High+Availability+Guide
  16. 16. Merci de votre attention, à vos questions!

×