Hadoop unit

78 vues

Publié le

Présentation de Hadoop Unit

Publié dans : Ingénierie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
78
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Hadoop unit

  1. 1. Hadoop Unit par Khanh Tuong MAUDOUX @jetoile 118/08/2016
  2. 2. Hadoop Unit Qui je suis… • Khanh Tuong Maudoux • Développeur Java, JavaEE, BigData indépendant • blog : blog.jetoile.fr • @jetoile • khanh.maudoux@jetoile.fr 218/08/2016
  3. 3. Hadoop Unit Contexte 318/08/2016
  4. 4. Hadoop Unit Contexte • Big Data : écosystème composé éventuellement d’Hadoop mais pas que… • Hadoop = HDFS + YARN? 18/08/2016 4
  5. 5. Hadoop Unit Les « officiels » 18/08/2016 5
  6. 6. Hadoop Unit Les spécifiques… 18/08/2016 6
  7. 7. Hadoop Unit Et les « non officiels »… 18/08/2016 7
  8. 8. Hadoop Unit Et nous…? 818/08/2016
  9. 9. Hadoop Unit Et nous…? • Comment qu’on fait??? – en mode de développement? – pour tester? – … 18/08/2016 9
  10. 10. Hadoop Unit Et nous…? • Mais… – quand on est sous windows? – quand on travaille dans une « grosse société » avec des process lourd et que l’on n’est pas admin? 18/08/2016 10
  11. 11. Hadoop Unit Hadoop Unit 1118/08/2016
  12. 12. Hadoop Unit Hadoop Unit • S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters) • Supporte : – Hdfs – Zookeeper – Hivemetastore – Hiverserver2 – Solr 6.1.0 – SolrCloud 6.1.0 – Oozie – Kafka 0.10.0 – HBase – MongoDB – Cassandra 3.4 – Elasticsearch 5.0.0-alpha4 18/08/2016 12
  13. 13. Hadoop Unit Hadoop Unit • Compatible avec les REPL : – HDFS – Kafka – HBase Shell – Hive Shell • Fonctionne sous Linux/Mac/Windows 18/08/2016 13
  14. 14. Hadoop Unit Hadoop Unit • Démarre dans une même JVM les composants nécessaires – En mode embedded (setup de test) – En mode standalone (en tache de fond) 18/08/2016 14
  15. 15. Hadoop Unit Hadoop Unit • En mode embedded : 18/08/2016 15
  16. 16. Hadoop Unit Hadoop Unit • En mode standalone : 18/08/2016 16
  17. 17. Hadoop Unit Hadoop Unit • Avec Maven en phase de pré-integration : 18/08/2016 17
  18. 18. Hadoop Unit Questions ? 1818/08/2016
  19. 19. Hadoop Unit Merci ! 1918/08/2016

×