Le document présente 'Hadoop Unit', un outil conçu pour faciliter le développement et les tests dans l'écosystème Hadoop, en supportant divers composants comme HDFS, Zookeeper et Kafka. Il peut fonctionner sous Linux, Mac et Windows, et propose deux modes d'exécution : embedded et standalone. L'auteur, Khanh Tuong Maudoux, est un développeur indépendant spécialisé en Java et Big Data.

1. Hadoop Unit
par Khanh Tuong MAUDOUX
@jetoile
118/08/2016

2. Hadoop Unit
Qui je suis…
• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr
• @jetoile
• khanh.maudoux@jetoile.fr
218/08/2016

3. Hadoop Unit
Contexte
318/08/2016

4. Hadoop Unit
Contexte
• Big Data : écosystème composé éventuellement
d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
18/08/2016 4

5. Hadoop Unit
Les « officiels »
18/08/2016 5

6. Hadoop Unit
Les spécifiques…
18/08/2016 6

7. Hadoop Unit
Et les « non officiels »…
18/08/2016 7

8. Hadoop Unit
Et nous…?
818/08/2016

9. Hadoop Unit
Et nous…?
• Comment qu’on fait???
– en mode de développement?
– pour tester?
– …
18/08/2016 9

10. Hadoop Unit
Et nous…?
• Mais…
– quand on est sous windows?
– quand on travaille dans une « grosse société » avec
des process lourd et que l’on n’est pas admin?
18/08/2016 10

11. Hadoop Unit
Hadoop Unit
1118/08/2016

12. Hadoop Unit
Hadoop Unit
• S’appuie sur Hadoop Mini Cluster
(https://github.com/sakserv/hadoop-mini-clusters)
• Supporte :
– Hdfs
– Zookeeper
– Hivemetastore
– Hiverserver2
– Solr 6.1.0
– SolrCloud 6.1.0
– Oozie
– Kafka 0.10.0
– HBase
– MongoDB
– Cassandra 3.4
– Elasticsearch 5.0.0-alpha4
18/08/2016 12

13. Hadoop Unit
Hadoop Unit
• Compatible avec les REPL :
– HDFS
– Kafka
– HBase Shell
– Hive Shell
• Fonctionne sous Linux/Mac/Windows
18/08/2016 13

14. Hadoop Unit
Hadoop Unit
• Démarre dans une même JVM les composants
nécessaires
– En mode embedded (setup de test)
– En mode standalone (en tache de fond)
18/08/2016 14

15. Hadoop Unit
Hadoop Unit
• En mode embedded :
18/08/2016 15

16. Hadoop Unit
Hadoop Unit
• En mode standalone :
18/08/2016 16

17. Hadoop Unit
Hadoop Unit
• Avec Maven en phase de pré-integration :
18/08/2016 17

18. Hadoop Unit
Questions ?
1818/08/2016

19. Hadoop Unit
Merci !
1918/08/2016