Présentation de Hadoop Unit

1. Hadoop Unit
par Khanh Tuong MAUDOUX
@jetoile
118/08/2016

2. Hadoop Unit
Qui je suis…
• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr
• @jetoile
• khanh.maudoux@jetoile.fr
218/08/2016

3. Hadoop Unit
Contexte
318/08/2016

4. Hadoop Unit
Contexte
• Big Data : écosystème composé éventuellement
d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
18/08/2016 4

5. Hadoop Unit
Les « officiels »
18/08/2016 5

6. Hadoop Unit
Les spécifiques…
18/08/2016 6

7. Hadoop Unit
Et les « non officiels »…
18/08/2016 7

8. Hadoop Unit
Et nous…?
818/08/2016

9. Hadoop Unit
Et nous…?
• Comment qu’on fait???
– en mode de développement?
– pour tester?
– …
18/08/2016 9

10. Hadoop Unit
Et nous…?
• Mais…
– quand on est sous windows?
– quand on travaille dans une « grosse société » avec
des process lourd et que l’on n’est pas admin?
18/08/2016 10

11. Hadoop Unit
Hadoop Unit
1118/08/2016

12. Hadoop Unit
Hadoop Unit
• S’appuie sur Hadoop Mini Cluster
(https://github.com/sakserv/hadoop-mini-clusters)
• Supporte :
– Hdfs
– Zookeeper
– Hivemetastore
– Hiverserver2
– Solr 6.1.0
– SolrCloud 6.1.0
– Oozie
– Kafka 0.10.0
– HBase
– MongoDB
– Cassandra 3.4
– Elasticsearch 5.0.0-alpha4
18/08/2016 12

13. Hadoop Unit
Hadoop Unit
• Compatible avec les REPL :
– HDFS
– Kafka
– HBase Shell
– Hive Shell
• Fonctionne sous Linux/Mac/Windows
18/08/2016 13

14. Hadoop Unit
Hadoop Unit
• Démarre dans une même JVM les composants
nécessaires
– En mode embedded (setup de test)
– En mode standalone (en tache de fond)
18/08/2016 14

15. Hadoop Unit
Hadoop Unit
• En mode embedded :
18/08/2016 15

16. Hadoop Unit
Hadoop Unit
• En mode standalone :
18/08/2016 16

17. Hadoop Unit
Hadoop Unit
• Avec Maven en phase de pré-integration :
18/08/2016 17

18. Hadoop Unit
Questions ?
1818/08/2016

19. Hadoop Unit
Merci !
1918/08/2016