Le document présente Hadoop Unit, un outil pour tester des applications basées sur Hadoop et ses écosystèmes. Il décrit les défis de test, les différentes configurations possibles et les solutions proposées, telles que l'utilisation de mini clusters et de Docker. Hadoop Unit est compatible avec divers systèmes et propose plusieurs modes de fonctionnement pour faciliter le développement et les tests.

1. Hadoop Unit
Test or…
par Khanh Tuong MAUDOUX
@jetoile
112/09/2019

2. Hadoop Unit
Qui je suis…
• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr
• @jetoile
• khanh.maudoux@jetoile.fr
2

3. Hadoop Unit
Contexte
3

4. Hadoop Unit
Contexte
• Big Data : écosystème composé éventuellement
d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
4

5. Hadoop Unit
Les « officiels »
5

6. Hadoop Unit
Les spécifiques…
6

7. Hadoop Unit
Et les « non officiels »…
7

8. Hadoop Unit
Et nous…?
8

9. Hadoop Unit
Et nous…?
• Comment qu’on fait?
– en mode de développement?
– pour tester?
– …
9

10. Hadoop Unit
ET NOUS…?!!!!
10

11. Hadoop Unit
Hadoop et les tests : solutions
11

12. Hadoop Unit
Hadoop et les tests : solutions
• Docker
• Mais…
– Comment faire en environnements hostiles (windows,
admin, …)
– Trouver la bonne image…
12

13. Hadoop Unit
Hadoop et les tests : solutions
• Utilisation de Spark local / Spark Testing base
• Mais…
– Ecosystème (hive/hbase/…)
– Si enableHiveSupport() sous windows…
13

14. Hadoop Unit
Hadoop et les tests : solutions
• LocalFS, LocalOozie, HiveLocal
• Mais…
– Verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
14

15. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-
clusters)
• Mais…
– Moins verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
15

16. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Unit
16

17. Hadoop Unit
Hadoop Unit
Fonctionnement
17

18. Hadoop Unit
Hadoop Unit
Fonctionnement
• S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters)
• Supporte :
– Hdfs
– Zookeeper
– Hivemetastore / Hiverserver2
– Solr 6.6.1
– SolrCloud 6.6.1
– Oozie
– Kafka 1.0.0
– HBase
– MongoDB
– Cassandra 3.11.0
– Elasticsearch 6.2.4
– Redis 4.0.0
– Alluxio 1.8.1
– Neo4J 3.2.2
– Knox 0.12.0
– Confluent 5.3.0
– Docker
– Docker-Compose
18

19. Hadoop Unit
Hadoop Unit
Fonctionnement
• Compatible avec les REPL :
– HDFS
– Kafka
– HBase Shell
– Hive Shell / beeline
– Cassandra Shell
– KSQL Shell
• Fonctionne sous Linux/Mac/Windows
19

20. Hadoop Unit
Hadoop Unit
Fonctionnement
• 3 modes:
– Maven dependencies
– Maven Embedded
– Standalone
20

21. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode Maven dependencies:
21
Transitif
Démarre dans le bon ordre

22. Hadoop Unit
Hadoop Unit
Fonctionnement
• Avec Maven embedded :
12/09/2019 22
Plus de conflit de classloader

23. Hadoop Unit
Hadoop Unit
Fonctionnement
23

24. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode standalone :
12/09/2019 24
Pour tester plus rapidement
Pour prototyper

25. Hadoop Unit
Hadoop Unit
Bonus
12/09/2019 25
Développer ses propres composants

26. Hadoop Unit
Hadoop Unit
Bonus
12/09/2019 26
Réduire le code inutile pour les tests

27. Hadoop Unit
Hadoop Unit
Anatomie
27

28. Hadoop Unit
Hadoop Unit
Anatomie
• Utilisation de :
– Hadoop mini cluster (https://github.com/sakserv/hadoop-mini-clusters)
– Achilles (https://github.com/doanduyhai/Achilles)
– Embedded ElasticSearch (https://github.com/allegro/embedded-
elasticsearch)
– Redis Unit (https://github.com/ishiis/redis-unit)
– Archetype Resolver
=> Isolation des classloader
28

29. Hadoop Unit
Hadoop Unit
Anatomie
• Développer ses propres composants
29

30. Hadoop Unit
Questions ?
30

31. Hadoop Unit
Merci !
31
https://github.com/jetoile/hadoop-unit
http://blog.jetoile.fr/hadoop-unit/
https://search.maven.org/search?q=a:hadoop-unit-
standalone