Comment tester son code dans un environnement Hadoop

1. Hadoop Unit
Test or…
par Khanh Tuong MAUDOUX
@jetoile
112/09/2019

2. Hadoop Unit
Qui je suis…
• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr
• @jetoile
• khanh.maudoux@jetoile.fr
2

3. Hadoop Unit
Contexte
3

4. Hadoop Unit
Contexte
• Big Data : écosystème composé éventuellement
d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
4

5. Hadoop Unit
Les « officiels »
5

6. Hadoop Unit
Les spécifiques…
6

7. Hadoop Unit
Et les « non officiels »…
7

8. Hadoop Unit
Et nous…?
8

9. Hadoop Unit
Et nous…?
• Comment qu’on fait?
– en mode de développement?
– pour tester?
– …
9

10. Hadoop Unit
ET NOUS…?!!!!
10

11. Hadoop Unit
Hadoop et les tests : solutions
11

12. Hadoop Unit
Hadoop et les tests : solutions
• Docker
• Mais…
– Comment faire en environnements hostiles (windows,
admin, …)
– Trouver la bonne image…
12

13. Hadoop Unit
Hadoop et les tests : solutions
• Utilisation de Spark local / Spark Testing base
• Mais…
– Ecosystème (hive/hbase/…)
– Si enableHiveSupport() sous windows…
13

14. Hadoop Unit
Hadoop et les tests : solutions
• LocalFS, LocalOozie, HiveLocal
• Mais…
– Verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
14

15. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-
clusters)
• Mais…
– Moins verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
15

16. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Unit
16

17. Hadoop Unit
Hadoop Unit
Fonctionnement
17

18. Hadoop Unit
Hadoop Unit
Fonctionnement
• S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters)
• Supporte :
– Hdfs
– Zookeeper
– Hivemetastore / Hiverserver2
– Solr 6.6.1
– SolrCloud 6.6.1
– Oozie
– Kafka 1.0.0
– HBase
– MongoDB
– Cassandra 3.11.0
– Elasticsearch 6.2.4
– Redis 4.0.0
– Alluxio 1.8.1
– Neo4J 3.2.2
– Knox 0.12.0
– Confluent 5.3.0
– Docker
– Docker-Compose
18

19. Hadoop Unit
Hadoop Unit
Fonctionnement
• Compatible avec les REPL :
– HDFS
– Kafka
– HBase Shell
– Hive Shell / beeline
– Cassandra Shell
– KSQL Shell
• Fonctionne sous Linux/Mac/Windows
19

20. Hadoop Unit
Hadoop Unit
Fonctionnement
• 3 modes:
– Maven dependencies
– Maven Embedded
– Standalone
20

21. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode Maven dependencies:
21
Transitif
Démarre dans le bon ordre

22. Hadoop Unit
Hadoop Unit
Fonctionnement
• Avec Maven embedded :
12/09/2019 22
Plus de conflit de classloader

23. Hadoop Unit
Hadoop Unit
Fonctionnement
23

24. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode standalone :
12/09/2019 24
Pour tester plus rapidement
Pour prototyper

25. Hadoop Unit
Hadoop Unit
Bonus
12/09/2019 25
Développer ses propres composants

26. Hadoop Unit
Hadoop Unit
Bonus
12/09/2019 26
Réduire le code inutile pour les tests

27. Hadoop Unit
Hadoop Unit
Anatomie
27

28. Hadoop Unit
Hadoop Unit
Anatomie
• Utilisation de :
– Hadoop mini cluster (https://github.com/sakserv/hadoop-mini-clusters)
– Achilles (https://github.com/doanduyhai/Achilles)
– Embedded ElasticSearch (https://github.com/allegro/embedded-
elasticsearch)
– Redis Unit (https://github.com/ishiis/redis-unit)
– Archetype Resolver
=> Isolation des classloader
28

29. Hadoop Unit
Hadoop Unit
Anatomie
• Développer ses propres composants
29

30. Hadoop Unit
Questions ?
30

31. Hadoop Unit
Merci !
31
https://github.com/jetoile/hadoop-unit
http://blog.jetoile.fr/hadoop-unit/
https://search.maven.org/search?q=a:hadoop-unit-
standalone