Présentation donnée au ParisJug le 27/06/2018

1. Copyright @ 2017 ParisJug. Licence CC - Creative Commons 2.0 France – Paternité - Pas
d'Utilisation Commerciale - Partage des Conditions Initiales à l'Identique
www.parisjug.org

2. Hadoop Unit
Test or…
par Khanh Tuong MAUDOUX
@jetoile
229/06/2018

3. Hadoop Unit
Qui je suis…
• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr
• @jetoile
• khanh.maudoux@jetoile.fr
3

4. Hadoop Unit
Contexte
4

5. Hadoop Unit
Contexte
• Big Data : écosystème composé éventuellement
d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
5

6. Hadoop Unit
Les « officiels »
6

7. Hadoop Unit
Les spécifiques…
7

8. Hadoop Unit
Et les « non officiels »…
8

9. Hadoop Unit
Et nous…?
9

10. Hadoop Unit
Et nous…?
• Comment qu’on fait?
– en mode de développement?
– pour tester?
– …
10

11. Hadoop Unit
ET NOUS…?!!!!
11

12. Hadoop Unit
Hadoop et les tests : solutions
12

13. Hadoop Unit
Hadoop et les tests : solutions
• Docker
• Mais…
– Comment faire en environnements hostiles (windows,
admin, …)
– Trouver la bonne image…
13

14. Hadoop Unit
Hadoop et les tests : solutions
• Utilisation de Spark local / Spark Testing base
• Mais…
– Ecosystème (hive/hbase/…)
– Si enableHiveSupport() sous windows…
14

15. Hadoop Unit
Hadoop et les tests : solutions
• LocalFS, LocalOozie, HiveLocal
• Mais…
– Verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
15

16. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-
clusters)
• Mais…
– Moins verbeux
– Conflit de classloader
– Sous windows… c’est compliqué…
16

17. Hadoop Unit
Hadoop et les tests : solutions
• Hadoop Unit
17

18. Hadoop Unit
Hadoop Unit
Fonctionnement
18

19. Hadoop Unit
Hadoop Unit
Fonctionnement
• S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters)
• Supporte :
– Hdfs
– Zookeeper
– Hivemetastore / Hiverserver2
– Solr 6.6.1
– SolrCloud 6.6.1
– Oozie
– Kafka 0.10.1
– HBase
– MongoDB
– Cassandra 3.11.0
– Elasticsearch 6.2.4
– Redis 4.0.0
– Alluxio 1.4.0
– Neo4J 3.2.2
– Knox
– Confluent 4.1.0
19

20. Hadoop Unit
Hadoop Unit
Fonctionnement
• Compatible avec les REPL :
– HDFS
– Kafka
– HBase Shell
– Hive Shell / beeline
– Cassandra Shell
• Fonctionne sous Linux/Mac/Windows
20

21. Hadoop Unit
Hadoop Unit
Fonctionnement
• 3 modes:
– Maven dependencies
– Maven Embedded
– Standalone
21

22. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode Maven dependencies:
22

23. Hadoop Unit
Hadoop Unit
Fonctionnement
• Avec Maven embedded :
29/06/2018 23

24. Hadoop Unit
Hadoop Unit
Fonctionnement
24

25. Hadoop Unit
Hadoop Unit
Fonctionnement
• En mode standalone :
29/06/2018 25

26. Hadoop Unit
Hadoop Unit
Anatomie
26

27. Hadoop Unit
Hadoop Unit
Anatomie
• Utilisation de :
– Hadoop mini cluster (https://github.com/sakserv/hadoop-mini-clusters)
– Achilles (https://github.com/doanduyhai/Achilles)
– Embedded ElasticSearch (https://github.com/allegro/embedded-
elasticsearch)
– Redis Unit (https://github.com/ishiis/redis-unit)
– Artifact Resolver
=> Isolation des classloader
27

28. Hadoop Unit
Questions ?
28

29. Hadoop Unit
Merci !
29
Hadoop Unit :
https://github.com/jetoile/hadoop-unit
Exemples :
https://github.com/jetoile/hadoop-unit/tree/master/sample
https://github.com/jetoile/bigdata-sample-parent/tree/master/bigdata-sample/bigdata-sample-job
Contact :
Twitter : @jetoile

30. Sponsors