Restrospective du Hadoop Summit 2013 qui s'est tenu à Amsterdam. Slides présentés dans le cadre du HUG France.

1. AMSTERDAM 20 et 21 Mars 2013
Vincent Heuschling
@vhe74
dimanche 28 avril 13

2. dimanche 28 avril 13

3. dimanche 28 avril 13

4. - Summit
dimanche 28 avril 13

5. - Summit
SQL - Summit ?
dimanche 28 avril 13

6. Communauté
dimanche 28 avril 13

7. 500 visiteurs
~ 100 interrogés par
75 % sont engagés dans des projets
41 % ont une stratégie sur les données
34 % ont une plateforme Hadoop en production
43 % expérimentent
Usages : applications marketing, reco, comportemental,
optimisation des contenus...
dimanche 28 avril 13

8. 4 Tracks
Applied Hadoop
Operating Hadoop
Hadoop Futures
Integrating Hadoop
dimanche 28 avril 13

9. Past Present and Future of Data Processing in Apache
Hadoop
Innovations in Apache Hadoop MapReduce Pig Hive for
Improving Query Performance
Enterprise integration of Disruptive Technologies (HSBC)
Hadoop Operations at LinkedIn
Analyzing 1.4 Trillion events with Hadoop
Scaling Big Data Mining Infrastructure Twitter Experience
Crowd-Sourced Intelligence Built into Search over
Hadoop
dimanche 28 avril 13

10. FUTURE of Hadoop
dimanche 28 avril 13

11. Map/Reduce vsYARN
dimanche 28 avril 13

12. Map/Reduce vsYARN
dimanche 28 avril 13

13. Apache TEZ
dimanche 28 avril 13

14. Pig/Hive : MR vs TEZ
dimanche 28 avril 13

15. Innovations in Apache
Hadoop MapReduce Pig Hive
for Improving Query
dimanche 28 avril 13

16. Enterprise Integration of
Disruptive Technologies
dimanche 28 avril 13

17. dimanche 28 avril 13

18. Nouvelle approche
1 plateforme
Données non structurées
Vues multiples
Générateur de changement
Scalabilité
Economie
Outil pour le business et les Techs
dimanche 28 avril 13

19. dimanche 28 avril 13

20. dimanche 28 avril 13

21. dimanche 28 avril 13

22. dimanche 28 avril 13

23. Economie : coûts / 10
Hadoop devient un outil stratégique
Pb d’organisation :
1 stack pour le stockage et les applications
Requiert des profils généralistes
dimanche 28 avril 13

24. Hadoop Operations
@Linkedin
dimanche 28 avril 13

25. “Hadoop is not a developer problem;
it’s an operations problem.”
Hadoop vendor ex-employee
dimanche 28 avril 13

26. 2009 : 20 nodes
20 users
pas de monitoring
dimanche 28 avril 13

27. 2009 : 20 nodes
20 users
pas de monitoring
2013 : 5000 Nodes in ~10 grids
Full configuration management
Full monitoring – Security
Capacity scheduler with SLA
~700 users
5 dedicated operations staff members
dimanche 28 avril 13

28. Scheduling
dimanche 28 avril 13

29. Hadoop != Grid
dimanche 28 avril 13

30. Autres :
1 seul benchmark : « Production code »
Outils de distribution
Gestion des utilisateurs
Tout sera rapidement open-sourcé !
dimanche 28 avril 13

31. Analyzing 1.4 Trillion events
with Hadoop
(comscore)
dimanche 28 avril 13

32. 500 Milliards d’enregistrements par mois
dimanche 28 avril 13

33. Java Map-Reduce quotidien sur 92 jours de données
au début 170 Milliards d’enregistrements à trier et
ventiler
dimanche 28 avril 13

34. Java Map-Reduce quotidien sur 92 jours de données
au début 170 Milliards d’enregistrements à trier et
ventiler
.... très rapidement 30h / jour
dimanche 28 avril 13

35. Java Map-Reduce quotidien sur 92 jours de données
au début 170 Milliards d’enregistrements à trier et
ventiler
.... très rapidement 30h / jour
Solutions :
- Partitionner
- Trier les données en amont
dimanche 28 avril 13

36. Java Map-Reduce quotidien sur 92 jours de données
au début 170 Milliards d’enregistrements à trier et
ventiler
.... très rapidement 30h / jour
Solutions :
- Partitionner
- Trier les données en amont
... Job exécutés en 3 h !!!
dimanche 28 avril 13

37. 120 Nodes
(3000 cores / 6TB memory / 2 PB de disques)
MAPR M5 2.1.0
SYNCSORT pour le tri et le loading
dimanche 28 avril 13

38. Scaling Big Data Mining
Infrastructure
Twitter Experience
dimanche 28 avril 13

39. Passés de 60 nodes / 6 analystes
à
~10000 nodes et ~100 analystes
dimanche 28 avril 13

40. Beaucoup de temps passé à
- Collecter
- Déplacer
- Organiser
Pour logger les données : Flume, Scribe, etc...
aujourd’hui :Thrift,AVRO, PROTOBUF
Construction d’un DAL au dessus de HCatalog
dimanche 28 avril 13

41. Crowd-Sourced Intelligence
Built into Search over
Hadoop
dimanche 28 avril 13

42. Interractions with Big-Data
HDFS
Command Line System Administrator
Key-Value store
Query
Engineer
Index
Keyword search
End User
dimanche 28 avril 13

43. Interractions with Big-Data
HDFS
Command Line System Administrator
Key-Value store
Query
Engineer
Index
Keyword search
End User
Reflected Intelligence
dimanche 28 avril 13

44. Pour aller plus loin !
http://hadoopsummit.org/amsterdam/schedule/
http://fr.slideshare.net/Hadoop_Summit/
http://www.youtube.com/user/HadoopSummit
dimanche 28 avril 13

45. Merci !
Vincent Heuschling
Gsm : 06 61 88 76 71
Email : vhe@affini-tech.com
Web : http://www.affini-tech.com
Twitter : @affinitech & @vhe74
dimanche 28 avril 13