Le document décrit comment une startup a utilisé des solutions Big Data et Hadoop pour gérer des téraoctets de logs inexploitables chez un grand site marchand européen. Il souligne les défis liés à la centralisation, à la sécurité et à l'analyse des données en temps réel, ainsi que les exigences de performance élevées. L'avenir de la plateforme et des produits est également évoqué, avec un accent sur l'innovation et l'extension des cas d'utilisation.

1. BigData et Hadoop
au secours de téraoctets de logs inexploitables chez
l’un des plus grands sites marchands européens.
by Pablo Lopez
@pLopezFr
1

2. Abstract
• Une plateforme de production hors normes, exigeante
• Une solution BigData innovante
• De nombreux usages
• Voir toujours plus grand
2

3. Speaker
@pLopezFr
blog.xebia.fr
Architect
Pablo Lopez
Big Data
Fort Traffic
DevOps
Performance
3

4. C’est l’histoire d’une startup...
4

5. La course à l’armement
!"#$%&''(&')&%*&+%)'(&',%"(+-."/'
&/0%&'1223'&0'1241'
• ~500 serveurs de production '#!"
'!!"
• 80 applications
&#!"
&!!"
%#!"
• 5 JVMs / serveur %!!"
$#!"
• 13 niveaux de load balancing. $!!"
#!"
!"
5

6. Une mine d’informations...
• Logs techniques /
fonctionnelles / analytiques
• 5 à 10 fichiers de logs par JVMs
• 7 Go de logs / serveur / jour
6

7. ... et un calvaire pour les équipes
• Rotation trop rapide
• Collecte semi automatisée
• Transferts laborieux
• Volume à traiter colossal
7

9. Les fonctionnalités recherchées
• Centraliser • Informer
• Sécuriser • Archiver
• Analyser • En temps réel
9

10. De grandes responsabilités
• Disponibilité 99,995 %
• Temps de réponse sous la
seconde
• Base de données = Single Point
of Failure
• Coûts maitrisés
10

11. Big Data et open source
11

12. Centraliser
12

13. Centraliser (v2)
13

14. Sécuriser
14

15. Analyser
15

16. Informer / Archiver
16

17. Vue end-to-end
12:49:22.203 DEBUG introduction.HelloWorld
{service:HelloWorld, count:2}
12:49:22.203 DEBUG introduction.HelloWorld
17

18. Le défi du temps réel
Version initiale Tuning infrastructure Tuning code
'#"
'!"
&#"
Temps d’exécution &!"
du job %#"
%!"
en minutes $#"
$!"
#"
!"
18

19. Utilisation quotidienne
19

20. L’avenir... des use cases
20

21. L’avenir... de la plate-forme
21

22. L’avenir... des produits
22

23. Réservé aux grands ?
23

24. L’équipe
• Philippe Martin martinphilippe@yahoo.com
• Arnault Jeanson @ArnaultJeanson
• Jean-Philippe Hautin @JpHautin
• Jawed Khelil • Pierre Revellin
• François Ostyn • Olivier Del Favero
24

25. Des questions ?
25