BigData et Hadoopau secours de téraoctets de logs inexploitables chez  l’un des plus grands sites marchands européens.    ...
Abstract•   Une plateforme de production hors normes, exigeante•   Une solution BigData innovante•   De nombreux usages•  ...
Speaker        @pLopezFr        blog.xebia.fr                                             Architect              Pablo Lop...
C’est l’histoire d’une startup...                                    4
La course à l’armement                                         !"#$%&(&)&%*&+%)(&,%"(+-."/                                ...
Une mine d’informations...• Logs techniques /  fonctionnelles / analytiques• 5 à 10 fichiers de logs par JVMs• 7 Go de logs...
... et un calvaire pour les équipes• Rotation trop rapide• Collecte semi automatisée• Transferts laborieux• Volume à trait...
Les fonctionnalités recherchées•   Centraliser   • Informer•   Sécuriser     • Archiver•   Analyser      • En temps réel  ...
De grandes responsabilités• Disponibilité 99,995 %• Temps de réponse sous la  seconde• Base de données = Single Point  of ...
Big Data et open source                          11
Centraliser              12
Centraliser (v2)                   13
Sécuriser            14
Analyser           15
Informer / Archiver                      16
Vue end-to-end12:49:22.203 DEBUG introduction.HelloWorld                                                             {serv...
Le défi du temps réel   Version initiale          Tuning infrastructure   Tuning code                       #"             ...
Utilisation quotidienne                          19
L’avenir... des use cases                            20
L’avenir... de la plate-forme                                21
L’avenir... des produits                           22
Réservé aux grands ?                       23
L’équipe• Philippe Martin martinphilippe@yahoo.com• Arnault Jeanson @ArnaultJeanson• Jean-Philippe Hautin @JpHautin       ...
Des questions ?                  25
BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web europée...
Prochain SlideShare
Chargement dans…5
×

BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)

7 857 vues

Publié le

Comment analyser chaque jour des téra de logs générés par plus de 600 JVMs en production, sans impacter leur fonctionnement ?
Nous vous présenterons durant cette session la solution Big Data 100% Open Source mise en place chez un des plus grands sites du web européen. Une architecture basée sur syslog-ng, Flume, Hadoop, MongoDb et Play!, qui n'a rien à envier aux géants d'outre-atlantique !
Venez découvrir comment nous avons divisé par 20 le temps de détection et de traitement des incidents. Mais aussi comment BigData a permis de nouvelles utilisations des logs à la fois techniques et surtout métier, comme la détection des fraudes, l’analyse de traffic web, BI en temps réel, ...
À travers ce retour d'expérience, nous vous proposons de vivre, au coeur d'une des plus exigeantes productions de France, la mise en place de ce projet digne des très grands du web.

Publié dans : Technologie
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
7 857
Sur SlideShare
0
Issues des intégrations
0
Intégrations
136
Actions
Partages
0
Téléchargements
78
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

BigData et Hadoop au secours de téraoctets de logs inexploitables chez l'un des plus grands sites marchands du web européen (DevoxxFr)

  1. 1. BigData et Hadoopau secours de téraoctets de logs inexploitables chez l’un des plus grands sites marchands européens. by Pablo Lopez @pLopezFr 1
  2. 2. Abstract• Une plateforme de production hors normes, exigeante• Une solution BigData innovante• De nombreux usages• Voir toujours plus grand 2
  3. 3. Speaker @pLopezFr blog.xebia.fr Architect Pablo Lopez Big DataFort Traffic DevOps Performance 3
  4. 4. C’est l’histoire d’une startup... 4
  5. 5. La course à l’armement !"#$%&(&)&%*&+%)(&,%"(+-."/ &/0%&1223&01241• ~500 serveurs de production #!" !!"• 80 applications &#!" &!!" %#!"• 5 JVMs / serveur %!!" $#!"• 13 niveaux de load balancing. $!!" #!" !" 5
  6. 6. Une mine d’informations...• Logs techniques / fonctionnelles / analytiques• 5 à 10 fichiers de logs par JVMs• 7 Go de logs / serveur / jour 6
  7. 7. ... et un calvaire pour les équipes• Rotation trop rapide• Collecte semi automatisée• Transferts laborieux• Volume à traiter colossal 7
  8. 8. Les fonctionnalités recherchées• Centraliser • Informer• Sécuriser • Archiver• Analyser • En temps réel 9
  9. 9. De grandes responsabilités• Disponibilité 99,995 %• Temps de réponse sous la seconde• Base de données = Single Point of Failure• Coûts maitrisés 10
  10. 10. Big Data et open source 11
  11. 11. Centraliser 12
  12. 12. Centraliser (v2) 13
  13. 13. Sécuriser 14
  14. 14. Analyser 15
  15. 15. Informer / Archiver 16
  16. 16. Vue end-to-end12:49:22.203 DEBUG introduction.HelloWorld {service:HelloWorld, count:2} 12:49:22.203 DEBUG introduction.HelloWorld 17
  17. 17. Le défi du temps réel Version initiale Tuning infrastructure Tuning code #" !" &#"Temps d’exécution &!" du job %#" %!" en minutes $#" $!" #" !" 18
  18. 18. Utilisation quotidienne 19
  19. 19. L’avenir... des use cases 20
  20. 20. L’avenir... de la plate-forme 21
  21. 21. L’avenir... des produits 22
  22. 22. Réservé aux grands ? 23
  23. 23. L’équipe• Philippe Martin martinphilippe@yahoo.com• Arnault Jeanson @ArnaultJeanson• Jean-Philippe Hautin @JpHautin • Jawed Khelil • Pierre Revellin • François Ostyn • Olivier Del Favero 24
  24. 24. Des questions ? 25

×