SlideShare une entreprise Scribd logo
1  sur  12
www.sooyoos.commercredi 18 mai 2016
mercredi 18 mai 2016
SOOYOOS
www.sooyoos.commercredi 18 mai 2016 2
www.sooyoos.commercredi 18 mai 2016
Multiples besoins selon les entreprises et projets :
• Surveillance/alerte/audit des systèmes (Sysadmin)
• Optimisation des perfs (Produit)
• Amélioration continue (Lean Startup)
• Rassembler tous les logs des clients (Prestataires)
3
www.sooyoos.commercredi 18 mai 2016
One Ring to rule them all,
One Ring to find them,
One Ring to bring them all
and in the darkness bind them
4
http://lotr.wikia.com/wiki/Ring-inscription
www.sooyoos.commercredi 18 mai 2016
Outils Sysadmin :
• Nagios
• Centreon
• Shinken
Les services Saas :
• Logmatic.io
• Logz.io
• Splunk
5
www.sooyoos.commercredi 18 mai 2016 6
ELK
www.sooyoos.commercredi 18 mai 2016
Elasticsearch qui est un moteur de recherche orienté document facilement scalable pour répondre à de
gros volumes
Logstash qui permet de configurer des flux d’entrées et des flux de sorties (un fichier lu et envoyé
vers Elasticsearch par exemple)
Kibana qui est une IHM permettant de consulter les documents d’une base Elasticsearch et d’en sortir des
tableaux de bords
7
www.sooyoos.commercredi 18 mai 2016 8
www.sooyoos.commercredi 18 mai 2016
Pros
• Liberté totale
• Simple et rapide
• De nombreux plugins logstashs (rabbitMQ, syslog…)
• Ultra swaggy
Cons
• Pas d’authentification gratuite (Elastic Shield)
• Pas d’alertes gratuites (Elastic Watcher)
• Règles / Epuration des recherches à faire
• Tableaux de bords à configurer
9
www.sooyoos.commercredi 18 mai 2016
Elasticsearch qui est le moteur d’indexation des documents
Mongodb qui est une base NoSQL permettant de stocker la configuration et quelques autres paramètres
Graylog-server et graylog-web-interface pour la collecte et la visualisation des logs (ces 2 outils vont
fusionner dans la prochaine version
10
www.sooyoos.commercredi 18 mai 2016
Pros
• Simple et rapide
• Peut intégrer des sources de tout type (Rabbit MQ, monolog, graylog collector)
• Stream
• Authentification / droits
• Alertes
Cons
• Communauté moins importante = moins de plugins
• Mongo + Elasticsearch = un peu lourd
11
www.sooyoos.commercredi 18 mai 2016
ELK semble plus adapté pour des startup avec un seul projet sans besoin de gestion de droits et d’alertes.
Ou besoin d’avoir un tableau de bord kibana qui mixe d’autres métriques que les logs et qui a le temps de
l’intégrer dans un intranet.
Graylog pour toute entreprise qui a besoin d’une solution de logs rapide à mettre en place, tout en
permettant de gérer des utilisateurs et des alertes.
12

Contenu connexe

En vedette

Graylog: Parc info: OK! Datacenter: OK!
Graylog: Parc info: OK! Datacenter: OK!Graylog: Parc info: OK! Datacenter: OK!
Graylog: Parc info: OK! Datacenter: OK!Johan THOMAS
 
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...Modern Data Stack France
 
Kafka Connect by Datio
Kafka Connect by DatioKafka Connect by Datio
Kafka Connect by DatioDatio Big Data
 
DC/OS: The definitive platform for modern apps
DC/OS: The definitive platform for modern appsDC/OS: The definitive platform for modern apps
DC/OS: The definitive platform for modern appsDatio Big Data
 
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Modern Data Stack France
 
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...Cedric CARBONE
 
Cassandra spark connector
Cassandra spark connectorCassandra spark connector
Cassandra spark connectorDuyhai Doan
 
Introduction to Apache Kafka- Part 2
Introduction to Apache Kafka- Part 2Introduction to Apache Kafka- Part 2
Introduction to Apache Kafka- Part 2Knoldus Inc.
 
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...confluent
 
Data Pipelines with Kafka Connect
Data Pipelines with Kafka ConnectData Pipelines with Kafka Connect
Data Pipelines with Kafka ConnectKaufman Ng
 
Introduction to Kafka connect
Introduction to Kafka connectIntroduction to Kafka connect
Introduction to Kafka connectKnoldus Inc.
 
Introduction to Apache Kafka- Part 1
Introduction to Apache Kafka- Part 1Introduction to Apache Kafka- Part 1
Introduction to Apache Kafka- Part 1Knoldus Inc.
 
Introduction to Structured Streaming
Introduction to Structured StreamingIntroduction to Structured Streaming
Introduction to Structured StreamingKnoldus Inc.
 
Introduction to Apache Spark
Introduction to Apache SparkIntroduction to Apache Spark
Introduction to Apache SparkDatio Big Data
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantALTIC Altic
 
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Ippon
 
Découverte de Elastic search
Découverte de Elastic searchDécouverte de Elastic search
Découverte de Elastic searchJEMLI Fathi
 
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Modern Data Stack France
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielModern Data Stack France
 

En vedette (20)

Graylog: Parc info: OK! Datacenter: OK!
Graylog: Parc info: OK! Datacenter: OK!Graylog: Parc info: OK! Datacenter: OK!
Graylog: Parc info: OK! Datacenter: OK!
 
Cyber Attack Analysis
Cyber Attack AnalysisCyber Attack Analysis
Cyber Attack Analysis
 
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...
HUGFR : Une infrastructure Kafka & Storm pour lutter contre les attaques DDoS...
 
Kafka Connect by Datio
Kafka Connect by DatioKafka Connect by Datio
Kafka Connect by Datio
 
DC/OS: The definitive platform for modern apps
DC/OS: The definitive platform for modern appsDC/OS: The definitive platform for modern apps
DC/OS: The definitive platform for modern apps
 
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
 
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...
Paris Spark Meetup (Feb2015) ccarbone : SPARK Streaming vs Storm / MLLib / Ne...
 
Cassandra spark connector
Cassandra spark connectorCassandra spark connector
Cassandra spark connector
 
Introduction to Apache Kafka- Part 2
Introduction to Apache Kafka- Part 2Introduction to Apache Kafka- Part 2
Introduction to Apache Kafka- Part 2
 
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...
Kafka Connect: Real-time Data Integration at Scale with Apache Kafka, Ewen Ch...
 
Data Pipelines with Kafka Connect
Data Pipelines with Kafka ConnectData Pipelines with Kafka Connect
Data Pipelines with Kafka Connect
 
Introduction to Kafka connect
Introduction to Kafka connectIntroduction to Kafka connect
Introduction to Kafka connect
 
Introduction to Apache Kafka- Part 1
Introduction to Apache Kafka- Part 1Introduction to Apache Kafka- Part 1
Introduction to Apache Kafka- Part 1
 
Introduction to Structured Streaming
Introduction to Structured StreamingIntroduction to Structured Streaming
Introduction to Structured Streaming
 
Introduction to Apache Spark
Introduction to Apache SparkIntroduction to Apache Spark
Introduction to Apache Spark
 
Apache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performantApache Kafka, Un système distribué de messagerie hautement performant
Apache Kafka, Un système distribué de messagerie hautement performant
 
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
Realtime Web avec Akka, Kafka, Spark et Mesos - Devoxx Paris 2014
 
Découverte de Elastic search
Découverte de Elastic searchDécouverte de Elastic search
Découverte de Elastic search
 
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
 

Similaire à Monitoring des Logs

SEO Campus 2016 Oncrawl Open Source Log Analysis
SEO Campus 2016 Oncrawl Open Source Log AnalysisSEO Campus 2016 Oncrawl Open Source Log Analysis
SEO Campus 2016 Oncrawl Open Source Log AnalysisCogniteev
 
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usages
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usagesInformatique CDC & la Suite Elastic : une seule suite pour de multiples usages
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usagesElasticsearch
 
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon ConsultingDevcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon ConsultingJeremy Gachet
 
REX Cassandra et Spark au service de la musique en ligne (Français)
REX Cassandra et Spark au service de la musique en ligne (Français)REX Cassandra et Spark au service de la musique en ligne (Français)
REX Cassandra et Spark au service de la musique en ligne (Français)DataStax Academy
 
Petit déjeuner Octo - L'infra au service de ses projets
Petit déjeuner Octo - L'infra au service de ses projetsPetit déjeuner Octo - L'infra au service de ses projets
Petit déjeuner Octo - L'infra au service de ses projetsAdrien Blind
 
Petit-déjeuner OCTO - L'Infra au service de ses projets
Petit-déjeuner OCTO - L'Infra au service de ses projetsPetit-déjeuner OCTO - L'Infra au service de ses projets
Petit-déjeuner OCTO - L'Infra au service de ses projetsOCTO Technology
 
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production MongoDB
 
Evolutions et nouveaux outils SEO
Evolutions et nouveaux outils SEOEvolutions et nouveaux outils SEO
Evolutions et nouveaux outils SEODimitri Brunel
 
Elastic Morocco user group meetup June
Elastic Morocco user group meetup JuneElastic Morocco user group meetup June
Elastic Morocco user group meetup JuneAnna Ossowski
 
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...Marius Zaharia
 
AccorHotels - CRIP Paris
AccorHotels -  CRIP ParisAccorHotels -  CRIP Paris
AccorHotels - CRIP ParisSplunk
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...AZUG FR
 
Extrait du Benchmark Cloud IaaS par Gekko
Extrait du Benchmark Cloud IaaS par Gekko Extrait du Benchmark Cloud IaaS par Gekko
Extrait du Benchmark Cloud IaaS par Gekko GekkoSAS
 
Deck seo campus 2011 utiliser les logs serveurs
Deck seo campus 2011   utiliser les logs serveursDeck seo campus 2011   utiliser les logs serveurs
Deck seo campus 2011 utiliser les logs serveursPhilippe YONNET
 
Chirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCampChirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCampHtitipi
 
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...Sylia Baraka
 

Similaire à Monitoring des Logs (20)

Lagom, reactive framework
Lagom, reactive frameworkLagom, reactive framework
Lagom, reactive framework
 
Geneve Monitoring Graylog
Geneve Monitoring GraylogGeneve Monitoring Graylog
Geneve Monitoring Graylog
 
SEO Campus 2016 Oncrawl Open Source Log Analysis
SEO Campus 2016 Oncrawl Open Source Log AnalysisSEO Campus 2016 Oncrawl Open Source Log Analysis
SEO Campus 2016 Oncrawl Open Source Log Analysis
 
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usages
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usagesInformatique CDC & la Suite Elastic : une seule suite pour de multiples usages
Informatique CDC & la Suite Elastic : une seule suite pour de multiples usages
 
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon ConsultingDevcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
 
REX Cassandra et Spark au service de la musique en ligne (Français)
REX Cassandra et Spark au service de la musique en ligne (Français)REX Cassandra et Spark au service de la musique en ligne (Français)
REX Cassandra et Spark au service de la musique en ligne (Français)
 
Petit déjeuner Octo - L'infra au service de ses projets
Petit déjeuner Octo - L'infra au service de ses projetsPetit déjeuner Octo - L'infra au service de ses projets
Petit déjeuner Octo - L'infra au service de ses projets
 
Petit-déjeuner OCTO - L'Infra au service de ses projets
Petit-déjeuner OCTO - L'Infra au service de ses projetsPetit-déjeuner OCTO - L'Infra au service de ses projets
Petit-déjeuner OCTO - L'Infra au service de ses projets
 
graylogF (2).pptx
graylogF (2).pptxgraylogF (2).pptx
graylogF (2).pptx
 
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production
Webinaire 6 de la série « Retour aux fondamentaux » : Déploiement en production
 
Evolutions et nouveaux outils SEO
Evolutions et nouveaux outils SEOEvolutions et nouveaux outils SEO
Evolutions et nouveaux outils SEO
 
Elastic Morocco user group meetup June
Elastic Morocco user group meetup JuneElastic Morocco user group meetup June
Elastic Morocco user group meetup June
 
Amazon summit 2015
Amazon summit 2015Amazon summit 2015
Amazon summit 2015
 
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
La santé de votre environnement Azure, entre Monitor, AppInsights et Log Anal...
 
AccorHotels - CRIP Paris
AccorHotels -  CRIP ParisAccorHotels -  CRIP Paris
AccorHotels - CRIP Paris
 
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
GAB 2017 PARIS - La santé de votre environnement Azure par Manon Pernin et Ma...
 
Extrait du Benchmark Cloud IaaS par Gekko
Extrait du Benchmark Cloud IaaS par Gekko Extrait du Benchmark Cloud IaaS par Gekko
Extrait du Benchmark Cloud IaaS par Gekko
 
Deck seo campus 2011 utiliser les logs serveurs
Deck seo campus 2011   utiliser les logs serveursDeck seo campus 2011   utiliser les logs serveurs
Deck seo campus 2011 utiliser les logs serveurs
 
Chirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCampChirurgie SEO / Solution répulsive contre les pandas #SEOCamp
Chirurgie SEO / Solution répulsive contre les pandas #SEOCamp
 
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
Paper presentation of Performance Analysis of IoT-Based Sensor,Big Data Proce...
 

Monitoring des Logs

  • 1. www.sooyoos.commercredi 18 mai 2016 mercredi 18 mai 2016 SOOYOOS
  • 3. www.sooyoos.commercredi 18 mai 2016 Multiples besoins selon les entreprises et projets : • Surveillance/alerte/audit des systèmes (Sysadmin) • Optimisation des perfs (Produit) • Amélioration continue (Lean Startup) • Rassembler tous les logs des clients (Prestataires) 3
  • 4. www.sooyoos.commercredi 18 mai 2016 One Ring to rule them all, One Ring to find them, One Ring to bring them all and in the darkness bind them 4 http://lotr.wikia.com/wiki/Ring-inscription
  • 5. www.sooyoos.commercredi 18 mai 2016 Outils Sysadmin : • Nagios • Centreon • Shinken Les services Saas : • Logmatic.io • Logz.io • Splunk 5
  • 7. www.sooyoos.commercredi 18 mai 2016 Elasticsearch qui est un moteur de recherche orienté document facilement scalable pour répondre à de gros volumes Logstash qui permet de configurer des flux d’entrées et des flux de sorties (un fichier lu et envoyé vers Elasticsearch par exemple) Kibana qui est une IHM permettant de consulter les documents d’une base Elasticsearch et d’en sortir des tableaux de bords 7
  • 9. www.sooyoos.commercredi 18 mai 2016 Pros • Liberté totale • Simple et rapide • De nombreux plugins logstashs (rabbitMQ, syslog…) • Ultra swaggy Cons • Pas d’authentification gratuite (Elastic Shield) • Pas d’alertes gratuites (Elastic Watcher) • Règles / Epuration des recherches à faire • Tableaux de bords à configurer 9
  • 10. www.sooyoos.commercredi 18 mai 2016 Elasticsearch qui est le moteur d’indexation des documents Mongodb qui est une base NoSQL permettant de stocker la configuration et quelques autres paramètres Graylog-server et graylog-web-interface pour la collecte et la visualisation des logs (ces 2 outils vont fusionner dans la prochaine version 10
  • 11. www.sooyoos.commercredi 18 mai 2016 Pros • Simple et rapide • Peut intégrer des sources de tout type (Rabbit MQ, monolog, graylog collector) • Stream • Authentification / droits • Alertes Cons • Communauté moins importante = moins de plugins • Mongo + Elasticsearch = un peu lourd 11
  • 12. www.sooyoos.commercredi 18 mai 2016 ELK semble plus adapté pour des startup avec un seul projet sans besoin de gestion de droits et d’alertes. Ou besoin d’avoir un tableau de bord kibana qui mixe d’autres métriques que les logs et qui a le temps de l’intégrer dans un intranet. Graylog pour toute entreprise qui a besoin d’une solution de logs rapide à mettre en place, tout en permettant de gérer des utilisateurs et des alertes. 12