Elasticsearch meetup#2 @Viadeo - Viadeo

1 647 vues

Publié le

Publié dans : Technologie
0 commentaire
3 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 647
Sur SlideShare
0
Issues des intégrations
0
Intégrations
13
Actions
Partages
0
Téléchargements
37
Commentaires
0
J’aime
3
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Elasticsearch meetup#2 @Viadeo - Viadeo

  1. 1. Centralisation des logsflume-ng HBase Elasticsearch Kibana 3
  2. 2. Problématique● Problème de disponibilité et capacité limitée● Dispersion des données : SaaS, BI● Stockage inadapté : MySQL● Accès contraignant, problèmes de sécurité
  3. 3. ● Collecter les logs de manière centralisée● Stockage durable et évolutif● Les rendre accessibles● Initialiser la plate-forme Big data viadeoObjectifs
  4. 4. ApplicationserversDataWarehouseHDFSHBASEAnalytics Kibanaflume-ngSolrESsqoopPlan densembleflux continusimport récurrentsplate-forme de stockageapplications tierces
  5. 5. Mise en œuvre : Indexation● Rejouer n jours ou n minutes● Proche du temps réel● Idempotent● Sources et formats hétérogènes
  6. 6. Mise en œuvre : Indexation● Job MapReduce Hadoop natif● TransportClient embarqué● Indexation par lots● Une configuration logstash "classique"https://gist.github.com/deverton/2970285
  7. 7. Mise en œuvre : Métriques● 17 nœuds Hadoop mutualisés● 2 serveurs ES dédiés● 30 mappers● 260M / 3h de traitement pour 7 jours de logs● 340K / 30s de traitement pour 8 minutes de logs
  8. 8. Mise en œuvre : KibanaKibana 3 tombe à pic !● Maintenu au sein dElasticSearch● Très rapidement fonctionnel● Adaptable à des formats hétérogènes● Fabriqué avec AngularJS
  9. 9. Mise en œuvre : Kibana
  10. 10. Mise en œuvre : Kibana
  11. 11. Message subliminal : votez pour https://github.com/elasticsearch/elasticsearch/pull/2538 :)

×