Steven Schuurman, CEO von Elasticsearch, hat es in einem Blog als die „wahrscheinlich wichtigste Ankündigung seit Gründung der Firma“ genannt. Gemeint hat er Marvel. Marvel ist ein neues Tool, das ein Monitoring eines Elasticsearch-Clusters ermöglicht. Dieses beinhaltet Informationen über Elasticsearch, Lucene und das System selbst. Ein Tool, welches ein so umfangreiches Monitoring für Elasticsearch anbietet, ist einzigartig auf dem Markt. Alle Metriken zu sammeln, zu visualisieren und miteinander in Zusammenhang zu bringen gibt Ihnen Einblicke in Elasticsearch-Cluster, die so vorher mit großem Aufwand verbunden waren. Zustand, Verfügbarkeit, Nutzung, Auslastung Ihrer Umgebung können Sie nun bequem über ein einziges Tool beobachten – in Echtzeit oder auch historisch. Dieses Webinar gibt Ihnen einen Überblick über die Möglichkeiten, die Ihnen Marvel bietet, die Installation in einem Cluster, die Verwendung von Marvel sowie die Analyse Ihres Clusters. Inhalte des Webinars: • Was ist Marvel? • Die Funktionsweise von Marvel • Installation von Marvel • Abgrenzung zum ELK-Stack • Vorteile gegenüber anderen Monitoring-Ansätzen • Die wichtigsten Metriken • Customizing Marvel

1. ELASTICSEARCH CLUSTER
MANAGEMENT MIT MARVEL
Webinar am 13. März 2014
Technology
Drives
Business
Apache Solr, Solr, Apache Lucene, Lucene and their logos are trademarks of the Apache Software Foundation.
Elasticsearch, Kibana, Marvel, Logstash are trademarks of Elasticsearch BV, registered in the U.S. and in other countries.

2. MARKUS KLOSE
Expertise in Elasticsearch, Solr, Lucene,
Fast ESP
Certified Apache Solr Trainer
Speaker, Blogger
Author “Einführung in Apache Solr”
Contributor
@markus_klose

3. UP-COMING EVENTS
Webinar 03.04.2014
Analytics in Online-Shops
Webinar 10.04.2014
Suche und Navigation in Online-Shops.
Mit Elasticsearch und Solr
Webinar 15.04.2014
Innovationen in Recommendationsystemen
für eCommerce
1
2
3

4. AGENDA
Kurzvorstellung SHI
Einführung in Elasticsearch Marvel
SetUp Elasticsearch Marvel
Dashboards & Metriken
Demo
Q & A

5. Heute
2013
2011
SEIT 1994
Hersteller-unabhängiges Unternehmen. Lösungen rund um
Suche, Navigation und Datenanalyse mit Fokus auf Open Source.
Partnerschaft mit
Partnerschaft mit
2000 Erste Projekte mit Open Source
1994 Unternehmensgründung und Entwicklung eines Produkts

6. UNSERE MISSION
Seit 1994 hersteller-unabhängiges Unternehmen für IT Consulting und Software
Engineering.
Wir bieten Lösungen rund um Semantic Search, Analytics und Big Data auf Basis
etablierter Open-Source Software.
Wir stellen Werkzeuge bereit, die durch optimale Nutzung der Technologie und Daten
unsere Kunden beim Erreichen Ihrer Geschäftsziele unterstützen.

7. WAS WIR TUN
MIT SERVICES
DURCH
ANWENDUNG
DES KNOW-HOWS
REALISIEREN
LÖSUNGEN,
UM DATEN
NUTZBAR ZU
MACHEN!
• Strategy Consulting
• Technical Consulting
• Architecture Review
• Development Support
• Team Enablement
Through Workshops and
Trainings
• Technology Comparison
• Tuning & Troubleshooting
• Migration Services
• Experts to Hire
• Service Level Agreements
• Software Architecture
• Coding Services for Java,
C++/C, .NET, PHP for
multiple OSs.
• Continuous Integration
and Test Driven
Development
• Managing Software
Project Lifecycle
• Commerce Search
• Intranet Portal Search
• Website Search
• Search Knowledge
Management
• Analytics
• Social Media Monitoring
UND
ETABLIERTEN
PRODUKTEN
UND
PARTNERN
• Apache Solr/Lucene
• Apache Mahout
• Apache Hadoop, Pig, Hive
• LucidWorks Search
• LucidWorks Search Big Data

8. IHR DRAHT ZU UNS
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley

9. DAS IST MARVEL
Cluster Management und Monitoring Tool
Server/Index Statistiken
Event Monitoring
uvm.
Basiert auf dem ELK Stack
bringt zusätzliche Funktionalität mit
Voraussetzung: min ES Version 0.90.9

10. MARVEL = ++KIBANA
mavel.cluster – Cluster Status auf einen Blick
marvel.stats_table – Metriken auf einen Blick

11. SETUP SIMPLE
Marvel muss auf allen Nodes installiert werden
ES Starten
1 bin/elasticsearch
Installation
Restart ES
Aufruf
2
3
4
bin/plugin -i elasticsearch/marvel/latest
http://localhost:9200/_plugin/marvel

12. SETUP CLUSTER
Marvel wird auf separaten Nodes installiert
SetUp Monitoring Cluster
Marvel Installation
Konfiguration
SetUp Search Cluster
Marvel Installation
Konfiguration
2
3
4
marvel.agent.enabled:false
marvel.agent.exporter.es.hosts: [“HOST:9200“]
1

13. DASHBOARD OVERVIEW
Ideal für das Tagesgeschäft
Cluster Status
allg. Informationen
Performance Overview
Anzahl Dokumente, QPS
Nodes Overview
alle Nodes mit den wichtigsten Merkmalen
Index Overview
alle Indexe mit den wichtigsten Merkmalen

14. DASHBOARD NODES
Ideal für System Monitoring
Hardware & Betriebssystem relevante Informationen
Disk, CPU, JVM, Netzwerk
Index relevanter Überblick
POST, GET, Memory, Indexverhalten
Elasticsearch relevante Metriken
Thread Pool

15. DASHBOARD INDEX
Ideal für Performance Monitoring
Request relevante Metriken
Suche, Indexierung, Percolation
Index relevante Metriken
Anzahl Dokumente, Index Größe, Cache
Management relevante Themen
Refresh, Flush, Merge

16. DARÜBER HINAUS
Cluster Pulse – Ideal für Cluster Monitoring
Node Restart
Index Status
uvm.
Sense - Ideal für Developing
Prototyping Such-Requests
AdHoc Anfragen

17. MARVEL ANPASSEN
Ideal für Ihr Business
Dashboards anpassen
Panels löschen, verschieben & hinzufügen
Look & Feel anpassen
Eigene Dashboards erstellen
Überblick über domainspezifische Themen
Grenzen bei Metriken selbst definieren
„Filtern“ durch Suche
…

18. DEMO

19. Q & A

20. KONTAKT
SHI GmbH & Co. KG
Curt-Frenzel-Str. 12
D - 86167 Augsburg
info@shi-gmbh.com
+49.821.74 82 633 - 0
@SHIEngineers
Michael Marheineke Markus Klose Daniel Wrigley

21. INFORMATIONEN
SHI Blog: www.shi-gmbh.com/blog
Elasticsearch Marvel: http://www.elasticsearch.com/marvel
Elasticsearch Marvel Dokumentation http://www.elasticsearch.org/guide/en/marvel/current/
Download Elasticsearch: http://www.elasticsearch.org/overview/elkdownloads/
Einige Bilder wurden über iStockphoto.com bezogen.