Immer mehr Unternehmen stehen vor der Herausforderung, Daten analysieren zu müssen, die aus sehr unterschiedlichen Quellen kommen. Grundsätzlich sind Big-Data-Systeme genau richtig für diese Aufgabe - aber diese Systeme können beliebig komplex werden und rentieren sich nicht bei jedem Use Case. Mit Elasticsearch ist es ohne großen Aufwand möglich, heterogene Datenquellen zu kombinieren und interaktiv zu analysieren. Im Zusammenspiel mit Kibana als Frontend bietet Elasticsearch einen sehr einfachen, aber gleichzeitig höchst leistungsfähigen Einstieg in Big-Data-Szenarien. So möchte beispielsweise unser Kunde ProSiebenSat.1 wissen, was die Schaltung von TV-Spots für den Traffic auf den beworbenen Portalen bringt. Zwei Datenquellen sind für die Klärung der Fragestellung relevant: WebTrekk-Daten und Informationen über die Schaltzeiten der TV Spots. Diese notwendige Kombination der beiden Quellsysteme und das Erstellen einer interaktiven Analysemöglichkeit für das Gewinnen von „Data Insights" ist mit Elasticsearch & Kibana in nur wenigen Tagen realisierbar. In unserem Webinar "Elasticsearch und Big Data" geben wir eine kurze Einführung in Elasticsearch und zeigen dann am Beispiel der Lösung für ProSiebenSat.1 konkret, wie leicht sich Elasticsearch für die Analyse von heterogenen Daten einsetzen lässt. Anschließend stehen wir Ihnen für Ihre Fragen gerne zur Verfügung. Referent Bernhard Pflugfelder arbeitet bei der inovex GmbH als Big Data Engineer im Bereich Search-based Applications und Data Analytics. Dort beschäftigt er sich vor allem mit Java Technolologien wie u.a. Apache Hadoop, Apache Mahout, Apache Lucene sowie Elasticsearch und Apache Solr.

1. “Elasticsearch und Big Data”
Bernhard Pflugfelder
inovex GmbH
23.07.2014

2. 2
‣ Big Data Engineer @ inovex
‣ Erfahren in den Bereichen:
‣ search
‣ analytics
‣ big data
‣ bi
‣ Arbeite u.a. mit:
‣ Lucene
‣ Solr
‣ Elasticsearch
‣ Hadoop Ecosystem
‣ bpflugfelder@inovex.de
Bernhard Pflugfelder

3. ‣ Demo “media analytics” @ ProsiebenSat.1
‣ “Elasticsearch in a nutshell”
‣ Import von Daten in Elasticsearch
‣ Datananalyse mit Elasticsearch
Agenda

4. 4
“media analytics” @ ProsiebenSat.1

5. 5
Analyse von Big Data
mit Elasticsearch

6. 6
Elasticsearch in a nutshell
Lucene
“unter der
Haube”
skalierbar
dokumenten
orientiert
Plugin
Architektur
Multi tenancy
REST &
JSON

7. 7
Überblick Architektur
Hochverfügbarkeit + Fehlertoleranz
Primary Shard Replica Shard
1 2 3
Master node
321
Node
21 3
Node
JSON
Input
JSON
Output

8. 8
real-time get
Datentypen
Mapping
(Schema)
Queries
insert,
update,
delete
snapshot &
backup
Elasticsearch – eine dokumentenorientierte Datenbank

9. 9
Import von Daten in Elasticsearch…

10. 10
Import von Daten in Elasticsearch
flume
index api http bindings
logstash
spring-data-
elasticsearch
hadoop-
elasticsearch

11. 11logstash
logstash
log collection and management tool
collects, parses and stores log events
became part of the ELK stack
seamless integration with elasticsearch
plugin architecture
expect that logstash will be promoted to a more general ingestion pipeline
Plugin
Architektur
Verarbeitung
v. Logdaten
Integration
mit ES
inputs,
codecs,
filters,
outputs

12. 12
getting data into elasticsearch
elasticsearch & hadoop
from http://www.elasticsearch.org/blog/elasticsearch-and-hadoop/
MapReduce Hive Pig Spark

13. 13
Datananalyse mit Elasticsearch …

14. 14
Datananalyse mit Elasticsearch
Sie kennen Facetten?

15. 15
Datananalyse mit Elasticsearch
Visualisierung von Facetten für explorative Analyse

16. 16
Datananalyse mit Elasticsearch
Das Aggregations Framework (aggs)
‣ explorative Analyse
‣ slicing & dicing
‣ drilldown
‣ interaktiv
‣ schnelle Berechnung durch in-
memory Datenstruktur field data
‣ über search api ausführbar
‣ json in / json out

17. Bucket aggs
Für das Aufteilen der originalen Menge
an Dokumenten in separate
Teilmengen von Dokumenten
(buckets).
Metric aggs
Für die Berechnung von spezifischen
Metriken über eine Menge von
Dokumenten.
Die Berechnung basiert auf einer
Aggregation über alle Dokumente pro
“bucket”.
17
Das Aggregations Framework (aggs)
2 Aggregationstypen

18. ‣ terms
‣ range
‣ date range
‣ histogram
‣ date histogram
‣ geo distance
‣ geohash grid
‣ ...
‣ min
‣ max
‣ sum
‣ avg
‣ value count
‣ percentiles
‣ cardinality
‣ ...
18
Das Aggregations Framework (aggs)
Viele Aggregators adhoc verfügbar

19. my_aggregation:
19
Das Aggregations Framework (aggs)
spezifische Analysen durch “nested aggregators” realisierbar
"aggregations": {
"<aggregation_name>": {
"<aggregation_type>": {
<aggregation_body>
},
["aggregations": { [<sub_aggregation>]* }]
}
[,"<aggregation_name_2>": { … }]*
}
bucket 1 bucket 2 bucket n metrics…

20. 20
‣ Elasticsearch für Datenanalyse:
‣ Aggregations Framework
‣ Analyse auch von Streamdaten
‣ ELK stack (ingestion + analysis + visualization)
‣ Plus: gemeinsame Analyse von strukturieren & unstrukturierten Daten
‣ Elasticsearch für Big Data
‣ skalierbarer & hochverfügbarer Document Store für Suche / Analyse
‣ Hadoop-Integration (CDH5, Hortenworks HDP, MapR)
‣ Import von großen Datenmengen über logstash oder flume
Zusammenfassung

21. 21
Vielen Dank für Ihre Aufmerksamkeit!
Kontakt
inovex GmbH
Bernhard Pflugfelder
Big Data Engineer
Cell: +49 173 3181-088
Mail: bernhard.pflugfelder@inovex.de
inovex GmbH
Ludwig-Erhard-Allee 6
76131 Karlsruhe
Tel.: +49 721 619 021-0
info@inovex.de
www.inovex.de