„Ship logs from any source, parse them, index them, and search them“ - slides of session "logfiles2.0" @t3crr 2013

1. „Ship logs from any source, parse them, index them, and search them“

2. Motivation

3. Motivation
●
Zentrale Logverwaltung
–
Strukturierbar
–
Zugänglich
–
Durchsuchbar
–
Überwachbar

4. Ziel

5. Aufbau
Server 1
Server 2
Server N
Logstash
shipper
Logstash
shipper
Logstash
shipper
Broker
Logstash parser
Graylog2-server
Elasticsearch
→ messages
MongoDB
→ statistics
→ graphs
Graylog2
Web-Interface

6. Shipper
●
Liest ein und übergibt an message queue
●
Besteht aus
–
fertigem Java Archiv
–
Konfiguration
–
(optional Init-Skript)
→ sehr einfach zu installieren/deployen

7. Broker
●
Key Value Store
●
Bereitstellung Input- und Output-Kanäle
●
Passwortgeschützte Übertragung

8. Logstash parser
●
Holt Daten aus dem message queue
●
Filtert Daten
●
Strukturiert Daten (z.B. JSON)
●
Übergibt Daten an Graylog2-server
z.B. Apache Log Filter:

9. Graylog2-server
●
Verarbeitet
●
Speichert
→ Inhalte nach Elasticsearch
→ Meta Infos nach MongoDB

10. Elasticsearch
●
Echtzeit Volltextsuche (Apache Lucene)
●
Schemafrei
●
Per-operation persistent
●
Horizontal skalierbar (Kapazität → Nodes)
●
RESTful (JSON over HTTP)
●
HA

11. MongoDB
●
Dokumenten basiert
●
Führende NoSQL DB
●
Horizontal skalierbar (Kapazität → Nodes)
●
HA

12. Webinterface
●
Suchen und filtern mit Regex support
●
Erzeugen von Streams
●
Blacklisting von Logeinträgen
●
Senden von Reports und Alarms per Mail

13. Danke für die Aufmerksamkeit!
Weiterführende Infos:
http://graylog2.org/
http://logstash.net/
http://www.elasticsearch.org/
http://redis.io/
http://grokdebug.herokuapp.com/
http://www.mongodb.org/
http://www.lucenetutorial.com/lucene-query-syntax.html