Log Monitoring at eBay Kleinanzeigen (talk held in April 2013)

1. Log Monitoring für schnelles
Feedback
bei eBay Kleinanzeigen
Manuel Aldana (eBay Kleinanzeigen)

2. Zentralisiertes Logging
bei
eBay Kleinanzeigen
Manuel Aldana
maldana@ebay-kleinanzeigen.de

3. Change / Feedback
flickr.com/photos/tomas_sobek/4649690892/

4. Change / Feedback
Feedback
Reaktion
Change
Benutzer
Aktivität
(inhouse/extern)
Logs
Daten-Zustand
(Persistence)
Operativ
(I/O, CPU, Capacity)

5. Log Typen
HTTP
Logs (Apache,
Varnish)
Applikations
Logs
JavaScript
Logs
Fachliche
Logs
OS
Logs
Backend
Logs (DB, Search, ..)
- Log-Qualität
- Sichtbarkeit ?

6. Old-School Logs-Scanning
tail –f, cat, grep Hölle

7. Post-Rollout Donkey
Pre-Rollout Post-Rollout
tsss....

8. Feedback damals
Angry Mean Face by David Rader II
CC license: flickr.com/photos/chexed/1546923312
Ops
Benutzer
Customer
Support

9. Risikominimierung
Pre-Rollout Post-Rollout
Verbessertes Log-Feedback

10. Verbesserte Log-Infrastruktur
● Zentralisiert
● Aggregiert
● Nahe-Echtzeit
● Suchbar
● Sichtbar für alle!!
APP X APP Y APP Z
Zentralisiert
Speicher + Suche

11. Feedback heute

12. Log Daten
● Log-Beschreibung
● Version
● Applikationstyp
● Stack-trace
● User-Agent
● URL
● Cookies
● Timestamp
● Payload (POST, PUT)
● Level: INFO,WARN,ERROR
● Log-Source (z.B. MeineKlasse.java:78)

13. Vorstellung Log-Tool...

14. Log Incident-Code

15. Implementierungsdetails
● log4j-Appender
● graylog2-server (0.9.5)
● MongoDB storage
● Indexer per Groovy + Cron-Job
● Solr Suche (3.2)
● Inhouse frontend (Play framework 1.2.4,
google-charts)

16. Custom
Reuse

17. Custom
Reuse

18. Log Stats Production
● ~40 "loggende" Server-Instanzen
● ~600K Logs pro Tag
● minutenaktuell
● insg. 17M Logs bei 1 Monat Historie
● Index Größe Solr: 5 GB
● MongoDB Size: 25 GB (klein angesetzt)

19. Alarming
● Monitoring != Alarming
● Alarm on ERROR threshold
● Nagios Plugin
● Mail Event
● Audio Event

20. Ausblick
● Solr Upgrade
● HTTP + SMTP-Logs nachziehen
● Event-Basiertes tracking (statsd, graphite)
● Alarming erweitern

21. Technologie Alternativen
Logster

22. Eure Anforderungen...
● Wie lange Release Zyklen?
● Wie große Change-Sets?
● Echtzeitanforderung wie hoch?
● Kritikalität von Bugs?
● Traffic wie hoch?
● Log-Volumen wie hoch?

23. Zusammenfassung
● Logs wichtige Informationsquelle und KEIN
Abfallprodukt
● Erkenne DEINE verursachten Probleme
schneller als andere
● Suboptimale Lösung besser als gar keine
● Reuse wenn möglich, Anpassen falls nötig

24. Pre-Rollout Post-Rollout
Produktion Mindset
tsss....

25. Berlin DevOpsDays 2013
27./28.05.2012, Urania Berlin
http://devopsdays.org/events/2013-berlin/
Call for proposals
open until 01.04.
proposals-berlin-2013@devopsdays.org
DevOpsDays - The conference that
brings Dev & Ops together

26. Nicht verzagen,
sondern fragen...

27. Surprise, we are hiring...
1) Senior Frontend Developer
2) Senior Android Developer
1st Contact: maldana@ebay-kleinanzeigen.de

28. Kurze Referenz
Folien: Log-Tool
(da Live-Toolvorstellung nicht in Folien übernommen werden kann)

29. Log Beschreibung
● For overview and Log Hotspots Classification
● Normalization (e.g. cut id‘s)

30. App Version
● Identify issues for new rollout-version

31. Release Vergleich

32. Log-Timestamp
● Time related patterns

33. User-Agent
● Knowing your client... (web + API)

34. ● Reproktion per copy/paste URL + params
● Payload Probleme identifizieren
Path + Payload

35. Stack Trace
● Call-Trace nachvollziehen

36. Log-Source
● Schnell direkt im Code nachvollziehen