Presentation about monitoring OpenStack @ LinuxTag

1. www.netways.de
Tobias Redel
24.05.2013 | OpenStack DACH Day
Eine Cloud(-VM)
effizient überwachen

3. VORSTELLUNG NETWAYS

4. www.netways.de
Firmengründung 1995
GmbH seit 2001
Open Source seit 1997
38 Mitarbeiter
Spezialisierung in den Bereichen Open Source Systems
Management und Open Source Datacenter Infrastructure
NETWAYS

5. www.netways.de
 High Availability & Clustering
 Cloud Computing
 Load Balancing
 Virtualization
 Database Management
NETWAYS Kompetenzen
OPEN SOURCE
SYSTEMS MANAGEMENT
OPEN SOURCE
DATA CENTER
MANAGED SERVICES MONITORING HARDWARE KONFERENZEN
 Monitoring & Reporting
 Configuration Management
 Service Management
 Knowledge Management
 Backup & Recovery

6. www.netways.de
Open Source Monitoring Conference
23 – 24 Oktober 2013
250 Teilnehmer (2012)
Monitoring Best Practice
Aktuell läuft der “Call For Papers”
Open Source Data Center Conference
09. – 10. April 2014
130 Teilnehmer (2013)
Open Source Software in Rechenzentren und
großen IT Umgebungen
NETWAYS Konferenzen

7. www.netways.de
www.netways.org
NETWAYS Addons
NETWAYS Plugins
www.icinga.org
Development
Hosting
www.monitoringexchange.org
Repository of Icinga / Nagios
addons and plugins
~2000 projects
Community-Aktivitäten

8. www.netways.de
NETWAYS Kunden

9. www.netways.de
jobs.netways.de
Jobs

10. MONITORING – DIE DEFINITION

11. www.netways.de
Monitoring ist die zielgerichtete Beobachtung und
Informationserhebung von Objekten… (Quelle: Wikipedia)
Begriff: Vorgehen, bei dem eventuelle Abweichungen
zwischen beobachteten Istzuständen und vorzugebenden
bzw. zu ermittelnden Sollzuständen festgestellt und
beurteilt werden sollen. (Quelle: Wirtschaftslexikon)
Zweck: Fehlerentdeckung und Fehlervermeidung sowie
Erlangung von Informationen, die der
Entscheidungsverbesserung all derjenigen dienen können,
die über das Ergebnis der Überwachung unterrichtet
werden. (Quelle: Wirschaftslexikon)
Monitoring – Die Definition

12. www.netways.de
Monitoring – Ein praktisches Beispiel

13. www.netways.de
Monitoring…
…wird von einer unabhängigen Stelle durchgeführt
...ist rund um die Uhr verfügbar
...ist redundant ausgelegt
Monitoring – Ein praktisches Beispiel

14. www.netways.de
Der Monitoring-Server sollte…
…keine Cloud-VM sein
…redundant ausgelegt sein (Cluster!)
…möglichst unabhängig von seiner Umwelt agieren können
Monitoring – Fazit

15. DIE CLOUD –
DAS DYNAMISCHE WESEN

16. www.netways.de
Cloud Hosts
Überwachung und Gewährleistung des Betriebs
Sehr komplexe und detaillierte Überwachung
Vergleichsweise niedrige Änderungsraten
Cloud VMs
Überwachung und Gewährleistung des Betriebs
Vergleichsweise einfache Überwachung
Sehr hohe Änderungsraten möglich
Die Cloud – Das dynamische Wesen

17. ICINGA – LIVE DEMO

18. www.netways.de
Icinga – Mobiles Interface

19. www.netways.de
Icinga – Heatmap

20. www.netways.de
Icinga – Heatmap

21. MONITORING OPENSTACK

22. www.netways.de
Traue niemanden,
überwache jede Layer!
Monitoring OpenStack

23. www.netways.de
Storage
check_netapp_health
check_fujitsu_dx.pl
check_emc_clariion.pl
snmp
Netzwerk
check_interface_table_v2
check_snmp
sflow
Monitoring OpenStack

24. www.netways.de
Cloud-Host
Serverhardware (HP, Fujitsu, IBM, …)
check_hpasm
check_fujitsu_primergy.pl
check_snmp
…
Betriebssystem
check_load
check_mem
check_swap
…
Monitoring OpenStack

25. www.netways.de
OpenStack als Applikation
Hypervisor
check_xen
check_kvm
check_vmware_api
check_libvirt
Datenkbanken
check_mysql / check_pgsql
Services
RabbitMQ (check_rabbitmq_*)
nova-api, keystone-api, glance-api, (check_http)
nova-scheduler, nova-compute, nova-network (check_procs)
Monitoring OpenStack

26. Monitoring VMs

27. www.netways.de
Vorteile
Kann jeder Nagios / Icinga Admin
Konfiguration leicht zu erlernen
Nachteile
Keine definierte Schnittstelle
Schlecht automatisierbar
Sehr hoher Aufwand bei hohen Änderungsraten
Monitoring VMs – Config-Files

28. www.netways.de
Monitoring VMs – Config-Files
I'll get you!

29. www.netways.de
Monitoring VMs – EventDB
Syslog
SNMP-Traps
MS Eventlogs
Other events
Adapter
MySQL
PostgreSQL
Oracle
Database Frontend
Plugin

30. www.netways.de
Monitoring VMs – EventDB

31. www.netways.de
Vorteile
Wenig bis keine Konfiguration auf dem Monitoring Server
Sehr geringer Initial-Aufwand
Nachteile
Ein großer „Alarmierungstopf“ bei wenig Konfiguration
Ein großer „Alarmierungstopf“ bei Konfiguration
pro Cloud-VM
Monitoring VMs – EventDB

32. www.netways.de
Monitoring VMs – LConf
OpenStack
Compute
(Nova)
Cloud VM cloud-init
LConfIcinga

33. www.netways.de
#cloud-config
# run commands
# default: none
#
# Note, that the list has to be proper yaml, so you have to escape
# any characters yaml would eat (':' can be problematic)
runcmd:
- [ ls, -l, / ]
- [ sh, -xc, "echo $(date) ': hello world!'" ]
- [ sh, -c, echo "=========hello world'=========" ]
- ls -l /root
- [ ldapadd, -h, <lconf-host>, -D “cn=cloudadmin,dc=users…", … ]
Monitoring VMs – LConf

34. www.netways.de
Vorteile
Schnelles hinzufügen von Cloud-VMs durch drag-n-drop
Komfortable Bedienung auch für „Nicht-Admins“
Automatisches Anlegen / Konfigurieren durch
OpenStack „cloud-init“
Nachteile
Manueller Aufwand
Löschen einer Cloud-VM für LConf nicht nachvollziehbar
Monitoring VMs – LConf

35. www.netways.de
Immediate Notifications
compute.instance.create.{start,error,end}
compute.instance.delete.{start,end}
volume.create.{start,end}
volume.delete.{start,end}
Periodic Notifications
compute.instance.exists
Monitoring VMs – OpenStack Notifications

36. www.netways.de
{"event_type": "compute.instance.create.end",
"timestamp": "2012-03-12 17:00:24.156710",
"payload": {"state_description": "",
"display_name": "testserver",
"memory_mb": 512,
"disk_gb": 20,
"tenant_id": "12345",
"created_at": "2012-03-12 16:58:32",
"instance_type_id": 2,
"instance_id": "abcdef01-7b76-4b43-9143-fb2385df48a3",
"instance_type": "512MB instance",
"state": "active",
"user_id": "67890",
"fixed_ips":
{"floating_ips": [],
"meta": {},
"type": "fixed",
"version": 4,
"address": "10.180.0.151"}],
"image_ref_url": "http://127.0.0.1:9292/image"}}
Monitoring VMs – OpenStack Notifications

37. www.netways.de
Monitoring VMs – OpenStack Notifications
• Generiert
Message
• JSON Format
OpenStack
Compute (Nova)
• Message
orientierte
Middleware
AMQP Queue
• Externe
Applikation
• Exportiert
ATOM Format
YAGI
• PubSubHubbub
• Auth Support
PSH

38. www.netways.de
In Kombination mit EventDB und/oder LConf
Vorteile
Automatisches anlegen/löschen des Hosts
Automatisches OS-Monitoring
Automatisches Applikations-Monitoring
Nachteile
Gegenstelle / Daemon für Icinga muss
entwickelt werden
Monitoring VMs – OpenStack Notifications

39. FRAGEN & ANTWORTEN

40. www.netways.de
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
Email: info@netways.de
Twitter: twitter.com/netways
Blog: blog.netways.de
Halle 7.1B, Stand 209
?Fragen
&
Antworten