Openstack Newton Zdeněk Janda, CTO Cloudinfrastack Představení poslední verze Openstack Newton v kostce. Novinky v možnostech jednotlivých Openstack služeb, vysoká dostupnost, distribuovaná storage Ceph, orchestrace a Docker kontejnery. Deployment Openstacku a monitoring. Praktické zkušenosti a live demo.

2. Cloudinfrastack
● Privátní cloud služby, konzultace, devops
● Spravujeme 1200+ serverů v 6 produkčních
Openstack clusterech a 8 Ceph storage s
kapacitou 1.3PB
● 100% Opensource technologie
● Openstack, Ceph, KVM, Xen, Docker,
Kubernetes, Puppet, Ansible, Foreman, Sensu,
Graphite, Grafana, Elk stack.

3. Openstack
● Opensource IAAS Cloud computing platforma
● Enterprise API k hardware
● Globálně adoptován jako standard
organizacemi všech velikostí

4. Core služby

5. Volitelné služby

6. Newton: Nova Compute
● Get me network – automatické přiřazení sítě
● Mutable config – změna konfigurace nova bez
nutnosti restartu
● Nova-compute-lxd – production ready, výkon ve
specifických aplikacích (bigdata) až o 40%
vyšší než KVM

7. Newton: Neutron Networking
● Neutron+Kuryr – unifikovaná síť pro kontejnery
a VM
● VLAN in VM – podpora 802.11q pro VNF
● Upgrade bez downtime

8. Newton: Storage
● Cinder: Delete volumes with snapshots –
kaskádový výmaz disků včetně dependencí
● Cinder: Backup na více instancích
● Cinder: Rolling upgrades – update na Newton
bez downtime
● Glare: úložiště artefaktů
● Swift: enkrypce objektů

9. Newton: Kontejnery
● Magnum: Swarm, Kubernetes, Mesos
● Magnum: Kuberenetes na Baremetal
● Kuryr: Neutron network v kontejnerech
● Kolla: Kubernetes

10. Newton: Další projekty
● Ironic: multi tenant síť bez sdílení
● Heat: podpora dns rozlišení
● Ceilometer: Rest API

11. Ceph: Unifikovaná storage
● Ceph standardem pro deployment openstacku
(2016: Ceph 60%, LVM 30%)
● CephFS multi node MDS ready pro produkci
(výborná integrace v Manila pro sdílené
souborové systémy ala NFS)
● Unifikované řešení pro bloková zařízení,
objektovou storage a síťový filesystém

12. Ceph: Výkon
● Bluestore: nový formát úložiště dat, až o 60%
rychlejší, 1Q 2017 production ready
● Jewel release: lineární scale up IOPS pro SSD
a NVME deploymenty
● Nejvyšší výkon: Fujitsu demostrovalo 800000
random 4k IOPS na all flash Ceph storage a
patche jdou do open source

13. Ceph: Zkušenosti v Cloudinfrastack
● Aktuálně 8 produkčních clusterů, 1.3 PB, 49 dedicated
serverů, 406 OSD blokových zařízení
● SSD/NVME využito na bloková zařízení VM, HDD na
síťový filesystém / objektovou storage
● Výkon blokových zařízení dostatečný na 95% aplikací,
maximum na VM > 12000 random 4K IOPS
● Pro vysoce zatížené databáse použita local LVM s
SSD/NVME RAID-10, > 250000 random 4K IOPS
● Průměrně jednou do týdne problém s HW (OSD), vysoká
resilience proti selhání

14. Ceph: Deployment v Cloudinfrastack:
Filesystem/Object storage
● Dedikovaný baremetal (1 node/2U)
● 2x 10G Ethernet
● 16 VCPU, 64G RAM
● 12x 4TB HDD
● 2x 240G SSD Journal
● 48TB Storage

15. Ceph: Deployment v Cloudinfrastack:
Block storage
● Dedikovaný baremetal (2 nodes/1U)
● 2X 10G Ethernet
● 32 VCPU, 128G RAM
● 5X 2TB SSD
● 1x NVME Journal
● 10TB Storage

16. HA, vysoká dostupnost
● Openstack nemá na rozdíl od VMWARE DRS
nativní HA scheduler
● Nova compute HA je nutné zajistit na aplikační
úrovni, případně přes HA řešení typu
Corosync/Keepalived
● Neutron networking podporuje HA DVR, flat
network je však kombinací jistoty a výkonu pro
10G produkční řešení

17. Orchestrace a automatizace
● Pro konfigurační management Puppet,
orchestrace aplikací Ansible
● Foreman automatizuje deployment jednotlivých
VM či souborů VM, které se automaticky dle
předem zvolené role po vysazení nakonfigurují
● Heat pro složitější deploymenty celých prostředí
● Aplikační deployment řídí CI v Jenkins, klasické
aplikace deploy pomocí Puppet/Ansible,
kontejnery pomocí Docker/Kubernetes

18. Kontejnery na Openstacku
● Magnum je ready to use řešení, ovšem black
box
● Docker na baremetal není příliš praktický v
hybridních environmentech
● Kompromisem inhouse deployment
Kubernetes/Docker ve VM, který umožňuje fine
tuning, monitoring a kontrolu nad celým
řešením

19. Openstack na kontejnerech
● Klasický deployment openstack control plane
ve VM zabírá mnoho prostředků (až 16 VCPU a
32G RAM), umožňuje však segmentaci a dobré
HA
● Kontejnerizace v docker šetří prostředky, ale
řízení, scaling up a HA je problematické
● Ideální řešení je Kubernetes, zajišťuje plné
řízení, rolling updates a HA

20. Deployment Openstacku v
Cloudinfrastack: Nyní
● Base OS Ubuntu 14.04 LTS
● Openstack stable z Ubuntu Cloud archives + patches
● Foreman řídí konfigurace v Puppet
● Openstack instalace a konfigurace pomocí puppet-
openstack modulů
● Kontrolní plane: KVM VM v HA pomocí Corosync

21. Deployment Openstacku v
Cloudinfrastack: WIP
● Base OS Ubuntu 16.04 LTS
● Openstack z upstream git, CI build Docker
kontejneru v Jenkins
● Foreman řídí konfigurace v Puppet
● Openstack konfigurace pomocí puppet-
openstack modulů a Kubernetes configmaps
● Kontrolní plane: Kubernetes kontejnery ve
VM/Baremetal

22. Deployment Openstacku v
Cloudinfrastack: Hardware
● Dedikovaný baremetal (2 nodes/1U)
● E5 Xeon v3
● 32 VCPU
● 128G RAM
● 4x 10G Ethernet
● 2x 2TB SSD for local storage

23. Monitoring
● Alerting: Sensu hlavní monitoring, Flapjack pro
segmentaci alertů, Pagerduty pro callin. Záložní
monitoring Icinga
● Grafy: Collectd pro posílání counterů, Graphite
pro ukládání a agregaci, Grafana pro vizualizaci
● Logy: Rsyslog pro posílání logů, Logstash pro
parsing, Elasticsearch pro ukládání a Kibana
pro vizualizaci a hledání

24. Praktické zkušenosti s Openstack
● Openstack plně nahradil legacy systémy baremetal
hypervisorů s Xen a KVM
● Baremetal není dead, pro load balancery, výkonné
databáze a media streaming na 10Gbps má místo v
hybridním cloudu
● Oddělené instance openstacku pro vývoj a produkci z
hlediska bezpečnosti a výkonu
● Produkční deploymenty Openstacku konzervativní (flat
network, pinned disk, manuální distribuce VM do AZ a
na jednotlivé hypervisory)

25. 2017: Cloudinfrastack Todo
● Openstack je API k hardware, má smysl I pro 3 baremetal
nodes – deployment kontejnerizovaných microcloudů a
zabití posledních legacy hypervisorů
● Kubernetes se stává API k aplikacím v kontejnerech, je
třeba převést legacy aplikace do plnně kontejnerizovaných
a automaticky škálovatelných deploymentů pro úsporu
času operations
● Bigdata deploymenty na Openstack (Hadoop clustery
zatím na baremetal)

26. Questions ?
● Zdenek Janda
● Twitter: @ZdenekJanda @cloudevelops
● Email: zdenek.janda@cloudevelops.com