Session about OpenStack Network Planning by Yong Peng in the 2012 OpenStack APAC Conference

1. Openstack网络规划
{ 构建有弹性的、可扩展的共有云网络平台
@公云彭勇
ppyy@pubyun.com

2. 目录
挑战和选择
Vlan规划
IP地址规划
PubYun参与openstack

3. 亚马逊aws的规模
数据来源：http://venturebeat.com/2010/08/03/
amazon-web-services-generating-an-estimated-500m
-in-revenue-thanks-in-part-to-growth-of-social-games/

4. 亚马逊aws的规模
 2011年aws营收$1.2billion
 2012第一季度$500million
 2012年aws预计$2billion

5. 亚马逊aws的规模
数据中心 机架数量 服务器数量
US East (Virginia) 5030 321920
US West (Oregon) 41 2624
US West (N. California) 630 40320
EU West (Ireland) 814 52096
AP Northeast (Japan) 314 20096
AP Southeast (Singapore) 246 15744
SA East (Sao Paulo) 26 1600
Total 7100 45440
分析来源：http://huanliu.wordpress.com/2012/03/13/amazon-data-center-size/

6. 挑战
 高密度，系统规模，故障是高概率事件
 廉价PC，通用硬件
 网络复杂，互联复杂
 业务连续性
 数据可靠性
 灾难恢复
 安全防护（DDOS，ARP，挂马）
 用户应用水平低，认知度低
 政策要求（备案）
 Openstack有待成熟（功能、可靠性、文档、社区）

7. 挑战—知识要求
 DevOPs
 Linux操作系统
 Python语言, 开发工具
 虚拟化技术(KVM, XEN…)
 网络技术（交换、路由、SDN…）
 运维技术（部署、监控、报警…)
 开源技术+社区支持+自我支持

8. 挑战和选择—运维技术
 System Provisioning（crowbar, orchestra)
 Application Deployment (chef, puppet,juju)
 Monitoring&Alerting(Ganglia, nagios, zabbix)
 configuration management(git)

9. 选择-策略
 跟踪和储备最新技术、最新版本
 生产机保守，采用稳定版本，不做小白兔
网络结构、openstack版本

10. 网络承载业务
 物理机管理地址
 物理机IPMI
 虚拟机静态地址
 虚拟机浮动地址
 存储
 设备互联
 设备管理
 管理、运维网络
 hosting

11. 公共业务
 DNS服务器
 DHCP服务器
 NTP时间服务器
 PXE网络安装
 Chef服务器
 Git服务器
 打包、软件库服务器
 操作系统镜像和补丁服务器
 监控、报警服务器
 数据备份服务器

12. 管理业务
VPN
备用线路接入，线路拥塞时的备用通道
 IDC办公

13. IPMI
 电源管理（开机、关机、重启）
 远程安装操作系统
 远程控制台
 硬件资源监控（温度、硬件告警）

14. 网络规划原则
 有弹性，可扩展
考虑未来的扩容。进行地址块预留和块内地址预留
 可汇总，便于路由
按照区域划分网段，在区域的边缘，得到一个简单的前
缀
 便于维护，便于识别
地址段应该有一定的规律和特征,看到IP就知道用途
 安全
不同业务，采用策略，互相隔离
 承载各种业务
 唯一性，全网可达

15. 网络方案选择
 Openstack网络管理器：flatdhcp + multi-host
三层划分
核心层，汇聚层，接入层
 VLAN规划+IP地址规划

16. 网络高可靠性 - Multi-host

17. 网络高可靠性 - Multi-host
 每个计算节点安装三个服务
nova-compute， nova-network，nova-api
 Nova.conf 开启选项：
multi_host=True
enabled_apis=metadata

18. VLAN划分
VLAN 用途
2-299 管理网段
1000-1499 物理机
1500-1999 IPMI
2000-2499 虚拟机浮动地址
2500-2999 虚拟机固定地址

19. VLAN划分
VLAN 用途
10 VPN
11 IDC办公网
20 公共服务
100-199 设备互联
200-299 设备管理

20. IP地址选择
物理机 172.16.0.0/12
1个B为分配单位，给数据中心。
虚拟机 10.0.0.0/8
给数据中心分配16个B。每个数据中心有多个单
元，每个单元32个C
 浮动地址 公网地址（电信、cnnic分配）

21. IP地址分配-物理机管理
 每个数据中心占用一个B，比如172.16.0.0/16
 172.16.0.0/18 64个C，每个openstack cell一个C
 172.16.64.0/19 32个C，保留
 172.16.96.0/20 16个C,hosting
 172.16.112.0/20 16个C，管理
 172.16.128.0/17 128个C，ipmi

22. IP地址分配-一个cell
用途 IP地址 VLAN
物理机 172.16.0.0/24 1000
物理机IPMI 172.16.128.0/24 1500
云主机固定IP 10.0.0.0/19 2500
云主机浮动IP 2000

23. IP地址分配-一个cell
 云主机固定IP分配
考虑效率、安全，32个C，共8192个IP，划分成8
个或者16个网段，每个网段最多1024或者512个IP

24. 安全策略
 管理网段，物理机地址，物理机ipmi地址全通
 云主机静态地址和上述地址隔离

25. 联系我
彭勇
Email：ppyy@pubyun.com
微博：http://weibo.com/refactor
https://github.com/pubyun