巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～

巨大允兠儣兏僸支え僱
儻免イ儽兠儬兟儓免儊儭構築事例傱僯学べ！
攻僧僱情儛儝僔僅僧僔イン儹免
構築傎そ僔極意僎僕凱
松谷憲文
先儹兠株式会社
サイ儬儎儾児兠儛ョン本部本部長
尾方一成
儺兑儕兠儭コ元光ニ儕兠儛ョン儞儛儝優兄株式会社
SDN/NFV 儷儜ネ儝開発本部
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 1

巨大ポータルを支える
プライベート・クラウド構築事例
から学べ！
～攻める情シスのためのインフラ
構築、その極意とは？～
ヤフー株式会社
サイトオペレーション本部本部長
松谷憲文

ソフトウェアによって
抽象化されたインフラサービス
4

5
ex) Software Defined
Networkの場合の関係図
ファイア
フォール
ロード
バランス
ネットワーク製品を
サービスとして抽象化
A社
Switch
B社
vSwitch
C社
Switch
A社
Firewall
B社
Firewall
C社
vFirewall
A社
ロードバランサ
B社
C社
vロードバランサ
 ベンダロックイン
されない
 柔軟な設計が可能
 迅速に制御可能
 マイグレーション
が容易
L2
ネット
ワーク
ルータ

Software Defined x
6
x = Network?, Storage?,
Data Center?
x = すべてのインフラ
を抽象化

抽象化のメリットは？
7

ネットワーク製品を
サービスとして抽象化
8
ex) Software Defined
Networkの場合の関係図
A社
Switch
B社
vSwitch
C社
Switch
A社
Firewall
B社
Firewall
C社
vFirewall
A社
B社
C社
vロードバランサ
 ベンダロックイン
されない
 柔軟な設計が可能
 迅速に制御可能
 マイグレーション
が容易
ファイア
フォール
ロード
バランス
L2
ネット
ワーク
ルータ

インフラ抽象化の目的は？
データセンタのマイグレーション
仮想データセンタ
古いデータセンタ
とハードウェア
 利用効率の向上
 消費電力の低減
 パフォーマンスの向上
仮想データセンタ
新しいデータセンタ
とハードウェア

SDxは何で実現できる？
10

openstackによってすべての
インフラは抽象化される
11
　SDx = openstack

openstackへの取り組み
12

openstackの取組みは？
13

14
50,000
2013
OpenStackと自社開発ツールにより
管理される仮想サーバ数の遷移
50,000VM
Temporary
2009 2010 2011 2012 2013 2014
OpenStack
in-house
インフラリソース
をopenstackに
集中

ヤフーではL3DSRというロードバランス方式を採用
15
2013年：LBaaS の実現
Brocade ADXとopenStackの連携イメージ
openstack上で実現

16
2014年：ネットワークの完全抽象化
ハードウェアの抽象化
Brocade Plug-in
Virtual Routing
Interface
(SVI/VE)
Neutron
Gateway ACL
(FWaaS)
Subnet management
(VLAN)
Load Balancing
(LBaaS)
ファイア
フォール
ロード
バランス
L2
ネット
ワーク
ルータ
Open
vSwitch

ヤフーのプライベートクラウド
17

どの抽象化モデルがベスト？
19

20
構成 Kernel
Open
vSwtich
ML2 driver
Open
vSwitch
+ VDX
2.6.32 2.3
Open
vSwitch
+ VDX Plugin
Open
vSwitch
+ gre tunnel
2.6.32 2.3
Open
vSwitch
今回の検証構成

21
今回の検証環境
VM VM VM
VLAN gre tunnel
VDX
8770
VM VM VM
VDX
6740T
VM VM VM
VDX
8770
VDX
6740T
VM
Open
vSwitch
Open
vSwitch
Open
vSwitch
VM VM
Open
vSwitch
VDX
6740T
VDX
6740T
Neutron Neutron
Avalanche
Open vSwitch
+ gre tunnel
Open vSwitch
+ VDX
Open
vSwitch
GW
GW

検証結果 50VMに対して
20.0Gbps
15.0Gbps
10.0Gbps
5.0Gbps
0.0Gbps
通信速度転送速度
8倍 9倍
gre tunnel VDX
3000Kpps
2000Kpps
1000Kpps
0Kpps
gre tunnel VDX
3.00ms
2.00ms
1.00ms
0.00ms
圧倒的性能差
数倍の性能差
応答時間
0.5倍
gre tunnel VDX 22

3.0Gbps
2.0Gbps
1.0Gbps
0.0Gbps
通信速度転送速度
gre tunnel VDX
450Kpps
300Kpps
150Kpps
0Kpps
gre tunnel VDX
3.00ms
2.00ms
1.00ms
0.00ms
gre tunnel VDX
23
検証結果 1VMに対して
1VMでも
greの
overhead
応答時間
1.35倍 1.45倍
0.3倍

ハードウェア抽象化モデルを選択
 パフォーマンスは落とせない
 シングルテナントなので分割の必要
24
性は薄い
 今までの運用ノウハウが活かせる
 ソフトウェアのコストが掛からない

1. インフラ（データセンタ)の抽象化が重要
2. Openstackでハードウェア抽象化
3. Overheadポイントを極力排除
26

巨大允兠儣兏僸支え僱
儻免イ儽兠儬兟儓免儊儭構築事例傱僯学べ！
攻僧僱情儛儝僔僅僧僔イン儹免
構築傎そ僔極意僎僕凱
尾方一成
儺兑儕兠儭コ元ュニ儕兠儛ョン儞儛儝優兄株式会社
SDN/NFV 儷儜ネ儝開発本部

儻免イ儽兠儬儓免儊儭僸僊債僳う！
OpenStack 始僧僌僥僤僁價傱凱
Yahoo! JAPAN
OpenStack
儻免イ儽兠儬儓免儊儭
小傻債始僧僱
儳イ儵儹儍兠兂ン儝
OpenStack
1. 儝イ儧儥凤ྎ傱僯僤僀僕開始
2. 同傾HW兟儻免儔イン働構築
3. 同傾儵儹儍兠兂ン儝僎拡張性

Openstack 僸支え僱イン儹免
Brocade 僔 SDx 向傷儳兠儭儊儋儆僎僕凱

Brocade 儫兠儣償ン儣兠兟儆兠キ優儓儥兇
SDx 儓免儊儭構築僔僅僧僔儡兎ュ兠儛ョン群
儆儻兎儕兠儛ョン凚Service Chaining, Network Analytics, Traffic Engineering凛
サ兠儴/儝儬児兠儜コン儬兑兠免
ネ儧儬ワ兠儓
ネ儧儬ワ兠儓
仮想化
サ兠儴
仮想サ兠儴
ネ儧儬ワ兠儓兟儹儅ン儓儛ョン
ネ儧儬ワ兠儓サ兠儴儝儬児兠儜
儝儬児兠儜
儡儹儬儊儋儆
儫儹儅イン儭
儝儬児兠儜
運用兟管理儨兠兏
物理イン儹免
儹儅儺兎儧儓
仮想兎儡兠儝
4
儆儻兎儕兠儛ョン
運用管理兟儎兠儕儝儬児兠儛ョン
コン儬兑兠免ネ儧儬ワ兠儓兟コン儬兑兠免

傽僉傱僰僎Ᏺ僰僊僊傎攻僧僔儷儜ネ儝僸展開傿僱僑僕凱
簡単
高㏿
自在
僕傾僧僑
儛儝優兄凙サ兠儷儝
企画兟構築
御担当者
僎僑傱債時間僎僔勝負
働傎傿傶僑サ兠儷儝僸
儝儣兠儬傽僅い僔働傿傏
＜儡儹儬儊儋儆 : イン儹免僔仮想化凰
1. 儆儻免イ儆ン儝僔仮想化
2. 自由自在僐ネ儧儬ワ兠儓分割
3. 運用僔自動化
＜儳兠儭儊儋儆 : イン儹免僔整備凰
1. 儛儝優兄利用率僔向上
2. 冗長化僑僮僱耐障害性僔向上
3. 兏兠儻障害僔僐いᏳ心僔ネ儧儬ワ兠儓
Ᏻ価
Ᏻ全
Ᏻ定
ネ儧儬ワ兠儓
構築兟運用
傺担当者
僎僑傱債傎障害兟事故
僔無い傎Ᏻ価僐儛儝優
兄傲必要僐僔働傿傏
5

儺兑儕兠儭傲傰届傷傿僱凥僊僔贈僰物
儓免儊儭時代僑本当僑必要僐僨僔傏そ僲僕兟兟兟
6
箱僸空傷僌僊僐傶僆傷小傻債始僧僌
大傳債育僌僱
㏿い抽象化傏い傱傲働傿傱凱

僊僐傶僆傷僔ネ儧儬ワ兠儓僎僕凱
物理僔世界僕自動化運用傏論理働設計兟構築傏
従来僔階層型儆兠キ優儓儥兇
Access Aggregation Core
イ兠サネ儧儬兟儹儅儺兎儧儓儆兠キ優儓儥兇
Edge Core
コ儆兟兏兠儣
儝儕兠兏儆儧儻
7
儼儆儸ン兏兠儻障害
50%
VLAN
ACL
QoS
凣．STP問題傏設定兟管理僔複雑傻
凤．仮想環境僔運用負荷
凥．ネ儧儬ワ兠儓構成僔複雑化
䷵ 僊僐傶僆傷働傎自律構成
䷶ 兏兠儻儹兎兠
䷷ 設定僔必要傲僐い允兠儬
䷸ 最短経路僸選択

儝兆兠兏儝儣兠儬ྍ能僐傘儹児儧儓儝儹儅儺兎儧儓儝イ儧儥備
 儝兆兠兏儝儣兠儬僑最適僐帯域販売
1. 1GE傱僯10GE僑儆儧儻儔児兠儭
2. FCやFCoE允兠儬僑僨ྍ変
3. サ兠儷儝僸止僧僀僑儆儧儻儔児兠儭
VDX6740T-1G
 業界僸兎兠儭傿僱高い儵儹儍兠兂ン儝
1. 1RU : 48允兠儬10GE + 4允兠儬40GE
2. 40GE允兠儬僕4允兠儬10GE僑ྍ変
3. 儝イ儧儥内児イ優ン儛 850ns 僔低遅延
40G允兠儬追加
2 Port
40GE
免イ償ン儝
10G儆儧儻儔児兠儭
免イ償ン儝
16 Port
10GE
VDX6740
32Port 10G FCoE /16G FC
24P 10GE
最小実装
40G允兠儬追加
2 Port
40GE
2 Port
40GE
免イ償ン儝
8Port
10GE
10G允兠儬追加
免イ償ン儝
48Pport 1GE 2 Port
40GE 標準実装
16 Port
10GE
16 Port
10GE
8Port
10GE
8Port
10GE
儹児儧儓儝允兠儬
Brocade VDX 6740/6740T

従来型ネ儧儬ワ兠儓僔課題僸解決
VDX儝イ儧儥働
凥僊僔傜儠兑傝僸実現
究極僔傜儠兑傝儣儧儥ネ儧儬ワ兠儓拡張
無駄傲傜儠兑傝僐儝兆兠兏儝儣兠儬効率
儤儊ン儣イ兄傜儠兑傝ネ儧儬ワ兠儓管理
箱僸空傷僌僊僐傶僆傷
課題凣．ネ儧儬ワ兠儓拡張僔
作業負担僎兎儝儓
課題凤．兎儡兠儝僸儹兏活用働傳僀
無駄僐投資傲発生
課題凥．増設や儴兠儜ョン儆儧儻
時僔ネ儧儬ワ兠儓停止
解決
解決
解決
© 2013 Brocade Communications Systems, Inc. 2014/9/19 9

Openstack 兑兠儭兂儧儻
傻僯僑発展傽続傷僱 Brocade OpenStack

Brocade OpenStack 僔概要
仮想ネ儧儬ワ兠儓僎儺兑儧儓儝儬児兠儜僸サ允兠儬
クラक़ॻ
サービ५
OpenStack
উট४ख़クॺ
仮想マ३ン Nova
オঈ४ख़クॺ・
५ॺঞー४
Swift
ঈটック・५ॺঞー४ Cinder
仮想ネッॺワーク Neutron
ダッ३ュボーॻ Horizon
高い拡張性傎儎兠儻ン僐儓免儊儭API
Vyatta
vRouter
ADX
vADX VDX MLX FC SAN
• OpenStack コ儆兟サ兠儷儝
 仮想兂儛ン凚コン儸ュ兠儬凛
 儎儺儜儋儓儬儝儬児兠儜
凚儎儺儜儋儓儬傎儫兠儣置傳場凛
 儺兑儧儓儝儬児兠儜
 仮想ネ儧儬ワ兠儓
 儤儧儛ュ兀兠儭
• 傘元儭兏儊儋儆備コン允兠ネン儬
 イ充兠儜管理凚Glance)
 認証凚Keystone)

小傻債始僧僌傎大傳債育僌僱
儝イ儧儥凤ྎ傱僯始僧僯僲僱儻免イ儽兠儬儓免儊儭
vm1
eth0
vm2
vlan10 vlan20
eth1
VDX
br-ex
br-int
vm1 vm2
tagged
vm3
vm4
br-eth1
Router
Tenant1
Tenant2
vm3 vm4
Router
LB
vm1 vm2
vlan10 vlan11
vlan11
vm3 vm4
vlan11
vlan11
Ve Interface 10 vlan10 vlan11
ip address 10.0.10.1/24
Tenant1
Tenant2
Ve Interface 11
ip address 10.0.11.1/24
ip address 10.0.10.0/24
ip address 10.0.11.0/24
.1
Virtual IP 10.0.2.253
Neutron
Horizon
Brocade
Plugin
ADX
サーバ
FW
Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT
ACL
Src x.x.x.x/x Dst y.y.y.y/y PERMIT

全僌僔ネ儧儬ワ兠儓兎儡兠儝僸抽象化
儺兑儕兠儭全DC製品僑傰い僌OpenStack対応
Grizzly / Havana
2013年4月
OpenStack API / Dashboard
Brocade Ethernet
Fabric
Icehouse (Neutron ML2/Cinder)
2014年4月
Red Hat RHEL OS
Brocade Ethernet and
SAN Fabrics
App
OS
App
OS
App
OS
App
OS
SAN
Future Releases: DC Network Multitenancy Orchestration
OpenStack Ecosystem
DC2
DC1
MLX
App
OS
2014–2015
LBaaS,FWaaS,
DC間接続
App
OS
ADX
vADX
Vyatta
vRouter

僤僎僧
快適僐 SDx 免イ儹僔僅僧僑
儳兠儭僔世界僕自動化運用
儳兠儭僨合わ僁僌儝兆兠兏儝儣兠儬
儳兠儭僔性能僸凣凢凢凘引傳出傿

巨大ポータルを支える
プライベート・クラウド構築事例から学べ！
攻める情シスのためのインフラ
構築、その極意とは？
尾方一成
ブロケードコミュニケーションズシステム株式会社
SDN/NFV ビジネス開発本部

プライベートクラウドをつくろう！
OpenStack 始めてみませんか？
Yahoo! JAPAN
OpenStack
プライベートクラウド
小さく始める
ハイパフォーマンス
OpenStack
1. スイッチ２台からまずは開始
2. 同じHW・プラグインで構築
3. 同じパフォーマンスと拡張性

Openstack を支えるインフラ
Brocade の SDx 向けハードウェアとは？

Brocade データセンター・アーキテクチャ
SDx クラウド構築のためのソリューション群
アプリケーション（Service Chaining, Network Analytics, Traffic Engineering）
サーバ/ストレージコントローラ
ネットワーク
ネットワーク
仮想化
サーバ
仮想サーバ
ネットワーク・ファンクション
ネットワークサーバストレージ
ストレージ
ソフトウェア
デファインド
ストレージ
運用・管理ツール
物理インフラ
ファブリック
仮想リソース
4
アプリケーション
運用管理・オーケストレーション
コントローラネットワーク・コントローラ

はじめに
しっかりと守りつつ、攻めのビジネスを展開するには？
簡単
高速
自在
システム＆サービス
企画・構築
御担当者
とにかく時間との勝負
で、すぐにサービスを
スタートしたいのです。
＜ソフトウェア : インフラの仮想化＞
1. アプライアンスの仮想化
2. 自由自在なネットワーク分割
3. 運用の自動化
＜ハードウェア : インフラの整備＞
1. システム利用率の向上
2. 冗長化による耐障害性の向上
3. ループ障害のない安心のネットワーク
安価
安全
安定
ネットワーク
構築・運用
ご担当者
とにかく、障害・事故
の無い、安価なシステ
ムが必要なのです。
5

ブロケードがお届けする３つの贈り物
クラウド時代に本当に必要なもの。それは・・・
6
箱を空けてつなぐだけ小さく始めて
大きく育てる
速い抽象化。いかがですか？

つなぐだけのネットワークとは？
物理の世界は自動化運用。論理で設計・構築。
従来の階層型アーキテクチャ
Access Aggregation Core
イーサネット・ファブリックアーキテクチャ
Edge Core
コア・ルータ
スケールアップ
7
ヘアピンループ障害
50%
VLAN
ACL
QoS
１．STP問題。設定・管理の複雑さ
２．仮想環境の運用負荷
３．ネットワーク構成の複雑化
① つなぐだけで、自律構成
② ループフリー
③ 設定の必要がないポート
④ 最短経路を選択

スモールスタート可能な「フレックスファブリックスイッチ」
 スモールスタートに最適な帯域販売
1. 1GEから10GEにアップグレード
2. FCやFCoEポートにも可変
3. サービスを止めずにアップグレード
VDX6740T-1G
 業界をリードする高いパフォーマンス
1. 1RU : 48ポート10GE + 4ポート40GE
2. 40GEポートは4ポート10GEに可変
3. スイッチ内レイテンシ 850ns の低遅延
40Gポート追加
2 Port
40GE
ライセンス
10Gアップグレード
ライセンス
16 Port
10GE
VDX6740
32Port 10G FCoE /16G FC
24P 10GE 最小実装
40Gポート追加
2 Port
40GE
2 Port
40GE
ライセンス
8Port
10GE
10Gポート追加
ライセンス
48Pport 1GE 2 Port
標準実装 40GE
16 Port
10GE
16 Port
10GE
8Port
10GE
8Port
10GE
フレックスポート
Brocade VDX 6740/6740T

箱を空けてつなぐだけ
従来型ネットワークの課題を解決
VDXスイッチで
３つの【ゼロ】を実現
拡張究極の【ゼロ】タッチネットワーク
効率無駄が【ゼロ】なスモールスタート
管理ダウンタイム【ゼロ】ネットワーク
課題１．ネットワーク拡張の
作業負担とリスク
課題２．リソースをフル活用できず
無駄な投資が発生
課題３．増設やバージョンアップ
時のネットワーク停止
解決
解決
解決
© 2013 Brocade Communications Systems, Inc. 2014/10/24 9

Openstack ロードマップ
さらに発展し続ける Brocade OpenStack

Brocade OpenStack の概要
仮想ネットワークとブロックストレージをサポート
クラウド
サービス
OpenStack
プロジェクト
仮想マシン Nova
オブジェクト・
ストレージ
Swift
ブロック・ストレージ Cinder
仮想ネットワーク Neutron
ダッシュボード Horizon
高い拡張性、オープンなクラウドAPI
Vyatta
vRouter
ADX
VDX vADX MLX FC SAN
• OpenStack コア・サービス
 仮想マシン（コンピュート）
 オブジェクトストレージ
（オブジェクト、データ置き場）
 ブロックストレージ
 仮想ネットワーク
 ダッシュボード
• 「ミドルウェア」コンポーネント
 イメージ管理（Glance)
 認証（Keystone)

小さく始めて、大きく育てる
スイッチ２台から始められるプライベートクラウド
vm1
eth0
vm2
vlan10 vlan20
eth1
VDX
br-ex
br-int
vm1 vm2
tagged
vm3
vm4
br-eth1
Router
Tenant1
Tenant2
vm3 vm4
Router
LB
vm1 vm2
vlan10 vlan11
vlan11
vm3 vm4
vlan11
vlan11
Ve Interface 10 vlan10 vlan11
ip address 10.0.10.1/24
Tenant1
Tenant2
Ve Interface 11
ip address 10.0.11.1/24
ip address 10.0.10.0/24
ip address 10.0.11.0/24
.1
Neutron
Horizon
Brocade
Plugin
ADX
サーバ
FW
Src: x.x.x.x/x Dst: y.y.y.y/y PERMIT
ACL
Src x.x.x.x/x Dst y.y.y.y/y PERMIT

全てのネットワークリソースを抽象化
ブロケード全DC製品においてOpenStack対応
Grizzly / Havana
2013年4月
OpenStack API / Dashboard
Brocade Ethernet
Fabric
Icehouse (Neutron ML2/Cinder)
2014年4月
Red Hat RHEL OS
Brocade Ethernet and
SAN Fabrics
App
OS
App
OS
App
OS
App
OS
SAN
Future Releases: DC Network Multitenancy Orchestration
OpenStack Ecosystem
DC2
DC1
MLX
App
OS
2014–2015
LBaaS,FWaaS,
DC間接続
App
OS
ADX
vADX
Vyatta
vRouter

まとめ
快適な SDx ライフのために
ハードの世界は自動化運用
ハードも合わせてスモールスタート
ハードの性能を１００％引き出す

ありがとうございました！
15
本件に関するお問合せ
https://www.brocadejapan.com/form/contact2
ブロケードコミュニケーションズシステムズ
株式会社

巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～

Similaire à 巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～ (20)

Plus de Brocade

Plus de Brocade (20)

Dernier

Dernier (8)

巨大ポータルを支えるプライベート・クラウド構築事例から学べ！～攻める情シスのためのインフラ構築、その極意とは？～