BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜

BETTER TOGETHER
NOW Your Network is plugged into the SDDC
〜VMware NSXとJuniperデバイスを繋いでみよう！〜
Juniper Networks, K.K.
Kazubu
Mar 2016

2 Copyright © 2016 Juniper Networks, Inc. www.juniper.net
Legal Disclaimer
本資料に記載されている機能や構成、ロードマップ情報などは、
資料作成時点におけるジュニパーネットワークスの仕様や予定を示したもの
であり、事前の通告無しに内容が変更されることがあります。
本資料は技術情報の提供を目的としたものであり、機器、機器の機能、
サービスなどに関して保証を行うものではありませんので、ご注意ください。
Internal Rev.02
Thanks,Gensan

Agenda
この資料では、以下の内容について解説します。
 本資料について
 VMware NSXの概要
 アンダーレイ・ネットワークの検討と構築
 NSXの構築
 Hardware VTEPとの連携：L2 Gateway
 Multicast-VXLANの設定
 OVSDB-VXLANの設定
 Hardware VTEPとの連携：L3 Gatewayの検討
 アンダーレイ・ネットワークのL3デザイン：その１
 アンダーレイ・ネットワークのL3デザイン：その２
 Hardware VTEPとの連携：VXLAN/MPLS-Stitching
 Datacenter Interconnectとの結合デザイン
 まとめ

本資料について
本資料は、VMware NSXとジュニパー・デバイスの連動検証試験の過程と結
果、設定サンプル、デザイン案などをシェアすることを目的としています。
NSXについては、ジュニパーのテクニカル・アライアンス・パートナーである
VMware様より評価用のライセンスを頂き、以下のパブリックドキュメントを
参照しながら評価環境を構築しました。
NSXの構築については基本的には上記ドキュメントに沿って作成していますが、
一部デザインガイドには無い構成の動作確認も実施しています。ここで紹介す
るデザイン案はあくまで参考として頂き、NSXについてのより正確な設定方法
や仕様・構成上のサポート範囲についてはVMware様、もしくはVMware販売
パートナー様にご確認ください。
※特にOVSDB VXLANについては、本資料作成時(NSX6.2.1を使用して構築)に於いては一般リリース
前機能による確認となっています。最新の情報、動作仕様、サポート状況などについてはVMware様
にご確認いただくことをお勧めいたします。
https://www.vmware.com/files/pdf/products/nsx/vmw-nsx-network-virtualization-design-guide.pdf
http://pubs.vmware.com/NSX-62/index.jsp?lang=ja

VMWARE NSXの概要

JuniperのSDN/SDDCへの2つのアプローチ
Open Source
• オープンソースによる汎用
化
• 多少のカスタマイズでオリ
ジナルなサービス化を展開
することが可能
Commercial Eco
System
• 商用SDNパッケージ
• 共通化されたサービス
• 限定されたカスタマイズ
• 手早くSDN/SDDC展開が
可能
DO IT YOURSELF
• 独自のオートメーション
ツールを開発
• 高い開発環境が必要
• オーダーメイドのサービス
を展開することが可能
JuniperはOpen Source系SDNコントローラー（Contrail/Open Contrail）を開
発しつつ、商用SDNパッケージ(VMware NSX)との連動にも重点をおくという、
2つのアプローチを同時に実施しています。

VMware NSXが実現するSDDCの世界とは、
VMware NSXとは、VMwareが提唱するSoftware Defined Data
Center(SDDC)を実現するためのネットワーク仮想化プラットフォームで、
これまでサーバーに提供されてきた仮想化テクノロジーによる様々なメリッ
トをデータセンターインフラストラクチャー全体に提供することを目的とし
たSDNソリューションです。
NSXによる”Network Hypervisor”により、Layer2~Layer7までの各種ネッ
トワークサービス（スイッチング、ルーティング、ファイアウォール、ロー
ドバランサーなど…）をソフトウェアによる仮想化によって提供することが
可能となり、物理ネットワークによる制限を受けること無く迅速なサービス
展開をデータセンターオペレーションに提供します。

VMware NSXのコンポーネントとアーキテクチャ
NSXは（一般的なネットワーク機器と同様に）管理プレーン、コントロールプ
レーン、データプレーンの3つの要素が独立して存在します。これにより必要
に応じた要素ごとのスケールアウトを実現するアーキテクチャとなっています。
データプレーン
コントロールプレーン
管理プレーン
・データプレーン
データプレーンの基本はvSphereで使用されているVDSをベースとしています。ここに
NSXのAdd-Onモジュール（VBI）がインストールされることにより、分散ルーティン
グ（DLR）、分散ファイアウォール（DFW)、VXLAN to VLANブリッジング、などの
NSXならではの各種ネットワークサービスが提供されるようになります。

・データプレーン（.cont)
また、ハイパーバイザーのカーネル上で提供される各種分散サービスの他にEdge
Service Gateway(ESG)と呼ばれるゲストサービス上で提供されるネットワークサービ
ス（ファイアウォール、VPN、ロードバランサーなど）も用意されています。
・コントロールプレーン
NSX ControllerとよばれるインスタンスがNSX全体のコントローラの役割を行い、複数
台（3台）のクラスター構成により冗長性が担保されます。また、これとは別にDLR
Control VMと呼ばれるDLRとESG間におけるルーティングプロトコルの管理を行うイン
スタンスもNSXコントロールプレーンの一部を担っています。
・管理プレーン
NSX ManagerとよばれるインスタンスがNSX全体の設定変更、状態監視、オーケスト
レーション部分を担います。構成の自動化を実現するためのREST APIによる外部APIを
提供するのもNSX Managerが提供するサービスのひとつとなっています。

これまでの説明で登場したコンポーネントの関連性をまとめると以下の様なイ
メージになります。
この資料ではNSXが提供するサービスネットワークを”オーバーレイ・ネット
ワーク”、その下で実データを転送するネットワークを”アンダーレイ・ネット
ワーク”と呼称し、区別して解説します。
データプレーン
コントロールプレーン
管理プレーン
アンダーレイ
ネットワーク
オーバーレイ
ネットワーク

VMware NSXのコンポーネント ”VXLAN”
オーバーレイ・ネットワークにおいてソフトウェアによる自由な管理・運用を
実現するためには、アンダーレイ・ネットワークの制限から解放されることが
必要で、そのためにNSXで使用されているテクノロジーがVXLANです。
VXLANはレイヤー2フレームをレイヤー3のプロトコルでカプセリングして転
送される業界標準のオーバーレイ・テクノロジーで、これによりVLAN IDの
制限（4095 VLAN)を越えたスケーラブルなレイヤー2ネットワークをレイ
ヤー3ネットワーク上に構成することが可能となります。
※NSXではUDPヘッダーの宛先ポート番号に
Draft時に割り当てられていた”8472”を使用
しています。
一方でRFC7348で定義されている、IANAに
よりアサインされたVXLAN UDPヘッダーの
宛先ポート番号は”4789”となっています。
http://tools.ietf.org/html/rfc7348#page-19.
このことがアンダーレイネットワークで問題
になる場合には、NSX ManagerのREST API
からVXLANで使用するUDPポート番号を変
更することが可能となっています。
また、Juniperのスイッチ・ルーターでは、
設定にてVXLANで使用するUDPポート番号
を8472に変更することも可能です。

VXLAN FRAME FORMAT
 VXLAN とは MACアドレスをUDPヘッダーでカプセリングするテクノロジー (MAC-in-UDP)
 VXLAN IDとしてVNIと呼ばれる 24-bit のセグメントIDを使用することが可能で、約16万ものIDを
クラウドDCに提供することが可能（これまでのVLAN IDの4095という制限から解放される）
 Layer2の情報がUDPによりカプセリングされて転送されるため、より拡張性のあるLayer3のネット
ワーク上にLayer2セグメントの拡張を展開することが可能
Original L2 Frame
OUTER
MAC
OUTER
IP
OUTER
UDP
VXLAN
Header
F
C
S
DEST MAC
SRC MAC
VLAN
(OPTIONAL)
ETH TYPE
0X0800
VERSION
ETC...
PROTO:
UDP
CKSUM
SRC IP:
MY VTEP
DST IP:
DEST VTEP
SOURCE
PORT
VXLAN
PORT
UDP
LENGTH
CHKSUM
0X0000
FLAGS
VNI
RESERVED
RESERVED
48
48
32
16
72
8
16
32
32
16
16
16
16
8
24
24
8
Ethernet Header
Destination Address – This is set to the
MAC address of the destination VTEP if it
is local of to that of the next hop device,
usually a router, when the destination
VTEP is on a different L3 network.
VLAN – This is optional
Ethertype – This is set to 0×0800 as the
payload packet is an IPv4 packet. IPv6 is
planned.
IP Header
Protocol – Set 0×11 to indicate that the
frame contains a UDP packet
Source IP – IP address of originating VTEP
Destination IP – IP address of target
VTEP. If this is not known, as in the case
of a target virtual machine that the VTEP
has not targeted before, a discovery
process needs to be done by originating
VTEP.
UDP Header
Source Port – Set by transmitting VTEP
VXLAN Port – IANA assigned VXLAN Port.
This has not been assigned yet
UDP Checksum – This should be set to
0×0000. If the checksum is not set to
0×0000 by the source VTEP, then the
receiving VTEP should verify the
checksum and if not correct, the frame
must be dropped and not decapsulated.
VXLAN Header
VXLAN Flags – Reserved bits set to
zero except bit 3, the I bit, which is set
to 1 to for a valid VNI
VNI – 24-bit field that is the VXLAN
Network Identifier
Reserved – A set of fields, 24 bits and
8 bits, that are reserved and set to
zero

VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLANOuter Eth Outer IP
THE PACKET WALK THROUGH
VXLANによるVM1 から VM4 への通信イメージ
VM1 VM2 VM3
VXLAN VTEP
vSwitch
Kernel IP Stack
VM4 VM5 VM6
VTEP
vSwitch
Kernel IP Stack
Step 2: VTEP モジュールがUDP/VXLANヘッダーで VM1 からのパケットをカプセリング
Step 1: VM1 がデータパケットをvSwitch経由で送信
IP Transport Network
Step 3: Kernel がRemote Hypervisor宛の Outer IP & Ethernet header を追加
Step 4: IP Packet が Remote Hypervisor へ到着
Step 5: IP header が取り除かれ、 UDP/VXLAN packet が VTEP まで到着
Step 6: VTEP が UDP/VXLAN header のカプセル化を取り除き、 VM1 からのパケット
が VM4 へ到着
VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN
VM1 TCPVM1 Eth VM1 App DataVM1 IP
VM1 TCPVM1 Eth VM1 App DataVM1 IPUDP VXLAN
VM1 TCPVM1 Eth VM1 App DataVM1 IP
Step 1:
Step 2:
Step 3-4:
Step 5:
Step 6:
1
2
3 4
5
6
ESXi-1 ESXi-2

VMware NSXのコンポーネント ”Logical Switch”
Logical SwitchはNSXがVXLANにより提供する、仮想のレイヤー2セグメント
で接続を提供するネットワークサービスです。これにより仮想マシンは物理的
な配置場所や物理的なネットワークデザインに制限されること無く、レイヤー
2での接続を提供されます。
Logical Switchは、仮想マシン同士のレイヤー2接続だけではなく、仮想マシ
ンと物理ネットワークとのレイヤー2接続を提供することも可能です。
アンダーレイ
ネットワーク
（L2ネットワークでも
L3ネットワークでも関係なく
動作）
オーバーレイ
ネットワーク
（VXLANオーバーレイテク
ノロジーによりL2セグメント
の仮想化を実現）

VMware NSXのコンポーネント ”Logical Switch”
それぞれ別のESXi上に存在している2台の仮想マシン同士がUnicast通信する
ことを考えると、各ハイパーバイザーが保持するIPアドレスがVXLANのVTEP
として制御され、該当のVTEP間でVXLANでカプセリングされたパケットの通
信が伝送されます。一方、仮想マシンがBUMトラフィック（Broadcast,
Unknown-Unicast, Multicast）を送信する場合には、必要な複数のハイパーバイ
ザーにパケットを複製して転送しなくてはなりません。
NSXではこのパケットの複製手法としてLogical Switch毎に設定可能な3つの
モードが用意されています。
＜マルチキャストモード＞※ ＜ユニキャストモード＞ ※ ＜ハイブリッドモード＞
※物理的なネットワークにより提供されるHW VTEPとLogical Switchを接続する場合には、パケットの複製モードに
マルチキャストモードかユニキャストモードを選ぶ必要があります。本資料ではマルチキャストモードとユニキャス
トモード(OVSDB)で接続を行う際のサンプルを提供しています。

VMware NSXのコンポーネント ”Logical Router”
Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグ
メント（Logical Switch）に配備されたエンドポイント同士をルーティングに
より接続します。Logical Routerによる主なサービスは、異なるLogical
Switchに接続されたエンドポイント（それが仮想であろうと物理であろう
と）同士を接続することとと、仮想空間にあるLogical Switchと物理空間にあ
る外部L3ネットワークとの接続させる、という2つの役割から構成されます。
アンダーレイ
ネットワーク
オーバーレイ
ネットワーク

Logical Routerはオーバーレイ・ネットワークにおける異なるレイヤー2セグ
メント（Logical Switch）に配備されたエンドポイント同士をルーティングに
より接続します。
Logical Routerによる主なサービスは、異なるLogical Switchに接続されたエ
ンドポイント（それが仮想であろうと物理であろうと）同士を接続する”East-
West”トラフィックを処理することと、仮想空間にあるLogical Switchと物理
空間にある外部L3ネットワークと接続させる”North-South”トラフィックを
処理する、という2つの役割から構成されています。
それぞれ2つのLogical Routerの役割
は、”Centralized Routing”、
”Distributed Routing”という2つの構
成オプションにより提供されます。

・Centralized Routing
Centralized RoutingはESGによりLogical Switchのルーティングを提供するデザインオ
プションです。Logical Switch間でのルーティングに際して、DHCPやNAT、Firewallや
Load Balancerなど各種サービスの提供を付加できることが特徴ですが、East-Westト
ラフィックの処理もESGにより中央集中化されるためパフォーマンスの最適化は求めら
れないデザインオプションとなります。
すべてのL3トラフィック
処理がESGで実施されるた
め、East-West通信はヘア
ピン型通信となる。

・Distributed Routing
Distributed Routingはハイパーバイザーレベルでルーティングサービス（Distributed
Logical Router ;DLR）を提供することによりより高いネットワークパフォーマンスを
提供するデザインオプションとなります。これによりEast-Westトラフィックの処理を
分散処理することによりパフォーマンスの最適化を図る事が可能となります。
South-Northトラフィック
のみがESGで処理され、
East-Westトラフィックは
DLRによりハイパーバイ
ザー上で分散処理される。

・Distributed Routing（.cont）
DLRはControl PlaneとData Planeの2つのコンポーネントから構成されます。
DLRのControl PlaneはDLR Control VMと呼ばれるゲストサービスにより構成されてお
り、Next-Hopルーター（ESGなど）とのダイナミックルーティングプロトコル（BGP,
OSPF）による経路情報の交換もサポートされ、これによりDLR内の経路情報を最新状
態にメンテナンスしています。
DLRのData PlaneはESXiにインストールされるVIB内にあるカーネルモジュールで、こ
れにより高速な分散ルーティングがハイパーバイザーレベルで実行されます。

VMware NSXのコンポーネント
”Edge Service Gateway(ESG)”
Edge Service Gateway（ESG）は、多種多様でステートフルなネットワーク
サービスを提供する仮想アプライアンスで、以下の様なサービスを提供するこ
とが可能です。
・Routing
・Network Address Translation（NAT)
・Firewall
・Load Balancing
・L2/L3 VPN
・SSL-VPN
・DHCP,DNS and IP Address Management
また、ESGによるRoutingサービスは、NSXによる仮想のオーバーレイ・ネッ
トワークと物理によるアンダーレイ・ネットワークの接続ポイントという役割
も担います。外部のネットワークとESGの間で各種ダイナミックルーティング
プロトコル（OSPF, iBGP, eBGPなど）で経路情報の受け渡しを行いつつルー
ティング接続を提供します。

”Edge Service Gateway(ESG)”
NSXにおけるESGのデザインはその目的や必要なパフォーマンスに応じて以下
のデザイン・オプションが提供されています。
・Active/Standbyモード
2台のESGにより各種ステータス情報の同期を取りつつ冗長性を提供するデザイン。
ESGにより提供されるすべての仮想ネットワークサービスを利用可能。
・ECMPモード
最大8台までのESGにより外部ネットワークとの広帯域接続と障害時におけるトラフィックへの
インパクトを最小限に抑えることが可能なデザイン。
ECMPモードの場合は使用できるネットワークサービスはRoutingのみに制限される。

”Distributed Firewall (DFW)”
NSX Distributed Firewall(DFW)は、ESXiのカーネル上で高速に動作するL2-
L4のステートフルファイアウォールです。
DFWのインスタンスは、仮想マシンのvNIC上に適用されて動作する形となる
ため、ワークロード間のトラフィック（仮想マシン間の通信でも、仮想マシン
と物理環境間の通信でも）に対してきめ細やかなトラフィック制御を提供でき
ます。

VMware NSX Overview
これまでの説明で登場したコンポーネントをまとめると以下の様な関係性にな
ります。これよりこれらを踏まえて各種ネットワークデザインを検討していき
ます。
アンダーレイ
ネットワーク
オーバーレイ
ネットワーク
Logical Switch
Logical Switch
Distributed Logical Router
(DLR)
Edge Service Gateway
(ESG)
NSX Manager
NSX Controller
VTEP
VXLAN Tunnel
Distributed Firewall
(DFW)

アンダーレイ・ネットワークの検討と構築

アンダーレイ・ネットワークの検討
VMware NSXを構成するにあたっては、オーバーレイ・ネットワークを動作
させるためのアンダーレイ・ネットワークが必要となります。
NSXのアンダーレイ・ネットワークに求められる要素は一般的に、
・高いパケット転送能力
・高帯域
・低遅延
・耐障害性
・拡張性
・ジャンボフレームの転送
・管理容易性
などがあり、それぞれの要件に応じたネットワークデザインが必要となります。
また、仮想サーバーを構築する際に物理ネットワークに要求されていたレイ
ヤー2での接続性は、NSXにおいてはVXLANにより構成されるLogical Switch
が提供する機能に包含されるため、アンダーレイでは特にレイヤー2ネット
ワークにこだわる必要が無い点も特徴です。

アンダーレイ・ネットワークの検討
ジュニパーのDCスイッチ・アーキテクチャでNSXと連動させる際には主に以
下3つの選択肢を提供することが可能で、それぞれ構成毎に応じた特徴が存在
しています。
Option-1.Ethernet Fabric
（Virtual Chassis Fabric ; VCF）
Option-2.IP Fabric
（Clos IP Fabric）
Option-3.IP Fabric w/ Ethernet Fabric
（Clos IP Fabric w/ VCF）
ジュニパーのEthernet Fabricを使用する
と、仮想的に一台のシャーシ型L2/L3ス
イッチとして動作するため、ある程度の規
模（VCFでは32メンバーまでを1つの論理
エンティティにすることが可能）までは低
い管理負荷でアンダーレイネットワークを
メンテナンスすることが可能。
IP Fabricを使用すると非常に大規模な
（実質的には制限のない）拡張性のある
ネットワーク構成を実現することが可能。
また、標準化技術のみを使用するデザイン
なので、マルチベンダーで構成できるとい
うメリットもある。一方でスイッチの管理
は個体ごとに必要となるので管理・運用性
はある程度犠牲となる。
Option-1とOption−2、両者の良い所をあ
る程度包含したデザイン。大規模な構成へ
の拡張性をできるだけ低い管理負荷で実現
することが可能。
※本資料ではOption-2とOption-3のハイブリッド構成を構築するサンプルを提供します。
BGP
BGP

ge-0/0/0,2
アンダーレイ・ネットワークのデザイン
＃Underlay Network Pane
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
本資料では以下の様な構成でアンダーレイ・ネットワークを構成する際のサン
プルを提供します。
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
＃Loopback Address
10.255.0.X/32
#Spine-Leaf Network Address
172.31.0.X/31
#QFX-ESXi Network Address
10.128.X.0/24
#Spine&Leaf Switch
QFX5100-48S
JUNOS 14.1X53-D31
eBGP
ge-0/0/0, ge-1/0/0
ge-0/0/4
ge-0/0/0
ge-0/0/8
ge-0/0/8, ge-1/0/8
ge-0/0/8
PIM

＃Management Network Pane
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.2/31 172.31.0.0/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
管理セグメントおよびホスト名は以下の様な形で構成しています。
10.128.1.0/24
Stinger
10.0.0.21
Atlas
10.0.0.3
Gibson
10.0.0.22
Martini
10.0.0.23
Calvin
10.0.0.24
Hermes
10.0.0.1
Tiny
10.0.0.50
Calypso
10.0.0.2
10.0.0.0/24
#Management Network Address
10.0.0.0/24
ManagementVDS

アンダーレイ・ネットワークの構築
＃Spine Switch (Hermes)の設定
set system host-name HERMES_SPINE
set system commit synchronize
set chassis redundancy graceful-switchover
set chassis aggregated-devices ethernet device-count 1
set interfaces ge-0/0/0 ether-options 802.3ad ae0
set interfaces ge-0/0/4 description toATLAS_LEAF
set interfaces ge-0/0/4 mtu 9014
set interfaces ge-0/0/4 unit 0 family inet address 172.31.0.2/31
set interfaces ae0 description toCALYPSO_LEAF
set interfaces ae0 mtu 9014
set interfaces ae0 unit 0 family inet address 172.31.0.0/31
set interfaces lo0 unit 0 family inet address 10.255.0.1/32 primary
set interfaces lo0 unit 0 family inet address 10.255.0.254/32
set interfaces vme unit 0 family inet address 10.0.0.1/24
set routing-options nonstop-routing
set routing-options router-id 10.255.0.1
set routing-options autonomous-system 65000
set routing-options forwarding-table export PFE-LB
set protocols bgp log-updown
set protocols bgp import BGP-CLOS-IN
set protocols bgp export BGP-CLOS-OUT
set protocols bgp graceful-restart
set protocols bgp group CLOS type external
set protocols bgp group CLOS mtu-discovery
set protocols bgp group CLOS bfd-liveness-detection minimum-interval 350
set protocols bgp group CLOS bfd-liveness-detection multiplier 3
set protocols bgp group CLOS bfd-liveness-detection session-mode single-hop
set protocols bgp group CLOS multipath multiple-as
set protocols bgp group CLOS neighbor 172.31.0.1 peer-as 65011
set protocols pim rp local address 10.255.0.254
set protocols pim interface lo0.0 mode sparse
set protocols pim interface ae0.0 mode sparse
set protocols pim interface ge-0/0/4.0 mode sparse

＃Spine Switch (Hermes)の設定（.cont）
set protocols layer2-control nonstop-bridging
set policy-options policy-statement BGP-CLOS-IN term loopback from route-filter 10.255.0.0/16 orlonger
set policy-options policy-statement BGP-CLOS-IN term loopback then accept
set policy-options policy-statement BGP-CLOS-IN term server-l3-gw from route-filter 10.128.0.0/16 orlonger
set policy-options policy-statement BGP-CLOS-IN term server-l3-gw then accept
set policy-options policy-statement BGP-CLOS-IN term reject then reject
set policy-options policy-statement BGP-CLOS-OUT term loopback from protocol direct
set policy-options policy-statement BGP-CLOS-OUT term loopback from route-filter 10.255.0.0/16 orlonger
set policy-options policy-statement BGP-CLOS-OUT term loopback then next-hop self
set policy-options policy-statement BGP-CLOS-OUT term loopback then accept
set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from protocol direct
set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw from route-filter 10.128.0.0/16 orlonger
set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then next-hop self
set policy-options policy-statement BGP-CLOS-OUT term server-l3-gw then accept
set policy-options policy-statement PFE-LB then load-balance per-packet
set policy-options policy-statement distribute-default from route-filter 0.0.0.0/0 exact
set policy-options policy-statement distribute-default then accept

＃Leaf Switch (Calypso)の設定
set system host-name CALYPSO_LEAF
set interfaces ae0 description toHERMES_SPINE
set interfaces ae0 unit 0 family inet address 172.31.0.1/31
set routing-options router-id 10.255.0.2
set protocols bgp import BGP-CLOS-OUT
set protocols pim rp static address 10.255.0.254

＃Leaf Switch (Calypso)の設定（.cont）

＃Leaf Switch (Atlas)の設定
set system host-name ATLAS_LEAF
set interfaces ge-0/0/0 description LEAFtoSPINE
set interfaces ge-0/0/0 description toHERMES_SPINE
set interfaces ge-0/0/0 unit 0 family inet address 172.31.0.3/31
set protocols bgp import BGP-CLOS-OUT
set protocols pim rp static address 10.255.0.254

＃Leaf Switch (Atlas)の設定（.cont）

＃Underlay Network の確認
以下のようにeBGPで各スイッチのLoopback Addressを学習し、PIM
Neighborが確立されていることを確認したら、NSXを構築するための準備は
完了です。
root@HERMES_SPINE> show route protocol bgp
inet.0: 18 destinations, 19 routes (18 active, 0 holddown, 0 hidden)
+ = Active Route, - = Last Active, * = Both
10.128.2.0/24 *[BGP/170] 02:15:55, localpref 100
AS path: 65011 I, validation-state: unverified
> to 172.31.0.1 via ae0.0
10.128.3.0/24 *[BGP/170] 02:15:11, localpref 100
> to 172.31.0.3 via ge-0/0/4.0
10.255.0.2/32 *[BGP/170] 02:15:55, localpref 100
> to 172.31.0.1 via ae0.0
10.255.0.3/32 *[BGP/170] 02:15:11, localpref 100
> to 172.31.0.3 via ge-0/0/4.0
root@HERMES_SPINE> show pim neighbors
B = Bidirectional Capable, G = Generation Identifier
H = Hello Option Holdtime, L = Hello Option LAN Prune Delay,
P = Hello Option DR Priority, T = Tracking Bit
Instance: PIM.master
Interface IP V Mode Option Uptime Neighbor addr
ae0.0 4 2 HPLGT 03:22:33 172.31.0.1
ge-0/0/4.0 4 2 HPLGT 03:22:32 172.31.0.3

＃Clos IP Fabricの詳しい概念、設定詳細については以下のWhite Paperを参照
してください。
http://www.juniper.net/us/en/local/pdf/whitepapers/
2000565-en.pdf
・Googleで “QFX5100 IP Fabric” と検索すればTop Hitで
出てきます。
Clos IP Fabric with QFX5100 Switches
ベストプラクティス + 構成例 + 設定例

NSXの構築

NSXの構築
前提として、以下の環境が構築済みであることとします。
 VMware 環境
 vCenter Server 6.0.0
 VMware ESXi 6.0.0 update1(3073146)
 Datacenter/Cluster構成
 ManagementCluster
– NSX Manager, vCenter等が動作するクラスタ
– 今回は1台で構成(stinger)
 EdgeCluster
– NSX Edge Gateway等が動作するクラスタ
– 今回は1台で構成(gibson)
 ComputeCluster
– 通常のVM(サーバ等)が動作するクラスタ
– 今回は2台で構成(martini, calvin)

NSXの構築
（.cont）
 Network構成
 以下のvDSが構成されていること
– ManagementVDS
- 全ESXiの管理ネットワーク
– NSXVDS
- EdgeCluster, ComputeClusterのアンダーレイネットワーク
– UplinkVDS
- EdgeClusterが外部ネットワークと接続するためのネットワーク

VDS Network Design
Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
192.168.255.254
192.168.255.0/24
NSXVDS
UplinkVDS
ManagementVDS

NSXの構築
NSX ManagerのOVAファイルをデプロイします。

NSXの構築

NSXの構築
NSX ManagerのVM名を指定します。

NSXの構築
NSX Managerのデプロイ先クラスタを指定します。

NSXの構築
NSX Managerのデプロイ先ESXiホストを指定します。

NSXの構築
NSX Managerのディスクのプロビジョニング方法を指定します。

NSXの構築
IPアドレスやパスワード等、NSX Managerの基本設定を行います。

NSXの構築
各種設定が完了正しい事を完了して、デプロイを開始します。

NSXの構築
インストールが完了したら、ブラウザでNSX Managerにログインします。

NSXの構築
ログイン後、Manage Appliance Settingsをクリックします。

NSXの構築
必要に応じて初期設定を行います。

NSXの構築
NSX Management Serviceタブを開き、vCenter Serverを指定します。

NSXの構築
証明書の確認画面が出るので、Yesを選択します。

NSXの構築
正常に接続されると、StatusがConnectedになります。

NSXの構築
しばらくするとvSphere Web Clientに現れる、NSXの設定画面に移動します。

NSXの構築
Installationタブを開き、Controller Nodeを追加します。

NSXの構築
デプロイ先のクラスタやデータストアなど、必要な項目を入力します。

NSXの構築
Controller Nodeとの接続に使用する管理ネットワークを選択します。

NSXの構築
Controller Nodeが使用するIPアドレスプールを作成し、選択します。

NSXの構築
全ての必須項目を入力したら、OKを押します。

NSXの構築
StatusがConnectedになったら以上の手順を繰り返し、合計3台デプロイします。

NSXの構築
Host Preparationタブに移動し、NSXを使用するクラスタに対してNSX VBI
をインストールします。

NSXの構築
インストールが完了すると、バージョン情報とFirewall statusが表示されます。

NSXの構築
VXLANの初期設定を行います。”Not Configured”をクリックすると、設定画
面が開きます。

NSXの構築
ここでは、VXLANの転送に使用するVDS, VLAN ID, MTU, アドレス採番方式、
NICのチーミングポリシーを設定します。
ここで設定した内容は、クラスタ内の全てのノードに等しく適用されることに注意
が必要です。
今回のように、クラスタ内のホストが別々のL3セグメントに存在しうる場合、
DHCPを使用するか、この画面で設定を行った後に手動で各ESXiホストのvmknic
のアドレスを変更する必要があります。(今回はDHCPを使用します)
チーミングポリシーに関しては、クラスタ内の全てのホスト間で必ず同一の設定と
する必要があります。

NSXの構築
QFXにおけるDCHPサービスとPIMの設定
（この設定によりESXiにIPアドレスを付与します。）
＃Spine Switch (Hermes)の設定
set system services dhcp-local-server group SV-GROUP interface irb.4000
set interfaces ge-0/0/8 description toGIBSON_ESXi
set interfaces ge-0/0/8 unit 0 family ethernet-switching interface-mode access
set interfaces ge-0/0/8 unit 0 family ethernet-switching vlan members SERVERS
set access address-assignment pool SV-POOL family inet network 10.128.1.0/24
set access address-assignment pool SV-POOL family inet range SV-RANGE low 10.128.1.10
set access address-assignment pool SV-POOL family inet range SV-RANGE high 10.128.1.20
set access address-assignment pool SV-POOL family inet dhcp-attributes router 10.128.1.254
set vlans SERVERS vlan-id 4000
set vlans SERVERS l3-interface irb.4000
set protocols pim interface irb.4000 mode sparse
set interfaces ae1 description toCALVIN_ESXi
set interfaces ae1 unit 0 family ethernet-switching interface-mode access
set interfaces ae1 unit 0 family ethernet-switching vlan members SERVERS

NSXの構築
(.cont)
set interfaces ge-0/0/8 description toMARTINI_ESXi
set interfaces ge-0/0/8 unit 0 family ethernet-switching interface-mode access
set interfaces ge-0/0/8 unit 0 family ethernet-switching vlan members SERVERS

NSXの構築
全てのクラスタで設定が完了すると、VXLANがConfiguredの状態になります。

NSXの構築
続いて、Logical Network Preparationタブを開き、VXLANで使用するパラ
メータを設定していきます。

NSXの構築
ここでは、VXLANで使用するSegment ID(VNI: VXLAN ID)と、それに対応
するマルチキャストアドレスを設定します。
今回はMulticast VXLANも使用していきますので、Segment IDとMulticast
Addressをそれぞれ入力します。

NSXの構築
Transport Zonesタブに移動し、転送ゾーンを作成します。

NSXの構築
転送ゾーンは、VXLANによる仮想ネットワークにアクセスできるクラスタごとに
作成するゾーンです。今回は、全てのクラスタから全ての仮想ネットワークにアク
セスさせるため、1つの転送ゾーンに全てのクラスタを追加します。
また、BUMトラフィックのレプリケーション方式として、Multicastを選択します。
（この部分は、Logical Switch毎に変更することも可能です。）

NSXの構築
作成が完了したら、Logical Switchを作成していきます。

NSXの構築
Logical Switchは、VXLANの1つのVNIにマップされるL2セグメントです。
(従来のネットワークにおけるVLANに相当)
ここでは、Multicast VXLANを使用した2つのLogical Switch “LS1”と”LS2”
を作成します。

NSXの構築
作成が完了すると、Logical Switchが一覧に追加されます。各Logical Switch
に紐付けられているSegment ID(VNI)とMulticast Addressを確認しておきま
す。

NSXの構築
各Logical SwitchにVMを接続していきます。ここでは、martini-vm1と
calvin-vm1をLS1に、martini-vm2とcalvin-vm2をLS2に参加させます。

オーバーレイ・ネットワークのデザイン
＃Overlay Network Pane
Spine
ESXi
(Management)
ESXi
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
vCenter NSX
Manager
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
NSX
Controller
NSX
Controller
NSX
Controller
VTEP
VXLAN Tunnel
ここまでの設定で、以下のようなL2のオーバーレイ・ネットワークが構成されています。

ESXi
(Edge GW)
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
仮想ネットワークの構成
＃Logical View
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
.3 .3 .4 .4
この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。

同一Logical Switchに収容された別のVMに対して到達性があることを確認します。
また、異なるLogical Switchに収容されたVMに対しては到達性がないことを確認
します。

NSXの構築
続いて、各Logical Switch間を分散仮想ルータで接続していきます。NSX
Edgesタブに移動し、追加ボタンを選択します。

NSXの構築
Logical Distributed Routerを選択し、名前とデプロイの種類を決定します。

NSXの構築
管理VMの管理ユーザとロギングの設定を行います。

NSXの構築
デプロイ先のデータセンタを選択し、追加ボタンを選択します。

NSXの構築
デプロイ先のクラスタとハードウェアを選択します。

NSXの構築
選択した内容が反映されていることを確認し、次に進みます。

NSXの構築
HAのハートビート等に使用するインターフェイスを指定します。

NSXの構築
各Logical Switchに対するインターフェイスを追加します。

NSXの構築
必要な全てのLogical Switchに対してインターフェイスを追加して、次に進み
ます。

NSXの構築
現時点では外部接続を行わないため、何も設定せずに次に進みます。

NSXの構築
設定が正しく反映されていることを確認し、完了します。

ESXi
(Edge GW)
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
＃Logical View
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
(Distributed Logical Router)
.254.254
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
.3 .3 .4 .4
この時点で、Overlay Network上の各論理ネットワーク接続はこのようになっています。

異なるロジカルスイッチに収容されたホスト間で疎通が取れるようになったこ
とを確認します。

NSXの構築
続いて、これまで構築してきた仮想ネットワークを、外部の物理ネットワーク
と接続します。分散仮想ルータとEdge GWをつなぐための新規Logical
Switchを作成します。

NSXの構築
NSX Edgesタブに移動し、追加ボタンを選択します。

NSXの構築
Edge Service Gatewayを選択し、名前とデプロイの種類を決定します。

NSXの構築
ESGの管理ユーザとロギングの設定を行います。

NSXの構築
デプロイ先のデータセンタとESGのサイズを選択し、追加ボタンを選択します。

NSXの構築
デプロイ先のクラスタとデータストアを選択します。

NSXの構築
選択した内容が反映されていることを確認し、次へ進みます。

NSXの構築
続いて、ネットワークインターフェイスを追加します。

NSXの構築
外部と接続するネットワーク(Uplink)を追加します。

NSXの構築
Edge GWと分散仮想ルータを接続するためのネットワークを追加します。

NSXの構築
全てのインターフェイスが正しく追加されたことを確認し、次へ進みます。

NSXの構築
後ほどルーティングプロトコルの設定を行いますので、Default GWの設定は
スキップします。

NSXの構築
デフォルトのFW設定と、H/Aの通信に使用するインターフェイスを選択します。

NSXの構築
最後に、全ての設定を確認し、完了します。

NSXの構築
暫くすると、Edge GWがデプロイされます。続いて、LDRをダブルクリック
します。

NSXの構築
分散仮想ルータの設定画面が開くので、インターフェイスの追加を行います。

NSXの構築
分散仮想ルータとEdge GWを接続するインターフェイスの設定を行います。

NSXの構築
続いてRoutingタブに移り、ルーティングプロトコルの設定を行います。

NSXの構築
ダイナミックルーティングプロトコルで使用するRouter IDを選択します。

NSXの構築
変更を適用します。(各ページ毎に適用しなければならないことに注意が必要
です)

NSXの構築
今回はBGPを使用して分散仮想ルータとESGを接続します。BGPタブに移動し、
Editを選択します。

NSXの構築
BGPを有効化し、AS番号を設定します。

NSXの構築
続いて、BGPネイバーを追加します。

NSXの構築
BGPネイバーに関連する設定を行います。

NSXの構築
経路フィルタの追加を行います。今回は、In/Outともに全てを許可します。

NSXの構築
設定が完了したら、設定を反映します。

NSXの構築
続いて経路の再配送を設定します。BGPに対する再配送を有効にします。

NSXの構築
再配送のルールを設定します。今回は、Connected経路をBGPに再配送する
設定を行います。

NSXの構築
設定が正しい事を確認し、設定を反映します。

NSXの構築
続いて、Edge GW側でもBGPの設定を行っていきます。Edge GWをダブルク
リックします。

NSXの構築
Routingタブを開き、Router IDを選択します。

NSXの構築
設定の反映を行います。

NSXの構築
BGPタブに移動し、BGPの有効化とAS番号の設定を行います。

NSXの構築
続いて、BGPネイバーの追加を行います。

NSXの構築
分散仮想ルータに対するBGPネイバーの設定を行います。

NSXの構築
経路フィルタの追加を行います。こちらも、In/Outともに全てを許可します。

NSXの構築

NSXの構築
続いて経路の再配送を設定します。BGPに対する再配送を有効にします。

NSXの構築
再配送のルールを設定します。Connected経路をBGPに再配送する設定を行います。

NSXの構築

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
vCenter NSX
Manager
NSX
Edge SG
NSX
Edge SG
martini
VM1
martini
VM2
calvin
VM3
calvin
VM4
NSX
Controller
NSX
Controller
NSX
Controller
VTEP
VXLAN Tunnel
ここまでの設定で以下のようなオーバーレイ・ネットワークが構成されています。
DLR
Control
DLR
Control

vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
＃Logical View
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
ESXi
(Edge GW)
192.168.0.0/24
.254
.254.254
.1
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
.3 .3 .4 .4
BGP Neighbor
Overlay Network上の各論理ネットワーク接続はこのようになっています。
NSX
Edge SG
NSX
Edge SG
192.168.255.254
Physical Network
192.168.255.0/24
.1
DLR
Control
DLR
Control
.2

vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
仮想ネットワークの動作確認
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
ESXi
(Edge GW)
192.168.0.0/24
.254
.254.254
.253
VM1からの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認します。
＃Logical View
BGP Neighbor
NSX
Edge SG
NSX
Edge SG
192.168.255.254
Physical Network
192.168.255.0/24
.1
DLR
Control
DLR
Control
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
.3 .3 .4 .4
.2

正しく通信が行えていることがわかります。

DFWの設定
Distributed Firewallは、NSXのFirewallタブ及びService Composerタブで設
定を行います。
一般的なファイアウォールのように、IPアドレスなどをベースにした設定でも
動作しますが、より柔軟にファイアウォールを適用するために、VMの情報を
元にしたルールを記述する事が可能です。
今回は、VM名の末尾が”vm2”で終わるVMに対して適用されるルールを作成し、
全てのホストからICMP接続を禁止する設定を行います。
xxx-
VM1
xxx-
VM2
xxx-
VM3
yyy-
VM1
yyy-
VM2
yyy-
VM3
Any
ICMP

DFWの設定
Service Composerタブに移動します。この画面では、セキュリティグループ
を定義します。

DFWの設定
名前を入力します

DFWの設定
動的にマッチさせる項目と値を設定します。ここでは例として、VM名の末尾
がvm2であるという条件を設定します。

DFWの設定
静的に(必ず)含めたいVMなどを選択します。今回は何も選択せずに次に進みます。

DFWの設定
必ず除外したいVMなどを選択します。こちらも今回は何も選択せずに次へ進みます。

DFWの設定
内容が正しいことを確認して、完了します。

DFWの設定
作成が完了すると、一覧に作成した項目が現れます。Virtual Machinesの数字
をクリックするとそのセキュリティグループに含まれるVM一覧が表示されま
す。

DFWの設定
作成したセキュリティグループを右クリックして、Apply Policyを選択します。

DFWの設定
適用先のセキュリティポリシーが表示されます。今回はまだ作成していません
ので、New Security Policyを選択します。

DFWの設定
セキュリティポリシーの作成ウィザードが表示されます。名前を入力します。

DFWの設定
Guest Introspection Servicesは設定せずに次に進みます。

DFWの設定
ファイアウォールルールを設定します。ここでは、セキュリティグループ宛の
ICMP EchoをBlockします。

DFWの設定
設定した内容が正しく表示されていることを確認して、完了します。

DFWの設定
Firewallタブに移動すると、先ほど設定した内容が反映されています。
Destinationのグループをクリックすると、実際に適用されるVMの一覧が確認
できます。

vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
DFWの動作確認
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
ESXi
(Edge GW)
192.168.0.0/24
.254.254
.254.254
.253
DFWの設定を行うことで各VM同士の通信がHypervisorのカーネル上で遮断されることを確認します。
＃Logical View
BGP Neighbor
NSX
Edge SG
NSX
Edge SG
Physical Network
192.168.255.254
192.168.255.0/24
DLR
Control
DLR
Control
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24 Distributed FW192.168.2.0/24
Distributed FW192.168.1.0/24
.3 .3 .4 .4

DFWの動作確認
パケットが通らないことが確認できます。

DFWの設定
後の検証でICMP Echoを使いますので、動作を確認したら作成したSecurity
Policyは削除しておきます。

vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
ESG LBサービスの設定
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
ESXi
(Edge GW)
192.168.0.0/24
Physical Network
192.168.255.0/24
192.168.255.1
.254.254
.254.254
.253
ESGのLoad Balancerサービスを有効化することにより、サーバー負荷分散サービスが提供されることを確認します。
＃Logical View
BGP Neighbor
NSX
Edge SG
NSX
Edge SGDLR
Control
DLR
Control
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
.3 .3 .4 .4

Load balancerを設定します。Edge GWのLoad balancerタブに移動します。

Editを押し、Load balancerを有効化します。

Application Profilesに移動し、LBを適用するアプリケーションを定義します。

サービスの設定を行います。今回はHTTPをロードバランスします。

続いて、Poolタブに移動し、サーバのプールを定義します。

サーバプールを定義します。負荷分散の方式と監視の方式を設定します。

サーバプールに追加するメンバーを選択します。今回はCompute Clusterの
全てのVMを追加するため、ComputeClusterを選択します。

ESG LBサービスの設定(おまけ)
先ほどDFWの紹介で作成したSecurity Groupも対象として選択が可能です。
これにより、FWと一貫性を持ったLBの設定が可能です。

仮想サーバの設定を行います。この設定を行う事で、Edge GWがLBとして動
作します。

作成したプロファイルやプール、Edge GWが待ち受けるIPアドレスなどを設定し
ます。

ESG LBサービスの確認
設定が正しく完了すると、Edge GW宛のHTTPリクエストが各サーバにロー
ドバランスされるようになります。
※注意：検証環境においてはこの構成で問題なく動作出来ていますが、VMware社としては、DLR越しのLB構成は非推奨構成とのことです。

HW VTEPとの連携：L2 GATEWAY

Hardware VTEPのUse Case
ジュニパーではNSXと連動可能なHW VTEPとして、L2での接続を提供するL2
SDN Gateway （QFX5100シリーズ）、およびL2/L3/DCIでのHW VTEP接
続を提供するUniversal SDN Gateway（MX/EX9200シリーズ）の2種類を用
意しています。
Layer 2
SDN Gateway
QFX5100 series
あらゆるFabricトポロジに対応
VC – VCF – CLOS IP Fabric
VMware NSXのHW VTEPとして
L2連携
QFX5100 series
MX & EX9200 Series
Virtual Chassisによる仮想統合
VMware NSXのHW VTEPとして
L2/L3、及びMPLSで連携
Universal
SDN Gateway
MX series EX9200 series

NSXのデザインを考慮するにあたって、検討する必要があるのが仮想ネット
ワーク空間と物理環境の橋渡しについてです。
Virtual
Network
Physical
Environment
NSX Edgeサービスにより物理ネットワークとのL2/L3接続が提供されますが、
既存環境とのより高い帯域・パフォーマンスでの接続、より高い拡張性、より
高速なHA機能などが必要な場合にはHW VTEPとの連動で実現が可能です。
NSX Edge Service Gateway
Layer2 Bridging/Routing Service
Hardware VTEP
L2/L3 Gateway
Physical Server & Storage Physical Firewall & Load balancer
or

 アクセススイッチでNSX L2
Gateway （HW VTEP）として動作
 必要に応じて、ベアメタルサーバー
とNSX配下の仮想サーバー間の
VXLAN接続をスイッチが提供
物理サーバーとの接続
Bare
Metal
Server
Virtual
Network
Infrastructure as a Service
 NSX のL2 ゲートウェイをエッジ・
ルーターが実行
 テナント（特定VXLAN）ごとのポ
リシーに応じた柔軟な接続を提供
Virtual
Network
Physical
Network

Hardware VTEPの統合
NSXの仮想ネットワークとHW VTEPを接続するためには、VXLAN環境におけ
るBUMトラフィックのReplicationに応じた設定をアンダーレイ・ネットワー
クとNSX間で合わせて行う必要があり、ジュニパーのデバイスでは
Multicast−VXLANかOVSDB−VXLAN、2種類の方法でNSXと接続することが
可能です。それぞれの特徴は以下のとおり。
※OVSDB-VXLANはNSX6.2.3より正式にサポートが追加される予定の新しい機能です。
本資料ではNSX6.2.1で動作検証をしています。
Multicast-VXLAN OVSDB-VXLAN
BUMトラフィックはMulticastルーティングにより
Rendezvous Point(RP)がパケットの複製を行う
（デメリット）
・アンダーレイでマルチキャストルーティングが必要
・NSX Managerから物理ネットワークの設定変更が不可
（構成変更時には物理ネットワークの設定が個別に必要）
（メリット）
・DLRによるDistributed Routingとの共存が可能
（ただしLayer2スイッチングのみサポート）
・証明書の管理は不要
BUMトラフィックはNSXコントローラが制御を行い、
代表ノードが各VTEPへパケットの転送を行う
（メリット）
・アンダーレイでマルチキャストルーティングは不要
・NSX Managerから物理ネットワークの設定変更が可能
（ただしLayer2設定のみサポート）
（デメリット）
・DLRによるDistributed Routingとの併用が不可
（DLRなしのCentralized Routingのみサポート）
・ネットワークデバイス毎の証明書の管理が必要

Multicast-VXLANの設定
まずは、Multicast-VXLANを用いて、Logical SwitchをHW VTEP経由で物理
ネットワークと接続します。
NSXでMulticast VXLANを使用する準備はこれまでの手順で整っていますので、
L2 VTEPに対してMulticast VXLANの設定を行っていきます。

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
アンダーレイを構成するスイッチでMulticast VXLANを有効にし、VXLANと
物理ネットワークをL2接続します。
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
#Spine&Leaf Switch
QFX5100-48S
JUNOS 14.1X53-D31
＃Loopback Address
10.255.0.X/32
172.31.0.X/31
10.128.X.0/24
EX3300
(Baremetal)
eBGP
PIM

NSXの構築
VMware NSXのLogical Switch画面にて、Logical SwitchごとのSegment
ID(VNI)と、Multicast Groupを確認します。
今回の例では以下の通りです。
 LS1
 Segment ID: 5000
 Multicast Group: 239.0.1.0
 LS2
 Segment ID: 5001
 Multicast Group: 239.0.1.1

# VXLANのDestination UDPポートを8472に変更
set protocols l2-learning destination-udp-port 8472
# VXLANのTunnel Endpointとしてlo0.0を指定
set switch-options vtep-source-interface lo0.0
# VXLANと接続するVLANを作成
set vlans LS1 vlan-id 1000
set vlans LS1 vxlan vni 5000
set vlans LS1 vxlan multicast-group 239.0.1.0
set vlans LS2 vlan-id 1001
set vlans LS2 vxlan vni 5001
set vlans LS2 vxlan multicast-group 239.0.1.1
# インターフェイスにVXLANと接続されたVLANを設定
set interfaces ge-0/0/16 unit 0 family ethernet-switching interface-mode trunk
set interfaces ge-0/0/16 unit 0 family ethernet-switching vlan members LS1
set interfaces ge-0/0/16 unit 0 family ethernet-switching vlan members LS2

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
vCenter NSX
Manager
NSX
Edge SG
NSX
Edge SG
NSX
Controller
NSX
Controller
NSX
Controller
VTEP
VXLAN Tunnel
ここまでの設定で以下のようにHW VTEPを含めたオーバーレイ・ネットワークが構成されています。
EX3300
(Baremetal)
HW-VTEP
DLR
Control
DLR
Control
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2

VXLAN動作の確認
＃Leaf Switch (Atlas)で以下のコマンドを用いることで、VXLANの動作状況が確認可能です。
root@ATLAS> show ethernet-switching vxlan-tunnel-
end-point remote
Logical System Name Id SVTEP-IP IFL L3-Idx
<default> 0 10.255.0.3 lo0.0 0
RVTEP-IP IFL-Idx NH-Id
10.128.1.10 559 1744
VNID MC-Group-IP
5001 239.0.1.1
5000 239.0.1.0
10.128.2.10 562 1754
VNID MC-Group-IP
5001 239.0.1.1
5000 239.0.1.0
10.128.3.10 561 1755
VNID MC-Group-IP
5001 239.0.1.1
5000 239.0.1.0
root@ATLAS> ...vxlan-tunnel-end-point remote mac-table
MAC flags (S -static MAC, D -dynamic MAC, L -locally
learned, C -Control MAC
SE -Statistics enabled, NM -Non configured
MAC, R -Remote PE MAC)
Logical system : <default>
Routing instance : default-switch
Bridging domain : LS1+1000, VLAN : 1000, VNID : 5000
MAC MAC Logical Remote VTEP
address flags interface IP address
00:50:56:f7:f6:4a D vtep.32769 10.128.1.10
02:50:56:56:44:52 D vtep.32769 10.128.1.10
MAC flags (S -static MAC, D -dynamic MAC, L -locally
learned, C -Control MAC
SE -Statistics enabled, NM -Non configured
MAC, R -Remote PE MAC)
Bridging domain : LS2+1001, VLAN : 1001, VNID : 5001
MAC MAC Logical Remote VTEP
address flags interface IP address
00:50:56:f7:f6:4a D vtep.32769 10.128.1.10
02:50:56:56:44:52 D vtep.32769 10.128.1.10

EX3300
(Baremetal)
vCenter NSX
Manager
NSX
Controller
NSX
Controller
NSX
Controller
＃Logical View
Spine
ESXi
(Management)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
10.128.1.0/24
DLR
ESXi
(Edge GW)
192.168.0.0/24
.254
.254.254
.253
BGP Neighbor
NSX
Edge SG
NSX
Edge SG
192.168.255.1
Physical Network
192.168.255.0/24
.254
Physical Network
.100 .100
VM1からHW VTEPの先の物理ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで
実現されることをICMPで確認します。
DLR
Control
DLR
Control
Logical Switch 1
Logical Switch 2
martini
VM1
martini
VM2
calvin
VM1
calvin
VM2
192.168.1.0/24
192.168.2.0/24
L2 HW VTEPによるブリッジング
.3 .3 .4 .4

分散仮想ルーター（DLR）の仕様制限
仮想ネットワークと物理ネットワークが接続されましたので、物理ネットワー
クのサーバからもL3通信を行いたいと考えるのは当然のことです。
ただし物理ネットワークからVMware NSXの分散仮想ルーターをL3ゲート
ウェイとして使用する事はできません。これは分散仮想ルーターが物理ネット
ワークからのARPリクエストに対して応答を行わない仕様によるものです。
仮想ネットワーク側からARPリクエストがVXLANに飛ぶタイミングにおいて、
一時的に物理ネットワーク側でARPが学習されるタイミングがあり、そのタイ
ミングにおいてのみL3通信が可能となりますが、一度物理サーバのARPテー
ブルからエージアウトすると、通信が不可能となります。
これは現時点でのVMware NSXの仕様となりますので、物理ネットワークの
サーバも含めたL3通信を行いたい場合は、Edge GWを使用するか、物理ルー
ターでL3ルーティングを行うデザインを検討する必要があります。
DLR
Virtual
Machine
Baremetal Server
Hypervisor（ESXi)
ARP Request
ARP Request
ARP ReplyNO Reply

OVSDB-VXLANの設定
次に、OVSDBを使用してNSXの仮想ネットワークとQFX配下の物理ネット
ワークを接続してみます。
OVSDBを使用するにあたっては、以下の設定を行う必要があります。
 VXLANで使用するポート番号の変更
 OVSDBで使用する証明書の発行と配置
 L2 Gatewayに対するOVSDB設定の投入
 NSXに対するHardware VTEPの設定
 Unicast VXLANを用いたLogical Switchの作成
 Logical SwitchとL2 Gatewayポートのマッピング

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
アンダーレイを構成するスイッチでOVSDBを動作させて、
スイッチとNSX Controllerを接続します。
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
＃Loopback Address
10.255.0.X/32
172.31.0.X/31
10.128.X.0/24
#Spine&Leaf Switch
QFX5100-48S
JUNOS 14.1X53-D31
NSX
Controller
NSX
Controller
NSX
Controller
EX3300
(Baremetal)
eBGP

OVSDBの事前準備
＃VXLANポート番号の変更
OVSDBを使用する場合、NSXはVXLANのポート番号をNSXデフォルトの
8472から、標準ベースの4789に変更することを要求します。
NSX Managerに対してREST APIリクエストを行う事により、この設定の変更
が可能です。
例えばLinux/curlを用いる場合、以下のようにしてポート番号を変更します。
# 変更リクエスト
$ curl -u admin -k -X PUT https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port/4789
Enter host password for user 'admin': (password)
jobdata-4446%
# 変更結果の確認
$ curl -u admin -k https://nsxmanager.juniper.local/api/2.0/vdn/config/vxlan/udp/port
Enter host password for user 'admin': (password)
<?xml version="1.0" encoding="UTF-8"?>
<int>4789</int>%

＃VXLANポート番号の変更
VXLANのポート番号を変更した場合、Multicast VXLANの設定を行っている
既存のスイッチについて、ポート番号をデフォルトに戻す必要があります。
# VXLANのDestination UDPポートをデフォルトに戻す
delete protocols l2-learning destination-udp-port

＃証明書の発行
OVSDBを使用したL2 VTEPを構成する場合には、NSX Controllerが物理ス
イッチを識別するための証明書と秘密鍵を発行する必要があります。
Linux PCにて以下の手順を実行することにより、証明書と秘密鍵の発行が可
能です。(以下はUbuntu 14.04における例)
# まずはじめに、ovs-pkiコマンドをインストールする
$ sudo aptitude install openvswitch-pki
…(snip)…
# calypso という証明書を生成
$ sudo ovs-pki req+sign calypso
calypso-req.pem Fri Feb 19 20:09:26 JST 2016
fingerprint 2740b5914c84423ac43621269c67b738a8325b0d
$ ls *.pem
calypso-cert.pem calypso-privkey.pem calypso-req.pem
calypso-cert.pemが証明書, calypso-privkey.pemが秘密鍵となります。

＃Leaf Switch (Calypso)への証明書の配置
FTP等にて、/var/db/certs以下にvtep-cert.pem, vtep-privkey.pem という名
前で証明書と秘密鍵のファイルをそれぞれ配置します。
配置後、OVSDBデーモンが起動したタイミングで、ca-cert.pemが生成されま
す。
root@CALYPSO_LEAF> file list /var/db/certs/
/var/db/certs/:
ca-cert.pem
common/
system-cert/
system-key-pair/
vtep-cert.pem
vtep-privkey.pem

＃Leaf Switch (Calypso)の証明書の確認
file showコマンドを使用して、vtep-cert.pemの内容を表示し、公開鍵部分（以
下太字部分）をコピーしておきます。
root@CALYPSO_LEAF> file show /var/db/certs/vtep-cert.pem
Certificate:
Data:
<snip>
6e:87:b3:b5
-----BEGIN CERTIFICATE-----
MIIDgzCCAmsCAQQwDQYJKoZIhvcNAQEEBQAwgYExCzAJBgNVBAYTAlVTMQswCQYD
VQQIEwJDQTEVMBMGA1UEChMMT3BlbiB2U3dpdGNoMREwDwYDVQQLEwhzd2l0Y2hj
YTE7MDkGA1UEAxMyT1ZTIHN3aXRjaGNhIENBIENlcnRpZmljYXRlICgyMDE2IEZl
YiAwOSAxNzo1Njo1NCkwHhcNMTYwMjEyMTAxNzQyWhcNMjYwMjA5MTAxNzQyWjCB
jDELMAkGA1UEBhMCVVMxCzAJBgNVBAgTAkNBMRUwEwYDVQQKEwxPcGVuIHZTd2l0
<snip>
AQABMA0GCSqGSIb3DQEBBAUAA4IBAQB9wWdHyFyMnSiauMHEDCM6qIuLuNSWmtXq
Z2hDtVnysn35+YQCcu102yP2Xa3iZ/IsxYzwUUHi1s1M4aJ92t1E/XyNMdWSgcTV
xI1V7TJ6/HyeOyOSEaLJ3Jdhu+HvT7eK4lynq/929R9H6Dlg0csSO5MfnoKTTnj0
YRpBPWqKhQlKUi8QyIbualJC1i8p8XeRL2ECuTMEm7jE5cYFu0tACf1mSxJ9Nf2C
8TpvovKFTKaIF4Gr+PZbNe+mKzIyRe/2mVdVOkq0sXNAN6EkQmSQcuCD1ps/hFFT
0ffYvWKBgDZ91y1cIqJcbjWRiN2JFdkT+kS+F+AmQF7dUjZuh7O1
-----END CERTIFICATE-----

# LAGの設定
set interfaces ae2 aggregated-ether-options lacp active
set interfaces ae2 aggregated-ether-options lacp periodic fast
# VXLANのTunnel Endpointとしてlo0.0を指定
set switch-options vtep-source-interface lo0.0
# OVSDBプロトコルの設定
set protocols ovsdb interfaces ae2
set protocols ovsdb controller 10.0.0.103 protocol ssl port 6640
# スイッチをOVSDB管理下に置く事を許可
set switch-options ovsdb-managed

NSXの構築
NSXにHardware VTEPを登録します。Service DefinitionsのHardware
Devicesを開きます。

NSXの構築
BUMトラフィックを複製する、Replication Clusterを設定します。Editボタ
ンを選択します。

NSXの構築
Replication Clusterに追加するホストを選択します。ここでは、Edge
ClusterのGibsonを追加します。

NSXの構築
続いて、物理スイッチを登録します。
Hardware Devicesの追加ボタンを押し、スイッチの名前と先ほどコピーした証明
書を入力します。

NSXの構築
少しすると、スイッチのConnectivityがUPの状態になります。

NSXの構築
続いて、Unicast VXLANを使用したLogical Switchを作成します。
今回は例として、LS3, LS4の2つのLogical Switchを作成し、それぞれの
Logical SwitchにVMを追加します。

NSXの構築
なお、分散仮想ルータが接続されているLogical Switchには、Hardware
VTEPの設定を行う事ができません。そのため、Logical SwitchとHardware
VTEPを組み合わせて物理サーバ等と高速な通信を行いたい場合、L3接続のた
めには、Edge GWを用いてL3ルーティングを行うか、Hardware VTEPの先
にL3ゲートウェイが必要になります。
今回は、Edge GWにこれらのLogical Switchを追加することで、L3ルーティ
ングを行います。

NSXの構築
Edge GWの設定画面を開き、使用していないインターフェイスを選択し、編集
画面を開きます。

NSXの構築
名前と種類、接続先のLogical Switch、IPアドレスなどを指定します。

NSXの構築
以上の設定を繰り返し、Logical SwitchとEdge GWをマッピングします。

NSXの構築
Logical Switchの作成とVMの追加, Edge GWの設定が完了したら、Logical
SwitchとHardware VTEPの物理ポートのマッピングを行います。
Logical Switchを右クリックし、Attach Hardware Portsを選択します。

NSXの構築
マッピング画面が表示されるので、スイッチを選択した後追加ボタンを押して
Hardware VTEPを追加し、Hardware VTEPの物理ポートとVLAN IDを設定
します。

NSXの構築
追加が正常に行われると、Hardware VTEP側に自動的に情報が送信され、
VXLANとインターフェイスの設定が行われます。
OVSDBから送信された情報は、show ovsdb interface, show ovsdb
logical-switch等で確認可能です。
各ロジカルスイッチで、 Flags: Created by bothとなっていれば、正常に
VXLANの設定が行われています。

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
10.128.2.0/2410.128.3.0/24
Leaf Leaf
vCenter NSX
Manager
NSX
Edge SG
NSX
Edge SG
NSX
Controller
NSX
Controller
NSX
Controller
VTEP
VXLAN Tunnel
ここまでの設定で以下のようにHW VTEPを含めたオーバーレイ・ネットワークが構成されています。
EX3300
(Baremetal)
HW-VTEP
martini
VM3
martini
VM4
calvin
VM3
calvin
VM4

VXLAN動作の確認
＃Leaf Switch (Calypso)で以下のコマンドを用いることで、VXLANの動作状況が確認可能で
す。
root@CALYPSO> show ethernet-switching vxlan-tunnel-
end-point remote
Logical System Name Id SVTEP-IP IFL L3-Idx
<default> 0 10.255.0.2 lo0.0 0
10.128.1.10 558 1720
VNID MC-Group-IP
5004 0.0.0.0 *
5003 0.0.0.0 *
10.128.2.10 557 1719
VNID MC-Group-IP
5004 0.0.0.0
5003 0.0.0.0
10.128.3.10 559 1721
VNID MC-Group-IP
5004 0.0.0.0
5003 0.0.0.0
root@CALYPSO> show ovsdb mac
Logical Switch Name: 1d640826-4d31-3453-9556-
c60fe7d0459e
Mac IP Encapsulation Vtep
Address Address Address
00:50:56:bb:36:bb 0.0.0.0 Vxlan over Ipv4
10.128.2.10
00:50:56:bb:92:4e 0.0.0.0 Vxlan over Ipv4
10.128.3.10
ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4
10.128.1.10
Logical Switch Name: 2c27a260-f16a-3309-8393-
cc529f391f4a
Mac IP Encapsulation Vtep
Address Address Address
00:50:56:bb:f7:ab 0.0.0.0 Vxlan over Ipv4
10.128.3.10
00:50:56:bb:f8:34 0.0.0.0 Vxlan over Ipv4
10.128.2.10
ff:ff:ff:ff:ff:ff 0.0.0.0 Vxlan over Ipv4
10.128.1.10

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
NSX
Controller
NSX
Controller
NSX
Controller
EX3300
(Baremetal)
＃Logical View
Physical Network
192.168.255.1
Physical Network
192.168.255.0/24
.254
NSX
Edge SG
NSX
Edge SG
Logical Switch 3
Logical Switch 4
martini
VM3
martini
VM4
calvin
VM3
calvin
VM4
192.168.3.0/24
192.168.4.0/24
.254
.254
.100 .100
.3 .3 .4 .4

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
NSX
Controller
NSX
Controller
NSX
Controller
EX3300
(Baremetal)
＃Logical View
Physical Network
192.168.255.254
Physical Network
192.168.255.0/24
.254
NSX
Edge SG
NSX
Edge SG
Logical Switch 3
Logical Switch 4
martini
VM3
martini
VM4
calvin
VM4
calvin
VM4
192.168.3.0/24
192.168.4.0/24
.254
.254
.100 .100
VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワー
クへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認できます。
.3 .3 .4 .4

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
NSX
Controller
NSX
Controller
NSX
Controller
EX3300
(Baremetal)
＃Logical View
Physical Network
192.168.255.1
Physical Network
192.168.255.0/24
.254
NSX
Edge SG
NSX
Edge SG
Logical Switch 3
Logical Switch 4
martini
VM3
martini
VM4
calvin
VM3
calvin
VM4
192.168.3.0/24
192.168.4.0/24
.254
.254
.100 .100
VM3から各種VMへの通信、ESGの先の物理ネットワーク、およびHW VTEPの先の物理ネットワー
クへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることをICMPで確認できます。
.3 .3 .4 .4

Spine
ESXi
(Management)
ESXi
(Edge GW)
ESXi ESXi
172.31.0.X/31 172.31.0.X/31
10.128.2.0/2410.128.3.0/24
10.255.0.1/32
10.255.0.2/32
10.255.0.3/32
Leaf Leaf
10.128.1.0/24
.254
.254
.3 .1
.2 .0
.254
NSX
Controller
NSX
Controller
NSX
Controller
EX3300
(Baremetal)
＃Logical View
Physical Network
192.168.255.1
Physical Network
192.168.255.0/24
.254
NSX
Edge SG
NSX
Edge SG
Logical Switch 3
Logical Switch 4
martini
VM3
martini
VM4
calvin
VM3
calvin
VM4
192.168.3.0/24
192.168.3.0/24
.254
.254
.100 .100
また、VTEP配下の物理ネットワークから各種VMへの通信、ESGの先の物理ネットワーク先への物理
ネットワークへの各種（L2/L3）通信がOverlayネットワーク越しで実現されることも確認できます。
.3 .3 .4 .4

HW VTEPとの連携：L3 GATEWAYの検討

Hardware VTEPを利用したL3 Gatewayデザイン検討
VMware NSXを構成するにおいてはこれまで確認してきた、ESGやDLRをど
のように配備するか、というデザイン検討を求められるのが一般的です。
一方で、ESGやDLRによる制限も各種存在します。
ESG Routing
・インターフェイスの数量（10）
・サブインターフェイスの数量（200 per ESG）
・Failoverタイム（A/S or ECMP）
・サーバーのパケットフォワーディングパフォーマンス
・ネットワーク帯域
DLR
・ルーティングテーブル（2000：12000 per NSX Manager）
・OVSDB-VXLANとの併用不可
・L2 HW VTEP越しのARP返答不可
これらNSXにおける仕様上の制約もHW VTEPを併用したデザインを考えるこ
とで、より柔軟なネットワークデザインが検討できることを確認してみます。
※最新VersionにおけるNSXのScalabilityなど、詳しい情報はVMwareさまにお問い合わせください。

BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜

BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜

Similaire à BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜 (20)

Plus de Juniper Networks (日本)

Plus de Juniper Networks (日本) (20)

Dernier

Dernier (9)

BETTER TOGETHER 〜VMware NSXとJuniperデバイスを繋いでみよう！〜