Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御
Similaire à 動的ネットワークパス構築と連携したエッジオーバレイ帯域制御 (20)
Plus de Ryousei Takano
Plus de Ryousei Takano (20)
Dernier
Dernier (8)
動的ネットワークパス構築と連携したエッジオーバレイ帯域制御
- 1. 動的ネットワークパス構築と 連携したエッジオーバレイ帯域制御 ⾼高野 了了成 岡崎 史裕 ⼯工藤 知宏 産業技術総合研究所 情報技術研究研究部⾨門 2013年3月7日 NS研究会@残波岬ロイヤルホテル
- 2. 背景 • クラウド（IT）とネットワークシステムの連携 • OpenFlowに代表されるSoftware Defined Network（SDN）技術への注⽬目 – ソフトウェアから統⼀一的な管理理、⾃自動制御 • ITサービスと連携した帯域制御 – データセンタネットワークにおけるテナント間隔離離 例例：NEC ProgrammableFlow, Nicira NVP, MidoNet, Stratophere SDN Platform – 広域網の効率率率的な利利⽤用 例例：Google G-‐‑‒Scale, Open transport switch 2
- 3. SDNにおける帯域制御の課題 • ホップ・バイ・ホップ⽅方式 – 〇 柔軟で細やかなQoS制御が可能 – × 段階的な移⾏行行が困難 • エッジオーバレイ⽅方式 – 〇 既存のネットワーク機器を利利⽤用可能 – × QoS制御を実現するには、オーバサブスクライブ しないネットワークが必須 • データセンタネットワーク：イーサネットファブリック技術 • 広域網：帯域保証技術（or 専⽤用線） 3
- 4. 動的ネットワークパス構築技術と 連携したエッジオーバレイ帯域制御 ⽬目標：ネットワークの消費電⼒力力削減とサービスの 利利便便性の両⽴立立を⽬目指したネットワークモデル構築 1. 動的ネットワークパス構築技術 → OGF Network Service Interface (NSI) 2. トラフィックの性質に基づいたサブパス選択 → OpenFlow + RSVP 3. サブパスの帯域分割 ネッ ワーク選択 ト → Open vSwitch + パス設定 PSPacer RSVP QoS付パケッ 網 ト メ セージ ッ OpenFlow スイ チ OpenFlow スイ チ ラベルスイ チ網 ッ ッ ッ 光パス網 送信者 受信者 従来型パケッ 網 ト データプレーン 4
- 5. 本研究の貢献 • エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案 – データセンタ間を帯域の保証されたネットワークで 接続した上で、エッジ仮想スイッチにて精密な帯域 制御を実施 • PSPacerをOpen vSwitchに統合 • 10ギガビットイーサネット環境で実験 – HTBとPSPacerの⽐比較 5
- 6. 発表の流流れ • 動的ネットワークパス構築と連携した エッジオーバレイ帯域制御 • PSPacerの紹介 • Open vSwitchに対するPSPacerの統合 • 実験 • まとめ 6
- 8. PSPacer • 通信帯域を効率率率的に利利⽤用するためのソフトウェア • ギガビットイーサネットにおける精密なペーシングを ソフトウェアだけで実現 – 利利⽤用可能帯域にあわせてバースト送信を平滑滑化することで、 安定した⾼高い通信性能を実現 Switch/Router Buffer Overflow バースト性の⾼高いトラフィックはパケット PSPacerはパケット間隔を調整し、平滑滑化 ロスを引き起こし、通信性能の低下を招く され安定したトラフィックを⽣生成する 8
- 9. PSPacer:動作原理理と実装 • パケットペーシング＝パケット送信間隔制御 – （パケットサイズ）＝（ギャップサイズ）の場合： 送信帯域は、物理理帯域の1/2 、 • PSPacerの動作原理理 き れば ノ秒の 送 信で 0.8ナ 能 – ギャップをダミーパケットで埋めて、 レー トで ークで 制 御可 ヤ トワ 信間隔を – パケットを隙間なく送信する ワイ psネッ 送 1 0Gb パケット • ギャップパケット 精度度 で – ダミーパケットとして、PAUSEフレームを利利⽤用 – スイッチの⼊入⼒力力ポートで破棄され、実パケットのみが、 元の送信間隔を保ちつつ送出される ギャップ パケット 9
- 10. Linux TBFとPSPacerの違い Token Bucket Filter PSPacer 平均レートはボトルネックリン ク帯域の半分以下だが、ピーク は物理理送信レートに達しており、 バッファあふれが発⽣生 (Bottleneck BW 500Mbps, RTT 200ms, FIFO 1MB) 10
- 11. Open vSwitch • Linux上で動作する仮想スイッチソフトウェア – OpenFlow – VLAN（アクセスポート、トランクポート） – トンネル (GRE、IPSec、VXLAN、LISP) – NetFlow、sFlow – QoS VM 1 VM 2 VM 3 • データパス Open vSwitch – Linux kernel 3.3にマージ user kernel – ハードウェア化を考慮 • Pica8 Prontoスイッチに採⽤用 Physical Switch 11
- 12. Open vSwitchのQoS機能 • ingress policing • egress shaping VM1 VM2 – 内部的にLinuxカーネルの eth0 eth0 tc（qdisc）機能を利利⽤用 • HTB、HFSC、PSPacer VMM tap0 tap1 ingress policing • OpenFlow 1.0のenqueue Open vSwitch アクション※を利利⽤用して、 egress shaping フローをqdiscのキューに振分 eth0 ※) OpenFlow 1.3ではset-‐‑‒queueに相当 12
- 13. Open vSwitchの構成 VM 1 VM 2 VM 3 VIF Open vSwitch ovs-‐vswitchd ovsdb-‐server user kernel openvswitch PIF Physical Switch 13
- 14. PSPacerの統合 data control enqueue PSPacer Classifier Compute Server Packet Interface scheduler queues VM 1 VM 2 VM 3 Real packet VIF dequeue Gap packet Open vSwitch ovs-‐vswitchd ovsdb-‐server user PSPacer openvswitch kernel PIF Physical Switch ※ HTB利利⽤用時も同じ仕組みで動作 14
- 15. 設定例例 ovs-vsctl -- set port eth0 qos=@newqos -- --id=@newqos create qos type=linux-psp queues=0=@q0,1=@q1 -- --id=@q0 create queue other-config:rate=1000000000 -- --id=@q1 create queue other-config:rate=2000000000 ovs-ofctl add-flow br0 "in_port=2 マッチングルールin_̲portをtap idle_timeout=0 actions=enqueue:1:1” デバイスの接続ポートに設定する ovs-ofctl add-flow br0 "in_port=3 ことで、VMごとに帯域制御 idle_timeout=0 actions=enqueue:1:2" # 送信レートの変更更 ovs-vsctl set queue [QUEUE UUID] other-config:rate=3000000000 # キューの追加 ovs-vsctl add qos [QOS UUID] queues 2=@q2 -- --id=@q2 create queue other-config:rate=1000000000 15
- 16. 実験 16
- 17. 実験環境 • 計算サーバ2台を直結 Hardware Spec. • 各VMの送信帯域を2 G CPU 6-‐core Intel Xeon E5-‐2430L/ 2 GHz dual sockets bpsに設定し、6組のVM Memory PC3-‐12800 48 GB 間でTCP通信性能を測定 Ethernet Intel X520-‐LR1 (MTU 16KB) So-ware Spec. • 帯域測定にはGtrcNET-‐‑‒ OS CentOS Linux 6.3 10p3を使⽤用 Open vSwitch 1.7.1 VM VM VM VM VM VM VM VM VM VM VM VM 0 1 2 3 4 5 0 1 2 3 4 5 Open vSwitch Open vSwitch GtrcNET-‐‑‒10 10G Ethernet 17
- 18. GtrcNET • ⼤大規模FPGAを搭載したハードウェアネットワークテストベッド • ワイヤレートでさまざまな機能をプログラム可能 • GtrcNET-‐‑‒1: GbE (GBIC) x 4ports + 16MBytes Memory/port • GtrcNET-‐‑‒10: 10GbE (XENPAK) x 3ports + 1GBytes Memory /port • 実装機能例例 • 帯域測定（ポート単位、ストリーム単位、VLAN単位） • 遅延の模擬 • パケットキャプチャ • テストパケット⽣生成 • 送信レート制御（ペーシング、 シェーピング、ポリシング） http://projects.itri.aist.go.jp/gnet/ 18
- 19. 10000 実験結果（１） HTB 8000 Bandwidth (Mbps) Throughput (Mbps) 6000 QoS制御なし 4000 10000 2000 8000 Bandwidth (Mbps) 0 Throughput (Mbps) 0 10 20 30 40 50 60 6000 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10000 PSPacer 2000 8000 Bandwidth (Mbps) Throughput (Mbps) 0 6000 0 10 20 30 40 50 60 Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 4000 10秒毎に通信ペアを追加 2000 0 0 10 20 30 40 50 60 Time (Second) 19 VM1 VM2 VM3 VM4 VM5 VM6
- 20. 実験結果（２） PSPacer (OpenFlow) PSPacer (tc) 10000 10000 8000 8000 Bandwidth (Mbps) Throughput (Mbps) Throughput (Mbps) 6000 6000 4000 4000 2000 2000 0 0 0 10 20 30 40 50 60 0 10 20 30 40 50 60 Time (Second) Time (Second) VM1 VM2 VM3 VM4 VM5 VM6 VM1 VM2 VM3 VM4 VM5 VM6 OpenFlowルールの代わりに、 tc u32 filterを使って、送信元IP アドレス毎に振分 20
- 21. 考察 • PSPacer（ギャップパケット）のパケット スケジューリング⽅方式の問題が顕在化 – システムがワイヤレート性能を出せることが必要 • 注意：今回の実験環境では要件を満たしていない – tcのフィルタ機能と⽐比較して、OpenFlowのフロー 制御はCPU負荷が⾼高いと推測 – さらなる問題解析が必要 21
- 22. まとめと今後の予定 22
- 23. まとめ • エッジオーバレイSDNにおいて、動的ネット ワークパス構築とエッジ帯域制御の連携を提案 • PSPacerをOpen vSwitchに統合し、10ギガ ビットイーサネット環境で実験 – PSPacerのスケジューリング⽅方式の問題が顕在化 – さらなる問題解析が必要 PSPacer 3.1 (Open vSwitch対応パッチ含)は オープンソースソフトウェアとして公開 https://www.gridmpi.org/pspacer.jsp 23
- 24. 今後の予定 • ネットワークの消費電⼒力力削減とサービスの利利便便 性の両⽴立立を⽬目指したネットワークモデルの提案 – 本提案⽅方式と「トラフィックの性質情報に基づいた 経路路選択」⽅方式の統合し、省省電⼒力力効果を検証 なお、本研究の成果の⼀一部は、独⽴立立⾏行行政法⼈人新エネルギー・ 産業技術総合開発機構（NEDO）の委託業務「グリーンネット ワーク・システム技術研究開発プロジェクト（グリーンITプロ ジェクト）」の成果を活⽤用している。 24