VIOPS06: ここまで身近に！10Gbpsを越えるネットワークの世界
•
0 j'aime•669 vues
VIOPS06: ここまで身近に！10Gbpsを越えるネットワークの世界 Everything over Ethernet ～その要件と技術～ ブロケード コミュニケーションズシステムズ株式会社 小宮 崇博 2011年7月22日(金曜日)10：00-18：00 VIOPS06 WORKSHOP Virtualized Infrastructures Workshop [06]
Recommandé
Contenu connexe
Tendances
Tendances (16)
Similaire à VIOPS06: ここまで身近に！10Gbpsを越えるネットワークの世界
Similaire à VIOPS06: ここまで身近に！10Gbpsを越えるネットワークの世界 (20)
Plus de VIOPS Virtualized Infrastructure Operators group ARCHIVES
Plus de VIOPS Virtualized Infrastructure Operators group ARCHIVES (20)
VIOPS06: ここまで身近に！10Gbpsを越えるネットワークの世界
- 1. Everything over Ethernet ～その要件と技術～ ブロケード コミュニケーションズ システムズ © 2011 Brocade Communications Systems, Inc. VIOPS06 WORKSHOP ここまで身近に！10Gbpsを越えるネットワークの世界
- 2. 本日の内容 • 既存のデータセンタ内プロトコルとその特徴 • Everything over Ethernet:その前提条件 • Datacenter Bridge, TRILL • FCoE, RoCE • 課題、注意点、その他 • まとめ © 2011 Brocade Communications Systems, Inc.
- 3. 既存の Datacenter 内プロトコルとその特徴 © 2011 Brocade Communications Systems, Inc.
- 4. System Area Network の特徴 • RDMA, I/O の特徴 • メモリ間データ転送をベースに、バス(SCSIやメモリチャネル)を経由して DMAでデータをブロックで読み書きする • メモリ、ディスクの Read/Write ではロスレスは暗黙の仮定 ロスレス性はなぜ必要か？ © 2011 Brocade Communications Systems, Inc. CPU MemoryNorth SCSI controller South かつてのサーバ内 サーバ内でメモリ通信の 損失は無いと仮定 SAN LAN IPC Converged Network Adapter拡張 Ethernet 現在 DC全体がシステム SAN/IPC のロスレスを実現 NIC
- 5. Datacenter 内のEthernet以外のネットワーク • InfiniBand • 低遅延(300ns)、広帯域 (10Gbps/Lane) 次世代 Ethernet が実装しなくてはならない技術 • Fibre Channel • 低遅延(450ns)、広帯域 (16Gbps/Lane) © 2011 Brocade Communications Systems, Inc. Clos Topology Core-Edge Topology どちらも Lossless/ECMP が備わったネットワーク
- 6. 今日の DC ネットワークでの挑戦 • Layer 2 性能と信頼性の向上 • 等価コストマルチパス技術の実現 • ロスレス • ブロードキャスト トラフィック の最適化 • MAC 学習の最適化 • 高速収束 • 自動化による管理オーバヘッドの削減 • 自律的ファブリック形成 • 自動的発見、構成 • VM 移動性への対応 • シンプル化 • 次ページ参照 通常の Ethernet の限界 © 2011 Brocade Communications Systems, Inc. Data Center
- 7. Ethernet にまとめることの利点 Brocade の自社データセンタ © 2011 Brocade Communications Systems, Inc. 2010年8月オープンの新社屋/DC2008年頃の自社 DC 仮想化により、複雑性が増大 広帯域＋すっきり＋ 今までと変わらない運用
- 8. Everything over Ethernet その前提条件 © 2011 Brocade Communications Systems, Inc.
- 9. ロスレス性の実現 • “Data Center Bridging” とはデータセンタ向けに拡張された Ethernet • 下記の複数の標準を含む • Priority-based Flow Control (802.1Qbb) • Enhanced Transmission Selection (802.1Qaz) • Data Center Bridging eXchange (802.1Qaz) Data Center Brdinging 技術 © 2011 Brocade Communications Systems, Inc. FCoE 10G リンクを仮想的に 8本のチャネル(Priority) に分割し、フロー制御
- 10. Equal Cost Multi-Path の実現 Transparent Interconnection of Lots of Links • 何故 TRILL が必要なのか？ • 従来のEthernetでは実現できな いマルチパスの実現 (redundant path failover) • 最短経路へのルーティング • ルーティングなどのゼロ設定 • FCoE などのレジリエント構成に必 要 © 2011 Brocade Communications Systems, Inc. TRILLなし TRILL ループとなる リンクは 使用できない A B C D A B C D E E 注意事項で説明 等価コスト パスをバラ ンスさせて 使用可能
- 11. Fibre Channel over Ethernet (RDMA over Converged Ethernet) 6/30/2011 11© 2011 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
- 12. FCoE の利点 • 従来の FC のインフラがそのま ま使用できる • 既存の設備投資がそのまま生 きる • 従来の管理スキームがそのま ま使用できる • ストレージメーカの提供する既 存の管理ソフトウェアがそのま ま使用できる • 新技術ではない • iSCSI のような新しい技術と違 い iqn や SLP/iSNS などを知ら なくても構成できる • そもそも IP は zero 設定ではな い © 2011 Brocade Communications Systems, Inc. ストレージメーカや サーバメーカの 既存の管理ソフト FCoE SW FCoE SW FC SW サーバ サーバ
- 13. Fibre Channel over Ethernet • DCB 上にマッピングした上位 プロトコルのひとつ • ANSI T11 FC-BB-5 v2.0 で標準化 • FC フレーム(2112 bytes)を Ethernet フレームでカプセル 化 • ジャンボフレーム(2500bytes) • FC フレームと Ethernet フレー ムは1：1でマッピング • RFC3643 Fibre Channel Frame Encapsulation が標準として使 用されている © 2011 Brocade Communications Systems, Inc. FC-4 FC-3 FC-2 DCB Layer-2 DCB Layer-1 Upper layer (SCSI-3) FC Generic Service Link Service BLS/ELS DCB layer-2 64b/66b encoding, others 10Gbps Ethernet phy
- 14. FCoE の構成と言葉 • FCoE Node (ENode) • DCBのインターフェースを持 ちFCノードとして振舞うこと が可能な統合ネットワークア ダプタ（CNA)がこれに当たる • FCoE Forwarder • FCスイッチとして動作するこ とができるDCBスイッチを表 す • FCoE Mapper (FCM) • ファイバチャネルフレームを イーサネットフレームにカプ セル化／非カプセル化を行う 機能 © 2011 Brocade Communications Systems, Inc. ENode FCoE Forwarder (FCF) FCoE Mapper (FCM) FC Port FC Port FC Port FC Port FC Switch DCB Port DCB Port DCB Port DCB Port DCB Switch
- 15. FCoE Initialization Protocol • FIP の役割 • DCB ファブリックにおけるFCFの発 見 • DCB ファブリックに対するFCファブ リックサービスの提供 • FCoE ファブリックパラメータの交換 • Discovery Phase • ENode による FCF の発見 • FCoE VLAN の発見 • アドレッシング方式の提供 • Login Phase • ENode と FCF の関連付け • 既存の FLOGI, FLOGI_ACC, LOGO をそのまま使用 • Data Transfer Phase • PLOGI/PRLI • その他のすべての FC プロトコルフ レーム • ELS, FC4 ULP © 2011 Brocade Communications Systems, Inc. FIPFCoE FCFFCF DCB FIP
- 16. FCoE アドレッシング • DCB ファブリック内では MAC アドレスベースで通信するため、旧 来の FC のアドレスだけでは通信できない • そのため FCoE では MAC アドレスを動的にアサインする仕組みが必要 • Fabric Provided MAC Address (FPMA) によりアドレスを確保 • MAC アドレスの上位3バイトは “0x0E, 0xFC, 0x00” • MAC アドレスの下位3バイトは FID (FC fabric 内のアドレス) © 2011 Brocade Communications Systems, Inc. FCF FCストレージの FCoEアドレス空間 への写像 0E:FC:00:05:01:01 FCストレージCNA NIC の MAC と FCoE HBA の Session MAC は別 FCドメイン ナンバ : 5 FID : 050101FID : 050201 session MAC : 0E:FC:00:05:02:01 CNAの FCアドレス 空間への写像 050201
- 17. FIP の手順 © 2011 Brocade Communications Systems, Inc. Host FCF Multicast(FIP), MAC(host),capability Unicast(FIP advertisement),MAC(FCF), Priority, switch name, fabric name, capability FLOGI (FIP),MAC(host), FC header, Proposed MAC LS_ACC (FIP),MAC(host), MAC(FCF), FC header, approved MAC ENode は与えられた MAC を使用(FIP完了) ENode は FCF, DCB 属性を認識する 必要があればさらに FDISC を行う LS_ACC (FIP),MAC(host’), MAC(FCF), FC header, approved MAC FIP 完了後は Ethertype = FCoE で通信可能 version 1.0.1
- 18. DCB/FCoE のリンク初期化の流れ © 2011 Brocade Communications Systems, Inc. DCB ポートの動作 電源オン PowerOnSelfTest Light/Signaling Character/Word Synchronization リンク初期化 アクティブ状態 DCBXexchange DCBPortActive FCoE ポートの動作 FIPDiscovery FIPFLOGI FCPLOGI Nameserver登録等 10GbE ポート初期化 DCBポート初期化 FCoE 初期化 FC 初期化 FCPLOGI End-to-Endlogin FCPRLI I/O 開始
- 19. FCoE の事例 © 2011 Brocade Communications Systems, Inc. TED FCoE セミナー 19
- 20. RDMA over Converged Ethernet (ロッキー) • 詳細は Mellanox の津村さんに! • TLV 形式は？ • EtherType は？ • そもそもどうやって RDMA Verb を発見するの？ © 2011 Brocade Communications Systems, Inc. RDS MPI SDP RDMA Verbs iWARP TCP IPRoCE DCB Socket Application SCSI iSCSI TCP IP FCoE FCP
- 21. 課題、注意点、その他 © 2011 Brocade Communications Systems, Inc.
- 22. FCoE と ECMP の関係 Spanning Tree の問題点 • Link Failure が起こった場合、上 の Path(SW1/SW2/SW3/FCF)に non-disruptive に切り替わる か？ • そもそもマルチパスドライバからみ てマルチパスになっていないため、 冗長パスとして設定すらできない • だから初めから Multi-Path が可 能なトポロジが必要 Block port SW1 SW4 SW2 SW5 SW3 FCF Link Failure SW1 SW4 SW2 SW5 SW3 FCF FIP FLOGI Data Flow 再度 FLOGIが 必要 STP による L2構成 STP による L2構成 DCB only スイッチ DCB + FCF スイッチ © 2011 Brocade Communications Systems, Inc.
- 23. FCoE 環境でのカスケードの危険性 FCoE Keep-Alive のスケーラビリティとマルチホップ FCoE © 2011 Brocade Communications Systems, Inc. FCF lossless Ethernet lossless Ethernet lossless Ethernet 物理サーバ 仮想サーバ FCFFCFFCFFCF 物理サーバ 仮想サーバ すべてのスイッチにFCoE forwarder がないとネットワークを拡張できない FCF:FCoEに対応したスイッチ Lossless Ethernet:単にDCB対応しただけのスイッチ FCoE Keep-alive FCoE SW に よる構成 DCB only SW と FCoE SW の混在 負荷
- 24. マルチプロトコルサポートと ECMP • Ethernet に IB/FC を統合すると すると、ルーティングプロトコ ルは何を使用する？ • 実は標準上は未解決 © 2011 Brocade Communications Systems, Inc. Ethernet ECMP IB/FC ルーティングプロトコル TRILL/SPB IS-IS InfiniBand SubnetManager の実装次第 (MINHOP/UPDN等) Fibre Channel Fabric Shortest Path First
- 25. まとめ © 2011 Brocade Communications Systems, Inc.
- 26. Everything over Ethernet • Ethernet によるデータセンタ内インタコネクトの集約の前提条件 • DCB • TRILL • XoE のメリット • 共通 : LAN/SAN/IPC が1本のワイヤに統合できるため、TCOを削減可能 • FCoE : 従来の FC 基盤が活かせる • RoCE : Ethernet でも IB と同じことができる • ただし同じ性能というわけではない • 注意点 • とりわけ FCoE には multi-path やLink Level Service にまつわる注意点が多 いので、接続性のサポートは要確認 © 2011 Brocade Communications Systems, Inc.
- 27. Thank You © 2011 Brocade Communications Systems, Inc.