Contenu connexe
Similaire à RDMA for Windows Server 2012 (20)
Plus de Naoto MATSUMOTO (20)
RDMA for Windows Server 2012
- 1. RDMA for Windows Server 2012
メラノックステクノロジーズジャパン株式会社
IB-Day 6 : February 1st, 2013
- 2. 最先端のE2Eソリューションを実現するラインナップ
Storage
Server / Compute Switch / Gateway Front / Back-End
Virtual Protocol Interconnect Virtual Protocol Interconnect
56G IB & FCoIB 56G InfiniBand
10/40/56GbE & FCoE 10/40/56GbE
Fibre Channel
Comprehensive End-to-End InfiniBand and Ethernet Portfolio
ICs Adapter Cards Switches/Gateways Host/Fabric Software Cables
© 2013 Mellanox Technologies 2
- 3. Solid State Deviceの特性を活かすストレージサーバ
フラッシュメモリのコモディティ化はSSDストレージの利用を促進
• SSDは共有ストレージへのアクセス競合を緩和し、ランダムI/O性能を劇的に向上
SSDは最小のレイテンシーと低消費電力のストレージを実現
• 最高性能だがまだ高価なSSDを低価格で利用するには、SSDのアプリケーションへの
応答性能を妨げない、低レイテンシーなインターコネクト技術による外部共有が必須
Component Latency (usec)
InfiniBand 0.7
Ethernet RDMA (RoCE) 1.3
Ethernet TCP 6
Fibre Channel 20
SSD Read 25
Disk Read 6000 Total: 45usec Total: 25.7usec
Fibre Channelでは、 SSDのアドバンテージを阻害してしまう
InfiniBandとRDMAベースのEthernetがSSDの共有には最適!
© 2013 Mellanox Technologies 3
- 4. Storage Acceleration Serverによるストレージ高速化
1、既存の外付けストレージ共有システム 2、ストレージサーバ経由接続型システム
アプリケーション/DB サーバ アプリケーション/ DB サーバ
SSD
SSD SSD
SSD SSD
SSD SSD
SSD SSD SSD SSD SSD
40/56Gbps
4Gbps FC Switch InfiniBand Switch
ストレージ
SSD SSD アクセラレーション
サーバ
IB+DRBDでミラーリング
FC RAID
ストレージの統合に際しては、処理が特定のI/Oに集中しがちになるので、
SSDのような高速ドライブの必要性が高まる。 FC RAID
FC RAID搭載のキャッシュメモリは数GBと小容量 SSDを利用することでキャッシュヒット率を大幅に改善可能
DBのマスターテーブルなどへのアクセスが遅い DBのマスターテーブルもSSDキャッシュから読込み可能
最新の高価な8Gbps FCでもIOボトルネックが発生 8Gbps FCの7倍のスループット、50万IOPS/SSDの性能
高性能なSSDの完全なフェイルオーバーができない SSDをレプリケーションモードにすることで二重化が可能
FCにSSDを装着しても通信遅延で性能は半減 SSD搭載サーバとIBで接続、直付けと同等の応答性能
© 2013 Mellanox Technologies 4
- 5. OracleのEngineered Systemsで活用されるInfiniBand
Oracle Weblogic Server Grid
• 30 Compute Servers
• 360 Compute Cores
• 2.8 TB DRAM
• 960 GB Solid-State Disk
Mellanox InfiniBand Network
• 40 Gb/s InfiniBand Links
• 1.2 micro second latency
• 10Gb/s Ethernet connectivity
to data center
Integrated Storage Appliance
• Central storage for system images
• Clustered for HA
• 40 TB SAS disk storage
• 4 TB read cache
• 72 GB write cache
© 2013 Mellanox Technologies 5
- 6. Oracle RACにインフィニバンドを採用するメリット
I/O性能を33%向上
DB処理能力を62%向上 1Gb/s EthernetとFibreChannelの
コンビネーションと
システムコストを35%削減 インフィニバンドで比較
レスポンス時間の短縮により、生産性向上
* Common performance
80 benchmark
Time to run 1 million SKU
70
Reduced through
60 fulfillment planning operation
run-time
50
by 62%
Minutes 40 Gigabit Source:
30 Ethernet
20
10 InfiniBand
One million SKU*
© 2013 Mellanox Technologies 6
- 7. Enterprise Data Centerの最適化におけるMSとの連携
SMB Direct
• Windows Server 2012では、サーバ・アプリケーションの性能向上に効果的なリモート・
ファイル・ストレージを提供
- SMB Direct (SMB – Server Message Block)
• InfiniBand RDMAまたはEthernet RoCEを活用することで最高の性能を実現
- RoCE – RDMA over Converged Ethernet
- InfiniBand及びRoCE用ドライバは Windows Server 2012に組み込まれて提供
• 公表されている利用例
- 高速データベース(SQL+SMB), クラウド環境のIO統合(Hyper-V+SMB)
• 10G Ethernetの5倍の性能(Windows Server 2012 Betaでの参考性能結果)
- PCIe Gen2サーバで計測されたQBR InfiniBandと一般的な10Gbps Ethernetの比較
- PCIe Gen3サーバで計測されたFBR InfiniBandでは10GbEの10倍の性能
• デモンストレーション環境を提供可能
© 2013 Mellanox Technologies 7
- 8. SMB Direct (SMB over RDMA)とは?
新しい企業ユーザー向けSMBファイルストレージ
• ファイルストレージの処理に要するCPU負荷を最小化
• 低いレインテンシーによって高速NICの特長を最大限活用 File Client File Server
• Fibre Channelに相当する機能を低価格に実現
Application
User
従来からのSMBファイルストレージの強み
Kernel
• 簡単なプロビジョニング、管理、移行
• コンバージドネットワークの活用 SMB Client SMB Server
• アプリケーションや管理者設定の変更の必要無し
Network w/ Network w/ NTFS
RDMA support RDMA support SCSI
ハードウェアの要件
• RDMAを利用できるネットワークインタフェース
• InfiniBandもしくはRoCE (Ethernet)のサポート
RDMA RDMA
Adapter Adapter Disk
ロードバランスやフェイルオーバーには
SMBマルチチャネルを使用
© 2013 Mellanox Technologies 8
- 9. Windows Server 2012で完成されたソリューション
1. RDMAを活用したSMB Direct (InfiniBand, RoCE)
• CPUの負荷軽減・低レイテンシー(1μs)と広帯域(56Gbps)の両立
2. SMB マルチチャネル
Hyper-V Parent 1
Config
VHD
Child 1
Disk
… Hyper-V Parent N
Config
VHD
Child N
Disk
• 複数のインタフェースでロードバランス
1
• 複数のインタフェースでフェイルオーバー 2
NIC1 NIC2 NIC1 NIC2
3. SMBの透過的なフェールオーバー
• 計画的/非計画的なイベントの両方にゼロ・ダウンタイムで対応
4. SMB スケール・アウト特性 Administrator
Switch 1 Switch 2
• クラスタ・ノードに渡って動的なファイル共有 6 7
5. Clustered Shared Volumes (CSV)
• 仮想マシン構成ファイルへの透過的なアクセス NIC1 NIC2 NIC1 NIC2
切り替えもSMBで高速化
8
6. SMB PowerShell 4 4
Share
• ファイル共有の管理 3
Share
• SMB機能のイネーブル/ディセーブル CSV CSV
5
7. SMB Performance Counters 5
File Server 1 File Server 2
• ストレージ性能をリアルタイムに可視化
• disk countersに相当する機能の提供
Disk Disk Disk Disk
8. SMBイベント管理
Shared SAS Storage
© 2013 Mellanox Technologies 9
- 10. Microsoft’s Cluster in the Box (CiB) Reference Design
Mellanox VPI Interconnect Solutions
At least one node and storage always 10GE, RoCE or Infiniband
Network Network
available, despite failure or replacement of x8 PCIe Server Enclosure x8 PCIe
any component. Server A Server B
1/10G Ethernet cluster connect
CPU CPU
Dual power domains x8 PCIe
x4 SAS
x8 PCIe
Storage through
x4 SAS
Controller Storage
midplane
through Controller
Internal interconnect between nodes, x4 SAS
midplane B x4 SAS
controllers SAS A port SAS
Expander 0 1 … 23 s Expander
port
s
Flexible PCIe slot for LAN options
External SAS ports for JBOD expansion A ports
External JBOD
B ports
SAS SAS
Expander 0 1 … 23 Expander
Office-level power and acoustics for entry-
level NAS Additional JBODs
…
© 2013 Mellanox Technologies 10
- 11. ハードウェアによるI/O Virtualizationのメリット
VM VM VM VM VM VM VSA
OS OS OS OS OS OS vHCA
Direct
Virtual File System Virtual File
RDM
(VMFS)
A
System (VMFS)
RDMA
To remote
VSAs RDMA (for data replication) Local
8Gb FC / 10GbE
SAN iSCSI HBA/CNA Disks/Flash
Mellanox ConnectX 40/56Gbps
(same one used for networking)
VMのI/Oボトルネック VMに対する十分なI/O性能
• iSCSI: 400MB/s and 50K IOPs • ~5,000MB/s and 190K IOPs with VMFS
• FC: 800MB/s and 100-200K IOPs • 700K IOPs with SR-IOV on guest VM
拡張性の無いI/O 制限の無い拡張性
• Same performance limit with Multiple VMs • Single target can handle a Million IOPs
• SAN performance bottlenecks • Multiple targets scale linearly
IT機器数が多く非効率な投資 IT機器導入コストと管理コストの最適化
• Millions of $s for FC SAN Infrastructure • Use the same server Hardware, same NIC/HCA,
• High operational expenses and just add disks
© 2013 Mellanox Technologies 11
- 12. Products Announced: X-IO Storage
More than 15GB/sec Throughput Demonstrated
Remote Storage Systems
Windows Server 2012 with SMB 3.0
PCIe 3.0 based Servers - HP DL380p G8
Mellanox 56Gbps FDR Infiniband adapters & Switches
© 2013 Mellanox Technologies 12
- 13. Products Announced: Supermicro
More than 10GB/sec Throughput Demonstrated under Hyper-V
Hyper-V with Windows Server 2012 RC
Supermicro PCIe 3.0 based Servers, File Server & JBOD
LSI MegaRAID SAS 9285 storage controllers with LSI FastPath I/O acceleration software
OCZ’s Talos 2R SSDs
© 2013 Mellanox Technologies 13