2016年6月25日開催の　「Interact x Cloud Samurai 2016 Summer」のストレージセッション資料です

1. Interact x Cloud Samurai 2016 Summer
2016/06/25
System Center User Group Japan
Microsoft MVP - Cloud and Datacenter Management
高野 勝（Masaru Takano）

2.  高野 勝（ Masaru Takano ）
 日本ヒューレット・パッカード 所属。
 専門分野：ストレージ
 Microsoft MVP - Cloud and Datacenter Management
2

3.  セッションの目的
◦ Windows 2016の新機能を中心にWindowsに実装されているストレージ機
能について特徴や使い方理解する
◦ ストレージの将来像を考える事で、上記の新機能が将来像の中でどういっ
た役割を果たしているか、なぜ必要なのかを考える
3

4.  Windows Server 2016 Storage 新機能
◦ SMB 3.1.1
◦ Storage Spaces Direct
◦ Storage Replica
◦ Storage QoS
 ストレージの将来像
 まとめ
4

5. 5

6. 6
SMB 2.0以降とレガシーな SMB 1.0/CIFS とは別物
 より速く！ FC SANと同等のパフォーマンスをシンプルに
 より安全に！ 成熟した管理機能、セキュリティ、高可用性
SMB
LAN Manager
Windows 95
Windows NT
SMB 2.0
Windows Vista
& Server 2008
SMB 2.1
Windows 7
& Server 2008 R2
SMB 3.0/3.0.2
Windows 8
& Server 2012
SMB 3.1.1
Windows 10
& Server 2016
1980年代～ 2006年 2009年 2012年 2015年
・コマンドの結合
・読取/書込サイズの拡大
・切断時の透過的再接続
・メッセージ署名の改善
(HMAC SHA-256)
・スケーラビリティの向上
・シンボリックリンクのサポート
・クライアント oplock リース モデル
・大きい MTU のサポート
(最大64KB → 1MB)
・スリープモード移行の強化

7. 7
セキュリティ
管理
パフォーマンス
可用性
SMB 透過
フェールオーバー
SMB
スケールアウト
SMB
マルチチャネル
ボリューム
シャドーコピーの
SMB 共有対応
SMB 暗号化
SMB
ディレクトリース
オフロード・
データ転送(ODX)
SMB 用
Windows
PowerShell
SMB 用の新しいパ
フォーマンス
カウンター
SOFS クライアン
トの自動再配分
セッション
事前認証の強化
(SHA-512)
SMB 暗号化の
高速化
(AES-128-GCM)
クラスター環境で
の SMB Dialect 自
動判別
スケールアウト
ファイルサーバー
での複数 SMB
インスタンスの
サポート
SMB
ダイレクト
SMB イベントメッ
セージの強化
Hyper-V ライブ
マイグレーション
over SMB
SMB 1.0の
オプション化
ゲスト
クラスタリング
(VHDX)の強化
SMB
帯域幅管理の向上
3.0.2 3.1.13.0.0

8. 8
 ローカルストレージに匹敵する超高速な低遅延ネットワーク
 I/O処理におけるサーバー CPU 負荷の削減
 SMB マルチチャネルとの併用による高速化と冗長化に対応
RDMAを活用した高速なアクセス基盤の実現
SMB
サーバー
SMB
クライアント
ユーザー
モード
RDMA サポート
のネットワーク
NTFS
SCSI
RDMA サポート
のネットワーク
RDMA (Remote Direct Memory Access)
ネットワークデータ転送を、OS を介さずに
ディスクとNIC で直接やり取りをする I/O 方式
RDMA対応ネットワーク機器が必要
※ 3 種類の RDMA 提供方式
・iWARP
・InfiniBand
・RoCE (RDMA over Converged Ethernet)
カーネル
モード

9. 9
 記憶域スペース（仮想ディスク）
◦ 記憶域プールから必要な領域を切り出し
◦ 柔軟な回復性タイプ
 記憶域プール
◦ 複数の物理ディスクを論理的に１つに統合
◦ ディスク増設時に動的な容量拡張が可能
◦ マルチテナントを想定した管理者の定義
 記憶域スペースはWindows Sever 2012か
ら実装
SAS
SATA
USB
共有 SAS

10. 10

11. 11
共有ストレージあり
Active Active
記憶域
スペース
共有ストレージなし (Storage Spaces Direct)
Active Active Active Active
記憶域スペース
 各ノードの“ローカルストレージ”でSOFS の信頼性と拡張性を実現

12. 12
Compute Node / Storage Node 分離
• 明確な管理上の境界と柔軟な拡張性
• 大規模環境に最適
Compute Node/Storage Node 同居
• シンプルなシステム構成
• 中小規模環境の最適

13. 13
 仮想ディスク
◦ 1GB ごとのエクステント (データ領域) による構成
(100GB の仮想ディスクであれば 100個のエクステント)
 スケールアウト
◦ エクステント単位で各サーバーに分散配置
 回復性
◦ 同一構成のエクステントを別のサーバー上で保持
(3方向ミラーにより、3つのサーバーに配置される)
仮想ディスク エクステント
ノード#5ノード#2 ノード#3 ノード#4ノード#1
A A’ A’’B B’ B’’C C’C’’

14. 14
 3 – 12 ノード構成
◦ 3ノードからサポート （TP5より3ノード構成をサポート）
◦ 最大12ノードまで拡大可能
 拡張可能な記憶域プール
◦ 仮想ディスク上のデータを複数ノードに分散配置
 高速なクラスター内通信
◦ SMB 3.1.1
◦ SMB ダイレクト (RDMA) による
CPU 負荷およびネットワーク遅延の低減
 容易なストレージ拡張
◦ ストレージノードの追加およびプールの拡張後、データを自動再配置
ノード#5ノード#2 ノード#3 ノード#4ノード#1
A A’ A’’B B’B’’C
C’
C’’
D D’ D’’
3方向ミラー

15. 15
 SCVMMからもStorage Spaces Directの管理が可能になった（TP5からの追加）

16. 16
 SSD+HDDの構成に加えTP5より3階層構成がサポート（TP5からの追加）
 以下のパターンの構成が可能
◦ SSD + HDD
◦ NVMe + HDD
◦ NVMe + SSD
◦ SSD + SSD
◦ NVMe + SSD + HDD

17. 17
 「NVM Express（Non-Volatile Memory Express、NVMe）」
 PCI Expressの技術を使用した接続規格
 主にSSD用に設計された接続規格
◦ SCSIやSATA（Serial ATA）ではSSDの能力についてこれなくなってしまった
◦ SATAの転送速度は600MB/s
◦ PCI Express Gen（Generation）3 は 1レーン 当たり約1GB/sの転送速度があり、PCI Express Gen3x4
レーン の場合4GB/s
◦ たった1本のSSDで44万IOPSを出すことも可能に
http://www.intel.co.jp/content/www/jp/ja/solid-state-drives/solid-state-drives-750-series.html

18. 18
柔軟性
• ストレージ ハードウェア非依存
• 同期モード / 非同期モード
• 4種類の複製パターン
複製機能の
提供
• ブロックレベル、ボリューム単位
• SMB 3.1.1 による転送
(SMB ダイレクト/マルチチャネル等
の活用)
統合管理
• フェールオーバークラスターマネー
ジャーまたは PowerShell による管理
• Azure Site Recovery との連携も可能
になる予定

19. 19
アプリケーション
(local or remote)
Source Server
(複製元ノード)
Data
Log
1
t 2
Destination
Server
(複製先ノード)
Data
Log
t1 3
2
5
4
• I/O 発生時に、複製元/複製先両方のログディスクへの書き込みを保証する

20. 20
アプリケーション
(local or remote)
Source Server
(複製元ノード)
Data
Log
1
t 2
Destination
Server
(複製先ノード)
Data
Log
t1 5
4
3
6
• 複製先ノードでの書き込みを待たずに I/O 完了とみなす
• ネットワークの帯域幅や遅延で同期モードを利用できない場合に検討

21. 21
必須要件
Windows Server 2016 Datacenter Edition
Active Directory
ディスク [データディスク / ログディスク共通]
GPT 形式 (MBR 形式は不可)
JBOD, ローカルディスク, SAN (iSCSI /
FC) などのストレージ
(リムーバブルメディアは不可)
複製元と複製先での同一ディスク配置構成
およびパーティション
%SystemRoot%, page file, ハイバネー
ションファイル, Dump ファイルを含まない
こと
ディスク [ログディスク]
NTFS/ReFS ボリュームかつ固定サイズ
ファイアウォール ポート
SMB, WS-MAN
 ネットワーク遅延

 ネットワーク帯域幅

 ディスク [ログディスク]


 ネットワーク遅延

 ネットワーク帯域幅

 ディスク [ログディスク]


22. 22
 機能の追加で「Storage Replica」を追加

23. 2323
モジュール名: StorageReplica
Get-SRGroup
Get-SRPartnership
New-SRGroup
New-SRPartnership (新規作成)
Remove-SRGroup
Remove-SRPartnership
Set-SRGroup
Set-SRPartnership (複製方向の変更)
Suspend-SRGroup
Sync-SRGroup
Test-SRTopology (Storage Replica システム
要件確認テスト)

24. 24
同期/非同期モードを選択可能
手動フェールオーバーのみ対応
(PowerShell / Azure Site Recovery)
「汎用ファイルサーバー」シナリオに最適
《Server to Server》 ２つのサーバー間でのレプリケーション
《Cluster to Cluster》２つの異なるクラスター間でのレプリケーション
SRV1
SR over SMB3
SRV2
ManhattanDC
JerseyCityDC
NODE1 in FSCLUS NODE2 in DRCLUS
NODE3 in FSCLUS NODE4 in DRCLUS
NODE2 in FSCLUS
NODE4 in FSCLUS
NODE1 in DRCLUS
NODE4 in DRCLUS
SR over SMB3
ManhattanDC
JerseyCityDC
 Sever to Server のクラスター版
(機能／制約等は基本的に同一)
 クラスターによる高可用性 (HA) と、
レプリケーションによる災害対策
(DR) をそれぞれ独立した機能として提供
 「スケールアウトファイルサーバー」シナリオに最適

25. 25
SRV1
SR over SMB3
NODE1 in HVCLUS
SR over SMB3
NODE3 in HVCLUS
NODE2 in HVCLUS NODE4 in HVCLUS
ManhattanDC
JerseyCityDC
高可用性 (HA) と災害対策 (DR)
を組み合わせて提供
自動的なフェールオーバーが可能
フェールオーバー クラスター
マネージャーによる GUI 管理が可能
同期モードのみサポート
「Hyper-V」や「汎用ファイルサーバー」に最適 (スケールアウトファイルサーバーには不適)
《Stretch Cluster》 単一クラスター内でのレプリケーション
《Server to Self》 サーバー内でのボリューム間レプリケーション
 ボリュームの移設・転送に最適
(データコピーが実施できない環境など)

26. 26
 運用Tips
◦ 「New-SRPartnership」のログサイズが小さすぎるとコマンドが実行できない（エ
ラーになる）
◦ 初回実行には結構時間がかかる
◦ Destination側のデータVolumeは表示されなくなる
◦ Destination側を表示する場合は「Remove-SRPartnership」で一旦関連を解除
 構成Tips
◦ Workgrpoup認証 未サポート
◦ 別なWindows Domain同士のStorage Replicaは可能
◦ Cluster to Server , Server to Cluster の複製は未サポート。この場合はServer側をシ
ングルノードクラスタ構成にする
◦ GUIでコントロールできるのはクラスタ構成のみ

27. 27
柔軟性
• 柔軟かつ公平なリソースの分配
 制御対象：
VHD, 仮想マシン, サービス, テナント
 制御項目：
最小IOPS, 最大 IOPS
帯域管理機
能の進化
• ストレージを共有するすべての Hyper-
V 環境を、ポリシーによって一元管理
• 帯域管理に必要なメトリクスを自動計
測(計測対象： VHD, VM, ホスト, ボリューム)
統合管理
• System Center (SCVMM / SCOM)
または PowerShell による管理
• Storage Health Provider によるすべて
のストレージレイヤーを包含した管理
仮想マシン
Rate
Limiters
Rate
Limiters
Rate
Limiters
Rate
Limiters
Hyper-V クラスター
SMB 3.x ストレージネットワーク
I/O
scheduler
I/O
scheduler
I/O
scheduler
スケールアウト ファイルサーバー
ポリシー
マネージャー
Storage
performanc
e metrics

28. 28




120
80
0
20
40
60
80
100
120
140
160
180
200
VM1 VM2
200 200
0
20
40
60
80
100
120
140
160
180
200
VM1 VM2

29. 29
 モジュール名: StorageQoS
◦ Get-StorageQosFlow
◦ Get-StorageQosPolicy
◦ Get-StorageQosVolume
◦ New-StorageQosPolicy
◦ Remove-StorageQosPolicy
# QoS ポリシーの作成

30. 30

31. 31
 CPUの世界ではムーアの法則が終焉
 AFA（オールフラッシュストレージ）の台頭により市場＆メジャープレイヤーに変
化が
◦ 今現在の日本市場におけるAFAの導入率は約4.8%
◦ 年率150%で成長中
◦ 2022年に外付けストレージの50%がAFAへ移行すると予想されている
 変化のキーファクター
◦ 単価の下落
 2017年中にSAS HDDよりもフラッシュDiskの容量単価が下回ると予想
◦ フラッシュ容量の劇的な向上とHDD容量の頭打ち
 フラッシュは2倍/年を超えるスピードで容量が増加
 2016年 4TB, 8TB
 2017年 16TB, 32TB

32. 32
 アプリケーションへの貢献
◦ データベース、ミドルウェアなどの処理が遅い理由の多くがストレージボトルネック
◦ SSDの登場によりストレージボトルネックが解消
◦ 今まで処理に時間がかかって実現できなかった事が簡単に実現可能に
 新たなアプリケーションの登場（期待）
◦ SSDを使う事を前提としたアプリケーション（フラッシュネイティブアプリケーション）の登場
◦ 超低レイテンシ（ミリセカンド→マイクロセカンド）を使った環境へ
 リアルタイム処理
 拡張現実（AR)

33. 33
 ボトルネックの変化
◦ 旧来のストレージボトルネックは主にHDDの処理待ちが多かった
◦ SSDのスピードはHDDの100倍程度
◦ ストレージのボトルネックはディスク部分からヘッドへと移行
◦ ヘッドボトルネックが解消するとサーバーとストレージ間の経路がボトルネックに

34. 34
 ここからはHPEとしてのアプローチ

35. PM Brings Storage
メモリスロットへ
PM
メモリの速度
ストレージの耐久性
ストレージの場所をサーバーにより近い場所へ
経路がボトルネックになるなら直接挿しちゃえばいいじゃない

36. 1987 2000 2010 2016
4ms
HDD
0.05ms
SSD
20ns Memristor
15x faster in
20 years10-2
10-3
10-4
10-8
10-7
10-6
10-5
10-1
Persistent store access
times60ms HDD
½ million
faster in
years
Storage technology trajectory
Memory technology trajectory
 不揮発性メモリの速度ってどのくらい？

37. CPU socket Memory Subsystem Storage
Subsystem
Latency to data
Data volatility
Time
従来のデザイン:
Time
Persistent memory 用のデザイン:
SoC: CPU + Memory (Storage)
Latency to data
Data volatility
Execution
units
Cache
L1
Cache
L2
Persistent
memory
Flash
Main memory
(DRAM)
IO accelerator
(Flash) Cache HDD /
SSD ArchiveCache
L1
Cache
L2
Cache
L3
Execution
units

38. Compiler
Today
Horizon 3:
Languages
Horizon 1:
PM Middleware
Horizon 2:
PM Libraries
Application
File System File System
File System
PM
SSD
Application Application
Application
PM Library
File System
PM PM
Disk Driver

39. プロセッサを中心としたデザインから…
SoC
SoC
SoC
SoC
Memory
MemoryMemory
Memory
Memory
+
Fabric
SoC
SoC
SoC
SoC
…メモリを中心としたデザインに変化

40. NVM Express (NVMe)
SCSI Replacement – Block protocol over PCIe
Initially for direct attached SSDs
Very efficient queue and data flow structures
< 10 uS read latencies demonstrated
RDMA
Defined for storage (ISER) for 10 years
Gaining popularity due to flash memory
Eliminates software overhead by avoiding kernel
両方を組み合わせた「Networked NVMe」

41. 41
 The Machine
Photonics
光通信
（～20TB/s)
用途特化コア 不揮発メモリプール

42. 42
 Windows2016のストレージ機能は主に以下の機能が拡充・追加されています
◦ SMB3.1.1
◦ Storage Spaces Direct
◦ Storage Replica
◦ Storage QoS
 実はこの先数年はハードウェアも熱い！
◦ ハードウェアにも面白い機能がたくさん搭載されるので、お見逃しなく

43. 43