Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ

1. Session ID: CLD002
本情報の内容（添付文書、リンク先などを含む）は、Microsoft Tech Summit 開催日（2016年11月1－2日）時点のものであり、予告なく変更される場合があります。

2. 自己紹介
前島 鷹賢 @ 日本マイクロソフト
Day2 18:10-19:00 [CLD009]
お待たせしました！ 真の VDI on Azure がついに実現します！
• 宣伝： 二日目最終セッションも担当します
• 役割： IT インフラ系製品技術のプリセールス
• 主な担当製品技術：
 Windows Server  Microsoft Azure
 System Center  Operations Management Suite (OMS)

3. 本セッションの目的
• ハイパーコンバージドインフラ (HCI) の価値
• HCI を実現する Windows Server 2016 の機能・特徴
▶ 本セッションの中でご理解いただきたいこと
Windows Server 2016 ベースの
HCI および各機能の実機評価・導入
▶ 本セッションの後に実行いただきたいこと

4. Microsoft Tech Summit

5. Compute Nodes とStorage Nodes を
コモディティ・ハードウェア上に集約
Software Defined 技術によってストレージも一体化
ストレージは DAS！ (= Shared Nothing）
高可用性などの仕組みは Software Defined Storage が担当

6. • 導入工程の短縮、システムの安定稼働、ワンストップサービス など
• 2U サイズ～
• クラスターにノードを追加するだけで処理能力増強
• 共有ストーレージおよびストレージネットワークを排除
⇒ 運用の複雑性もパフォーマンスボトルネックも解消

7. ハードウェア技術
の進化 × ソフトウェア技術
の発展

8. Microsoft Tech Summit

9. model
place
Public
Hosted
Private

10. model
place
Public
Hosted
Private
Windows Server
Microsoft AzureAzure で培った実績を
Windows Server へ

11. Azure で培った Software Defined Datacenter 技術を反映
データセンターの
最適化
Software Defined Compute
Software Defined Storage
Software Defined Network

12. Azure で培った Software Defined Datacenter 技術を反映
データセンターの
最適化
Software Defined Compute
Software Defined Storage
Software Defined Network
📢 #CLD011
Windows Server 2016 Hyper-V と
Virtual Machine Manager 2016 でここまでできる！
コンパクトで新しいデータセンターへの変革
📢 #CLD019
Azure から生まれた Windows Server 2016 SDN
～アップデート版～
本セッション
[de:code 2016 : INF-017] Windows Server 2016 の Software Defined Storage のしくみと活用
・動画： https://channel9.msdn.com/Events/de-code/2016/INF-017
・資料： https://doc.co/avHo4i
本セッションでご紹介しきれない
その他 の SDS 機能は…

13. Microsoft Tech Summit

14. ストレージアレイ
Compute
Fibre Channel / iSCSI / FCoE / SAS
WS 2008
WS 2012
WS 2016

15. ストレージアレイ
ディスク
バックプレーン
Compute
Fibre Channel / iSCSI / FCoE / SAS
コントローラーA コントローラーB
ストレージ
管理製品
ストレージ
管理製品
WS 2008
WS 2012
WS 2016

16. スケールアウトファイルサーバー
Enclosure (JBOD)
SAS
Compute
SMB 3.x
Storage Spaces (記憶域スペース)
WS 2008
WS 2012
WS 2016

17. スケールアウトファイルサーバー
エンクロージャー (JBOD)
SAS
Compute
SMB 3.x
Storage Spaces (記憶域スペース)
WS 2008
WS 2012
WS 2016
▶ 少し中途半端だった…
ストレージ管理の柔軟性は増し、JBDO の採用でコスト削減につながったが、
結局「共有ディスク」は必要なまま

18. スケールアウトファイルサーバー
Compute
SMB 3.x
Storage Spaces Direct
WS 2008
WS 2012
WS 2016 Windows Server 純正機能で実現！

19. Compute and Storage
WS 2008
WS 2012
WS 2016
Storage Spaces Direct

20. コンバージド
ハイパーコンバージド
▶ 💡 どちらを選ぶのも自由
ハイパーコンバージド
Compute and Storage
コンバージド
SMB 3.x
Compute
Storage
Azure Stack

21. Microsoft Tech Summit

22. DAS で実現する、高い信頼性と拡張性を持つストレージ基盤
共有ストレージあり
Active Active
共有ストレージなし (Storage Spaces Direct)
Active Active Active Active
信頼性
拡張性
障害の検知と自動フェールオーバー
（ディスク、エンクロージャー、ノード）
プール内でのデータ配置の自動最適化
動的なリソースの追加や削除が可能 コスト削減
複雑な ストレージファブリックの解消
(外部ストレージ/HBA/MPIO/ケーブル など)
SATA/SAS/NVMe デバイスのサポート
System Center による統合管理
（複数ノードにまたがる）
記憶域スペース
記憶域
スペース
DAS
(Direct Attached Storage)

23. ストレージアクセス
1.
2.
ファイルシステム (CSVFS with ReFS)
•
•
•
•
記憶域スペース
•
•
ソフトウェア ストレージバス
•
•
サーバー with ローカルディスク
•
Storage Pool
Storage Space Virtual Disks
Scale-Out File Server
Cluster Shared Volumes C:¥ClusterStorage
Software Storage Bus
Virtual Machines
1 2
SystemCenter

24. 階層1 (キャッシュ)
高速
Hybrid All-Flash NVMe+SSD+HDD
2階層ストレージ
• SSD + HDD (Hybrid)
→ Read / Write キャッシュ
• NVMe + SSD (All-Flash)
→ Write-Only キャッシュ
３階層ストレージ
• NVMe + SSD + HDD
階層2 (データ)
容量効率

25. • SSD キャッシュ
Storage Pool
• 各サーバーのローカルディスクを
1プールに構成可能
• 技術的には Storage Spaces
(記憶域スペース) の応用

26. • SSD キャッシュ
• ストーレジのプール化
• 400 以上のドライブをサポート

27. スケールアウトファイルサーバー
SMB 3.x ファイル共有
ハイパーコンバージド

28. Microsoft Azure
Azure (IaaS) 上の
ファイルサーバー冗長化
SQL Server 2016 用ストレージ

29. Microsoft Tech Summit

30. ハードウェア依存の RAID を介さず、ディスクに直接書き込み
→ RDMA などの技術革新により、高パフォーマンス環境でも実用的に

31.  Erasure coding (dual parity)
 ディスク利用効率： 50%
 ディスク利用効率： 66%
 ディスク利用効率：
SSD & HDD : 72%
All SSD : 80%
8 ノード
16 ノード
4 ノード
 比較的安価な
エントリーモデル
 3方向ミラー（推奨）
または2方向ミラー
 スケールアウト可能
 最大2ノードの障害に対応
(障害内容による)
 外部 Witness なしでも ok
(ただし合ったほうが良い)
3 ノード
 最小構成モデル
 2方向ミラー
 ブランチオフィスに最適
 スケールアウト可能
 1ノード障害まで対応
 クォーラム用
外部 Witness (監視) が必須
 ファイル共有監視
 クラウド監視
2 ノード

32. ノード数
SSD + HDD 構成 All SSD 構成
レイアウト 利用効率 レイアウト 利用効率
4 RS 2+2 50% RS 2+2 50%
5 RS 2+2 50% RS 2+2 50%
6 RS 2+2 50% RS 2+2 50%
7 RS 4+2 66% RS 4+2 66%
8 RS 4+2 66% RS 4+2 66%
9 RS 4+2 66% RS 6+2 75%
10 RS 4+2 66% RS 6+2 75%
11 RS 4+2 66% RS 6+2 75%
12 LRC (8,2,1) 72% RS 6+2 75%
13 LRC (8,2,1) 72% RS 6+2 75%
14 LRC (8,2,1) 72% RS 6+2 75%
15 LRC (8,2,1) 72% RS 6+2 75%
16 LRC (8,2,1) 72% LRC (12,2,1) 80%
RS (Reed-Solomon), LRC (Local Reconstruction Codes) 方式などの詳細は…
http://research.microsoft.com/en-us/um/people/chengh/slides/lrc_in_spaces.pdf

33. ハードウェア技術
の進化
ハードウェア技術
の進化 × ソフトウェア技術
の発展

34. ハードウェア技術
の進化
ソフトウェア技術
の発展
ハードウェア技術
の進化
0
100
200
300
400
500
600
90% Read, 10% Write 4K random IO
Non-RDMA RDMA
SSD vs NVMe
• CPU 使用率の軽減
• レイテンシーの改善
• ディスク I/O の向上 • ディスク処理の高速化
• 安定性 (データ保護) 向上
正しい技術を正しく活用し、コストパフォーマンスを最大化！
RDMA vs Non-RDMA
RDMA NVMe ReFS

35. • 2x Xeon E5-2699v4 2.30Ghz (22c44t)
• 128GB DRAM
• 4x 800GB Intel P3700 NVMe (PCIe 3.0 x4)
• 1x LSI 9300 8i
• 20x 1.2TB Intel S3610 SATA SSD
• 1x Chelsio 40GbE iWARP T580-CR (Dual
Port 40Gb PCIe 3.0 x8)
⇒ 5,000,000 IOPS
• 2x Xeon E5-2699v4 2.20GHz (55M Cache,
22 cores, 145W)
• 2x 800G Intel P3700 NVMe for Cache Tier
• 8x 2TB Intel P3500 NVMe for Capacity Tier
• 1 x Chelsio 40GbE dual-port T580 adapter
• 1x Extreme Networks 40GbE Summit X770-
32x switch for cluster networking
⇒ 3,000,000 IOPS
https://blogs.technet.microsoft.com/filecab/2016/07/
26/storage-iops-update-with-storage-spaces-direct/
http://itpeernetwork.intel.com/record-performance-
flash-nvme-configuration-windows-server-2016-
storage-spaces-direct-2/
16ノード クラスター 4ノード クラスター

36. Microsoft Tech Summit
📢 Day2 14:25 - 15:15 [CLD019]
Azure から生まれた Windows Server 2016 SDN ～アップデート版～
SDN の
詳細は…

37. RDMA (Remote Direct Memory Access)
ネットワークの”信頼性”と”パフォーマンス”は最重要事項！

38. WS 2016 ConvergedWS 2012 R2
NIC
RDMA
vmNIC vmNIC
NIC
RDMA
NIC
_
NIC
_
NIC Team
Hyper-V Switch
Live Migration
管理用
Cluster
CSV

39. WS 2012 R2
NIC
RDMA
vmNIC vmNIC
NIC
RDMA
NIC
_
NIC
_
Live Migration
管理用
Cluster
CSV
vmNIC vmNIC
NIC
RDMA
NIC
RDMA
Hyper-V Switch
(SDN)
Embedded Teaming
Live Migration
CSV
管理用 OS
vNIC
管理用 OS
vNIC
RDMA
管理用 OS
vNIC
RDMA
S2D
管理用
Cluster
WS 2016 Converged

40. • ストレージクラスターへの通信 (通称 North – South)
• [コンバージド] スケールアウトファイルサーバーへの Hyper-V アクセス
• [ハイパーコンバージド] ユーザーによる仮想マシンアクセス
• ストレージクラスター内通信 (通称 East – West)
• ハートビート, Storage Replica, Storage Spaces Direct など
North-South
East - West
 少なくとも 10Gb Ethernet！
 RDMA を強く推奨！
(オフロードによる CPU 負荷の軽減にも)
 Top of Rack (ToR) スイッチの構成をお忘れなく!
 CSV キャッシュを有効化！ (East-West 帯域最小化 )
 SET による NIC の統合も検討！
East-West > North-South

41. Microsoft Tech Summit

43. 1. OS をインストール
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
• Windows Server 2016
Datacenter エディション
• 最小 2 ノード ～
• Windows Update お忘れなく！

44. 1. OS をインストール
2. ドメイン参加
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter

45. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
• Top of Rack スイッチの構成
(RoCE 利用時)
• Network QoS の構成
• Hyper-V 仮想スイッチの構成

46. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
4. 必要な役割と機能を追加
 [役割] Hyper-V
 [機能] Failover Cluster
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
Failover Cluster
Hyper-V
Failover Cluster
Hyper-V

47. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
4. 必要な役割と機能を追加
 [役割] Hyper-V
 [機能] Failover Cluster
5. 再起動
6. クラスターを作成 Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
Failover Cluster
Hyper-V
Failover Cluster
Hyper-V
New-Cluster
–Name <ClusterName>
–Node
<MachineName1,MachineName2>
–NoStorage

48. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
4. 必要な役割と機能を追加
 [役割] Hyper-V
 [機能] Failover Cluster
5. 再起動
6. クラスターを作成
7. Storage Spaces Direct 有効化
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
Failover Cluster
Hyper-V
Failover Cluster
Hyper-V
S2D
Enable-ClusterStorageSpacesDirect
–CimSession <ClusterName>

49. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
4. 必要な役割と機能を追加
 [役割] Hyper-V
 [機能] Failover Cluster
5. 再起動
6. クラスターを作成
7. Storage Spaces Direct 有効化
8. ボリューム作成
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
Failover Cluster
Hyper-V
Failover Cluster
Hyper-V
S2D
ReFSReFS ReFS ReFS ReFS

50. 1. OS をインストール
2. ドメイン参加
3. ネットワーク構成
4. 必要な役割と機能を追加
 [役割] Hyper-V
 [機能] Failover Cluster
5. 再起動
6. クラスターを作成
7. Storage Spaces Direct 有効化
8. ボリューム作成
9. VM を作成・展開
Windows
Server 2016
Datacenter
Windows
Server 2016
Datacenter
Switch
Switch
Failover Cluster
Hyper-V
Failover Cluster
Hyper-V
S2D
NTFSReFS ReFS ReFS ReFS

51. Microsoft Tech Summit

52. Function Product Cost
Motherboard ASRock C236 WSI $ 199.00
CPU Intel Xeon E3-1235L v5 25w 4C4T 2.0Ghz $ 283.00
Memory 32 GB (2 x 16 GB) Black Diamond ECC DDR4-2133 $ 208.99
Boot Device Innodisk 32 GB USB 3 DOM $ 29.33
Storage (Cache) 2 x 200 GB Intel S3700 2.5” SATA SSD /
Storage (Capacity) 6 x 4 TB Toshiba MG03ACA400 3.5” SATA HDD /
Networking (Adapter) Intel Thunderbolt™ 3 JHL6540 PCIe Gen 3 x4 Controller Chip /
Networking (Cable) Cable Matters 0.5m 20 Gb/s USB Type-C / Thunderbolt™ 3 $ 17.99*
SATA Cables 8 x SuperMicro CBL-0481L $ 13.20
Chassis U-NAS NSC-800 $ 199.99
Power Supply ASPower 400W Super Quiet 1U $ 119.99
Heatsink Dynatron K2 75mm 2 Ball CPU Fan $ 34.99
Thermal Pads StarTech Heatsink Thermal Transfer Pads (Set of 5) $ 6.28*
* Just one needed for both servers.
機内持込用キャリーケースにも収まる超コンパクトな HCI 環境
https://blogs.technet.microsoft.com/filecab/2016/10/14/kepler-47/
The key parts of Kepler-47.
Project Kepler-47

53. Windows Server
Software Defined
Validated Partner
Hardware Platforms
• 検証済み構成
 相性問題などのリスク軽減
 メーカーのノウハウ・英知
• 組み込みプラットフォーム
 セルフセットアップウィザード
• ワンストップサービス

55. DELL PowerEdge R730XD
HPE ProLiant DL380 Gen9
Cisco UCS C240 M4
Intel MCB2224TAF3
Quanta D51B-2U (MSW6000)
DataON S2D-3110
Fujitsu Primergy RX2540 M2 Inspur NF5280M4
Lenovo X3650 M5 NEC Express5800 R120f-2M
RAID Inc. Ability™ HCI Series S2D200 SuperMicro SYS-2028U-TRT+

56. Microsoft Tech Summit

57. パブリッククラウド生まれの 新しいハイパーコンバージド
Windows Server
Microsoft Azure

58.  Windows Server 2016 評価版
180日間お試しいただけます！
https://www.microsoft.com/ja-jp
/evalcenter/evaluate-windows-server-2016
今すぐ 環境を構築・ご評価を開始いただけます！
💡考えるよりも、まずは実践。
手を動かしてご体感ください！