大規模なスイッチレス・サーバクラスタリング構築運用の考察 2014年3月5日 第28回インターネットと運用技術研究発表会 (IOT28) さくらインターネット株式会社 / さくらインターネット研究所 上級研究員　松本直人

1. 2015年3月5日
第28回インターネットと運用技術研究発表会 (IOT28)
さくらインターネット株式会社 / さくらインターネット研究所
上級研究員 松本直人

2. スイッチレス・サーバクラスタリング
大規模サーバクラスタのコスト削減を目指す
10/40GSW: 10/40Gigabit Ethernet Switch, SV: Server

3. 大規模サーバクラスタの設計課題
スイッチ台数とケーブルの増大
Copyright (C) Sun Microsystems, Inc.

4. 大規模サーバクラスタの要求分析
トラフィック性能の許容範囲でのコスト削減
優先事項の整理
システムコスト削減 ＞ トラフィック性能

5. 期待されるコスト削減効果
削減されるスイッチ台数のぶんだけ

6. 10/40/56GbE NICの市場価格
10/40/56GbE NICは低価格化している
SOURCE: Colfax International. (12/2014)

7. 40GbEでのコスト削減効果の試算
スイッチレス・サーバクラスタリング導入効果
32
COST($)
64 128 256 512 (Servers)
Mellanox SwitchX-2 36-Port 40GbE Switch + Dual port 40GbE NIC x1
model
Quanta T5032-LY6 32-Port 40GbE Switch + Dual Port 40GbE NIC x1
model
Chelsio T580-SO-CR Dual-Port 40GbE NIC x2 model
1024
コスト削減効果 $113,424-
SOURCE: Colfax International 01/2015

8. 10/40GbE NIC価格下落の傾向
一定周期で市場変化が見られる
COST($)
SOURCE: Colfax International 01/2015
ANALYSIS: SAKURA Internet Research Center. 01/2015 Project THORN.

9. スイッチレス・サーバクラスタリング
これを実現するには...
10/40GSW: 10/40Gigabit Ethernet Switch, SV: Server

10. 仮想ルータの導入
VMM上の仮想ルータにOSPFv3を導入
10/40GSW: 10/40Gigabit Ethernet Switch, SV: Server

11. 仮想ルータの経路制御
サーバクラスタ内部はOSPFv3、外部はBGP
10/40GSW: 10/40Gigabit Ethernet Switch, SV: Server

12. 乗り越えるべき設計構築上の課題
サーバ間のネットワーク設定箇所が増大
10/40GSW: 10/40Gigabit Ethernet Switch, SV: Server

13. 提案方式による課題解決
IPv6 Link-Local Addressの活用

14. 仮想ルータ設定のテンプレート化
Unique Local IPv6 Unicast Addressesの活用
vtysh
configure terminal
router ospf6
router-id 10.0.0.16
redistribute connected
area 0.0.0.0 range fd50:d026:7eee::/48
interface eth0 area 0.0.0.0
interface eth1 area 0.0.0.0
interface eth2 area 0.0.0.0
interface eth3 area 0.0.0.0
:
interface lo
ipv6 address fd50:d026:7eee:16::16/64
end
write
全仮想ルータ
共通テンプレート
仮想ルータ識別設定
仮想ルータ識別設定

15. 経路制御の確認
OSPFv3およびBGPによる経路制御

16. サーバクラスタ冗長の確認
一度に複数サーバが停止しても動作継続

17. ラック設計とケーブリング効果
サーバ排熱を妨げないケーブリングへの期待
サーバ排熱の流れサーバ排熱の流れ

18. オーバレイネットワーク技術の導入
テナント毎に独立したLayer2セグメント提供

19. まとめ
以上に納得できる場合、
スイッチレス・サーバクラスタリング！
・スイッチ数に比例したコスト削減効果
・一度に複数サーバが停止しても動作継続
・サーバ排熱を妨げないケーブリング
・テナント毎に独立したLayer2セグメント

20. ご清聴誠にありがとうございました