最新のデータセンターデザインを集めてみました。

1. データセンター省電力化データセンター省電力化データセンター省電力化データセンター省電力化 システムデザインシステムデザインシステムデザインシステムデザイン
• 一般的なデータセンター空調の歴史
• NEDO GreenITプロジェクト
• コンテナデータセンターによる省電⼒化実証実験
• その他の成果
• 省電⼒化技術のまとめ
• 海外の実例
• 国内の実例
• サーバの⾼密度⾼性能化
SUGIPOOH 杉田正

2. 発電機
重油備蓄
無停電電源
（電池）
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
2000年ごろ 密閉型 （魔法瓶型）データセンター
100ラック 20HP（56KW)空調機6台
1ラック 2KVA
2U 160Wサーバ 10台
100ラック 合計 1000台
発電機は利用率50％として
500KVA～1000KVA
建物込サーバ別 概算15億円
サーバ積載イメージ
8,600
様々なデータセンター 2

3. 発電機
重油備蓄
無停電電源
（電池）
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
2005年ごろ 密閉型 （魔法瓶型）データセンター
100ラック 20HP（56KW)空調機12台
空調機 空調機 空調機 空調機 空調機 空調機
8,600
サーバ積載イメージ
1ラック 4KVA
1U 160Wサーバ 20台
100ラック 合計 2000台
発電機は利用率50％として
1000KVA～2000KVA
建物込サーバ別 概算25億円
様々なデータセンター 3

4. 発電機
重油備蓄
無停電電源
（電池）
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
最新のHPC 密閉型 （魔法瓶型）データセンター
70ラック 20HP（56KW)空調機16台
空調機 空調機 空調機 空調機 空調機 空調機
サーバ積載イメージ
1ラック 8KVA
1U 160Wサーバ 40台
56ラック 合計 2240台
発電機は利用率50％として
2000KVA～2800KVA
建物込サーバ別 概算30億円
8,600
空調機空調機
空調機空調機
様々なデータセンター 4

5. 発電機
重油備蓄
無停電電源
（電池）
電力会社
空調機 空調機 空調機 空調機 空調機 空調機
70ラック 20HP（56KW)空調機32台
空調機 空調機 空調機 空調機 空調機 空調機
サーバ積載イメージ
1ラック 16KVA
1U2台 160Wサーバ 80台
56ラック 合計 4480台
発電機は利用率50％として
2000KVA～2800KVAを2台～3台
建物込サーバ別 概算35億円
空調機空調機
空調機空調機
密閉型 （魔法瓶型）データセンター クラウドは無理
8,600
空調機 空調機 空調機 空調機 空調機 空調機
空調機 空調機 空調機 空調機 空調機 空調機
空調機空調機
空調機空調機
従来からの魔法瓶型では、空調機コストが高い。
様々なデータセンター 5

6. 液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱液冷方式による抜熱
直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御直流電源供給と電源アダプティブ制御
サーバの省電力運用サーバの省電力運用サーバの省電力運用サーバの省電力運用
液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ液冷および電源直流化を考慮したファンレスサーバ外気導入装置外気導入装置外気導入装置外気導入装置
（グリーンユニット）（グリーンユニット）（グリーンユニット）（グリーンユニット）
クーリングタワークーリングタワークーリングタワークーリングタワー
モジュールモジュールモジュールモジュール
NEDO GreenITプロジェクト
次世代モジュール型データセンタの構成
従来従来従来従来 次世代次世代次世代次世代
抜熱
方式
サーバ内 空冷ファン 液冷液冷液冷液冷
全体 空調機 外気導入外気導入外気導入外気導入
給電方式 交流
全電源装置常時稼働
高電圧直流高電圧直流高電圧直流高電圧直流
負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減負荷に合わせた電源装置数の増減
IT運用方式 全マシン常時電源ON 負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減負荷に合わせたマシン数増減
→電源電源電源電源ON/OFF
7800mm
3000mm
2950mm
6

7. 抜熱方式 グリーンユニットの動作
• 基本的な運用は、
熱交換器を使い、
間接的に外気を
利用し、モジュール
内の空気を循環
給気ファン
除湿・加湿器
気化冷却器 直接給気チャンバ
熱交換器
排気ファン
7これからのデータセンターが目指す技術

8. 新型省電力
サーバーであれば
１２０台でも３０A
ラック内に仕切りを設置
温風が給気側に戻らない
空調効率改善技術
ヒートシャッター
ヒートシャッター
排気が戻らないと吸気
側温度は、気温以上に、
上昇しない。
＜ 40℃
最新サーバーは、
40℃でも稼働出来る
床
天井
8

9. 利用する測定器
9
コールドアイル 28℃以上
→ホットアイル 34℃～38℃
差圧は0.3Pa以上あれば良い

10. 10
• ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代ファーストサーバー勤務時代
• 日本初日本初日本初日本初 大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入大量ブレードサーバ導入
• １ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０１ラック耐荷重７５０KgKgKgKg １列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。１列１０ラックでの耐震設計。
• 日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果日東工業・大林組によるシミュレーションによる成果
• １ラック１ラック１ラック１ラック １６０１６０１６０１６０AAAAの常識はずれのの常識はずれのの常識はずれのの常識はずれの
高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働高密度設計、安定稼働１１１１3333年年年年
• NECNECNECNEC８番街でのご紹介８番街でのご紹介８番街でのご紹介８番街でのご紹介
• 「杉田正」で「杉田正」で「杉田正」で「杉田正」でGoogleGoogleGoogleGoogle検索いただくと検索いただくと検索いただくと検索いただくと
http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.http://www.express.nec.co.jp/jirei/new/first/index.
htmlhtmlhtmlhtml がヒットします。がヒットします。がヒットします。がヒットします。
• 独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置独自設計・通路に扉を設置
• 現在でも先端を行く現在でも先端を行く現在でも先端を行く現在でも先端を行く省エネルギーデータセンター省エネルギーデータセンター省エネルギーデータセンター省エネルギーデータセンター
• DCDCDCDC内内内内 風流な風流な風流な風流なコントロールコントロールコントロールコントロール
• ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計ブレードサーバ専用設計
• 1111４ラック４ラック４ラック４ラック
• PUEPUEPUEPUE＝２１０＝２１０＝２１０＝２１０KWKWKWKW÷÷÷÷１５８１５８１５８１５８KWKWKWKW＝約１．３＝約１．３＝約１．３＝約１．３
ブレードサーバー⾼密度実装
日本初 ⼤量導⼊635台
※PUEとは、
サーバー電力＋空調電力
サーバー電力
であり、最良値が1.0。PUE=2.0ならば サーバーと同じ電力を空調が浪費している。
※有名なIBMブレードサーバCM「広い白い部屋のブレード」時期の３年前

11. 11
エアーキャッピング 改造実施例
中国江蘇省 揚州中国電信
６００ラック（３００ラック ２フロワー）

12. 12
データーセンターの省電力化技術データーセンターの省電力化技術データーセンターの省電力化技術データーセンターの省電力化技術
データセンターの空調機電⼒を削減する⽅法
① 空調機を新型に交換（冷凍圧縮機効率が⼤幅に改善）
② 空冷と⽔冷を併用
③ ヒートシャッターによる冷気エリア・暖気エリアの分離
④ 外気導入（直接・間接）
⑤ 新型UPS（無停止電源）やHVDC（⾼圧直流電源）の導⼊
⑥ 40℃に耐えるサーバの導⼊（冷気エリアの室温を上げる）
⑦ サーバ仮想化によるサーバ集約
最近の主流
冷凍空調機の運転時間を減らす方法で実例では、①と③を併用が多い。
空調機電気使⽤料を３０％から６０％ PUE=１.３前後まで削減可能。
直接外気導入
当初より冷凍空調機を導⼊せずに電⼒コストを削減、PUE=1.1前後（１KW
サーバー冷却に必要な電⼒が１００W）を実現。
高価な冷凍圧縮空調機を使わない為、データセンター建設コストも⼤幅に低減。
間接外気導入
直接外気導入の欠点 ホコリ、腐食性ガス侵入を対策

13. 13
CERN DataCenter
出所：http://www.zdnet.com/needed-more-than-ever-devops-to-manage-cloud-unpredictability-7000030828/

14. 14
隙間が空いている
熱交換コイル
ラック背後のファン群
ホットアイルホットアイルホットアイルホットアイル
床下から冷却水
3ラックで1クラスタを構成？
Google

15. Google
15
http://www.techbang.com/posts/16068-google-taiwan-data-center-tour?page=1
久しぶりに公開された Googleお皿サーバー
Google最新サーバ
IBM Power8

16. 16
Facebook仕様 外気導入システムフロー
Facebook

17. 17
Open Compute server triplet racks １ラック３０サーバー
１ラック ファン合計台数は、５×３０＝１５０台
＠２０CFM×１５０＝３０００CFM
この写真6ラック １８０００CFM必要
Facebook
出所：DataCenterKnowledge
Open Compute Serverと大容量ストレージ

18. 18
20MW Bitcoin DataCenter
ファンだけで冷却
出所：Bitcoin Hardware Player BitFury Enters Cloud Mining With 20MW Data Center

19. 三菱商事データセンター
19
三菱商事は2013年10月、東京都三鷹市でデータセンターの運用を開始したと発表
した。都心近郊にありながら、完全外気冷房システムを導入したことが特徴」Tiar4に
対応しながら外気冷却を導入している。

20. 20
富士電機 間接外気空調機 F-COOL Neo

21. 日本Yahooグループ IDCフロンティア
福島県新白河データセンター
様々なデータセンター 21

22. 日本Yahooグループ IDCフロンティア
福島県新白河データセンター
様々なデータセンター 22

23. 通常期は、井⼾⽔を利⽤してAHU（空気調和機加湿機内蔵）にて
サーバ熱を排出し、加えて除湿機により、温度及び湿度を調整します。
非常時は、外気を導入し
サーバ熱を天井から排気します。
チロロネット データセンター
井⼾⽔を使いPUE=1.02を実現した省電⼒データセンタ
データセンター空調省電⼒化技術の進化
23

24. http://www.chiroro.co.jp/datacenter/
1ラック12KVA 8ラック6列構造（6コンテナに相当）
受電電力500KVA
対称および田の字に、特高受電不要な2000KVAまで増築可能
模型
24

25. サーバーの⾼密度高性能化
1ラック12kVA、物理16ノード仮想100台分以上を1ラックに搭載可能。
１．2004年頃～
仮想化技術により4台を1台に集約
KVM、Vmwareなど
２．2008年頃～
I/O高速化により10台を1台に集約
主としてWeb系 Fusion-IOなど
３．2012年頃～
管理ツールを含む仮想化システム
10台を1台に集約
Nutanix、EVO:RAIL、OpenStackなど
Chiroro型DCで4棟（192ラック）2,000KVA に最新高密度高性能サーバを採用すると約19万台分相当を実装可能
4棟で太陽光発電2.4MW 蓄電池4.8MWh
※19万台分は日本国内1年間出荷サーバの約半分に相当 25

26. 26
Open Compute Project
1ラックに540個のプロセッサを集約する「Yosemite」
APPLEが採用したと報道されるFacebookが主導するOpen Compute Project最新高密度Xeon Dサーバ
出所：http://itpro.nikkeibp.co.jp/atcl/column/14/346926/031700198/?SS=imgview&FD=818935688&ST=cloud
FaceBookとIntelが15ヶ月間の共同開発