第５回ビッグデータと統計学研究集会 北海道大学学術交流会館 ２０１４年４月１５日

1. ビッグデータ時代の
アカデミッククラウド
棟朝 雅晴
北海道大学 情報基盤センター
副センター長・教授
munetomo@iic.hokudai.ac.jp
第５回ビッグデータと
統計学研究集会
平成２６年４月１５日
1

2. 自己紹介
棟朝 雅晴（むねとも まさはる）
北海道大学情報基盤センター 副センター長・教授
専門：クラウドコンピューティング・分散処理
進化計算・メタヒューリスティクス・最適化
「北海道大学アカデミッククラウド」の設計・構築を担当
情報基盤センター クラウドコンピューティング研究会 主査
大学ICT推進協議会クラウド部会 副査
情報処理学会数理モデル化と問題解決研究会 主査
クラウド利用促進機構 総合アドバイザー
Open Compute Project Japan 発起人・運営委員
2

3. 北海道大学情報基盤センター
• ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」
（他に 東大、京大、東北大、東工大、名大、阪大、九大）
• 1962年：大型計算機センターとして発足
（全国共同利用施設）
• 2003年：1979年に発足した情報処理教育セン
ター（後に情報メディア教育研究総合センター）
とともに情報基盤センターとなる
• スーパーコンピュータ、クラウドシステム、キャンパスネットワーク、
メディア教育などに関する研究開発を推進
3

4. National Supercomputers hierarchy toward 2018
National Leadership System
(The next “K” : 1 Exa Flops in 2018)
Supercomputers
in major universities
and laboratories
(1∼100 Peta Flops in 2018)
Clusters in
other univ.,
labo., and
companies
“HPCI”
systems
4

5. 北海道大学アカデミッククラウド
• 国内最大（本格的なクラウドとしては世界的にも最大級）の学術クラウド
→ 最先端のクラウドミドルウェアを採用した最初の事例として
国内はもちろんのこと、国際的にも注目を集めている
→ スパコン並みの高性能（43.8TFlops, 2,000以上のVMを実行可能）
• ビッグデータ処理システム（Hadoopクラスタ）を自動的に設定し利用者が占
有して利用できる基盤を整備
5

6. 「ビッグデータ」処理パッケージの提供
• ビッグデータ関連研究に必要となるクラスタシステムをパケージ化して提供
• 機械学習に必要なライブラリも含めた（Hadoop, Hive, Mahout, R）大規模並
列処理システムを、ストレージの負荷分散も考慮しつつ自動構築
Storage #3
Virtual(
Disk
Storage #4
Virtual(
Disk
Storage #2
Virtual(
Disk
Zone!
POD!
Shared Storage #1
Resource Pool #1
HyperVisor #2
HyperVisor #1
Virtual(
DiskVM(
Balancing!overheads!of!disk!I/O!with!
round8robin!assignment!of!Virtual!disks.!
Storage #1
VM(
VM(
VM(
VM(
Virtual(
DiskHadoop Cluster
Shared Storage #2
Resource Pool #2
HyperVisor #4
HyperVisor #3
Virtual(
Disk
VM(
Shared Storage #3
Resouce Pool #3
HyperVisor #6
HyperVisor #5
Virtual((
Disk
VM(
Shared Storage #4
Resouce Pool #4
HyperVisor #8
HyperVisor #7
Virtual(
Disk
VM(
6

7. クラウド（コンピューティング）
• 最小限の管理コストで、計算機、ネットワーク、ストレージ、ソフトウェア等
様々な共有リソースを需要に応じてすぐに構築、設定し「サービス」として
利用できる仕組み。
• Everything as a Service（XaaS）→ IaaS（インフラ）、PaaS（プラットフ
ォーム）、SaaS（ソフトウェア、アプリケーション）等
• クラウドの持つべき性質: On demand self-service, Broad network access,
Resource pooling, Rapid elasticity, Measured service （NISTによる）
• 運用モデルとして、パブリック、プライベート、コミュニティ、ハイブリッド
9

8. 「アカデミッククラウド」の個人的な定義
“Virtual community cloud for academic use built on
the inter-cloud environment consisting of private and
public clouds.”
「プライベートクラウドとパブリッククラウドの両方で構成され
るインタークラウド環境上に構築された、学術利用向けの仮想
的なコミュニティクラウド」
→ 学術利用に必要となるクラウド資源をプライベート、パブリ
ックを問わず連携し、大学等の教育研究に活用するための統合
情報基盤。先進的なクラウド利用を促す仕組みとして重要。
10

9. アカデミッククラウド ＝
「新たな試み」を支援するシステム基盤
11

10. アカデミッククラウド環境構築に係るシステム研究
• 平成25年度国家課題対応型研究開発推進事業
『アカデミッククラウド環境構築に係るシステム研究』提案
「コミュニティで紡ぐ次世代大学ICT環境としてのアカデミッ
ククラウド」
• 全国規模でのアンケート調査、
海外動向調査などにより、日本に
おけるアカデミッククラウド基盤の
ありかた、標準仕様を策定
HP
http://www.icer.kyushu-u.ac.jp/ac
12

11. アカデミッククラウド環境構築に係るシステム研究
• 研究支援に係るアカデミッククラウド＆基盤技術標準の調査を担当
13
1-1 実施体制
事業推進グループ
システム研究グループ
教育分野
事業代表: 梶田教授
（京都大学）
研究分野
事業代表: 棟朝教授
（北海道大学）
事務
分野
事業代表:
森原特任教授
（大阪大学）
コンテンツ分野
事業代表: 岡田教授
（九州大学）
セキュリ
ティ
分野
事業代表:
西村教授
（広島大学）
プライ
バシ
分野
事業代表:
中村教授
（慶應義塾）
岡田教授（九州大学）
事業代表 （全体統括・調査担当）
事務業務
久志部長
（九州大学）
委託調査ﾀｽｸﾌｫｰｽ
岡田主査（九州大学）
各システム研究チームの
事業代表者・研究者
クラウド部会
梶田主査（京都大学）
CIO部会
安浦会長
（九州大学）
大学経営・システムアーキテクチャ分野
事業代表: 安浦理事 （九州大学）
統括 報告
連携
調査
内容
調査
結果
依頼 調整
認証連携分野
事業代表: 山地准教授
（国立情報学研究所）
ネットワーク分野
事業代表: 菅沼教授
（東北大学）
契約業務
益森部長
（九州大学）
事務局
久志事務局長
（九州大学）
安浦理事（九州大学）
副代表（CIO連携担当）
深澤教授（早稲田大学）
副代表（大学経営担当）
梶田教授（京都大学）
副代表（ｻｰﾋﾞｽ技術標準担当）
棟朝教授（北海道大学）
副代表（基盤技術標準担当）
連携
提案 調整
委託
契約
実施
報告
全国共同利用
情報基盤センター長会議
クラウドコンピューティング
研究会
棟朝主査（北海道大学）
コミュニティ連携
(キックオフミーティング 九大：岡田教授資料より）

12. アンケート調査結果（研究支援部署向け）
• 有効回答数：684 組織
• 共同利用を行っている組織：93 組織（回答中 13.6 ％）
• のべユーザ合計数：42,401人
• 現状での提供コア数：11,634 コア
• 現状でのデータ総量：18.3 PB
• 中小規模の大学ではクラウド移行への
希望が多い
14

13. 研究支援部署からのコメント例
• 資源不足、人員不足、人材確保、運用経費の高騰などが課題
• 「研究用途の場合，IaaSまたはPaaS型のクラウドシステムの提供が望ましい。それ
らを利用する場合，自分の研究室にある計算機のように使えると良い。」
• 「様々なニーズがあがってくると思われますが、クラウドのクラス分けを極力シンプ
ルにして、8割方のユーザを吸収できる汎用性のあるクラウド展開がよいと思いま
す。」
• 「利用データ量が大きいので、データを移動するのがもはや現実的ではなくなって
きている。データのあるところに計算資源がないと不便。」
• 「ビッグデータ解析のために一時的にも大容量の共有ストレージがあるとよい」
• 「クラウドを構築するのであれば、恒久的な高速学術ネットワークを担保すること
が必須です。」
15

14. アンケート結果（研究者個人向け）
• 全回答数 2,395 課題（全課題 71,755件中の 3.3％）
• データ量の合計：7.5 PB
（回答数が科研課題全体の約1/30
であることを考慮すると
全体で 230 PB となる可能性）
• 今後のデータ増加量の見積り：
3.1PB/year
（同じく 全体で 93PB/year ）
16

15. アカデミッククラウドに対するニーズ
• 「アカデミッククラウドを利用したい」を回答した研究者について、そ
の要求資源量の総量は
- コア数 ：平均 1,187.8 コア × 89（回答数）= 105,718 コア
- ストレージ：平均 957,874 GB × 124（回答数）= 118.8 PB
• 回答数が科研全体の 1/30 であることを考慮
すると、以下の推定値となる。
- コア数：105,716 コア × 30 = 300万コア
- ストレージ：118.8 PB × 30 = 3.5 EB
17

16. 研究者からのコメント（１）
• 計算サービスとして、高性能なサーバを利用できるクラウドサービスを求める声が
多い。スパコンなど共同利用している計算機の資源が埋まっていることが度々ある
ため、少ない資源でも占有できるサービスを求めている。
• データがどんどん増えているが、適切な管理方法が分からず、エクセルファイルで
いくつものファイルを保存している。
• データはそのものは基本的に無料で公開されているものが多いが、必要データのダ
ウンロードに数ヶ月要し、ボトルネックとなる場合が多い、との指摘あり。
• 証拠能力のある「研究ノートの電子化」（研究データの保全・を担えるシステム）
や、情報漏洩を防止する、高度に暗号化されたファイルシステムの要望あり。
• Dropboxなど商用のオンラインストレージは便利だが、不安も有り、容量制限や料
金、転送速度の問題もあるため、高速、大容量、安価で、セキュアなオンラインス
トレージサービスを求める声が多い。
18

17. 研究者からのコメント（２）
• データのバックアップについて課題を抱えている例が多い、大容量のデータを簡単
かつ安価にバックアップできるようにしてほしいとの要望が多い。特に災害対応ま
で手が回らず不安を抱えている。
• データの中に個人情報等が有るため、守秘性に関する不安あり。
• 公的なクラウドであれば信頼できるだろうが、私的なクラウドは、情報秘匿に関し
て信用できるかどうか確証が持てない、との意見あり。
• 計算機環境の構築や管理の負担が大きく、クラウドにその負担軽減を期待。
• すべてをクラウド上に構築すると、研究費の切れ目が研究の終了につながってしま
うリスクが大きいとの懸念あり。
• コラボレーションが促進されるような仕掛けがあるべき、との要望あり。
19

18. アカデミッククラウド（研究支援）要求仕様案
• 必要とされる資源量：エクサバイト超級のストレージ、100万コア規模のビッグデータ処理
インフラ、100Gbps超のネットワーク
• スケーラブルなストレージと大規模並列データ処理システムが密に接続され、ビッグデータ
の連携処理が容易であること。さらに、スパコン等の大規模計算システムとも密に連携でき
ることが望ましい。
• 効率化のための資源の集約と、リスク・災害対応のための分散化、のバランスをとった地域
拠点型の配置を基本として、100Gbps超の高速ネットワークで相互接続されていること。
• 運用体制については、既存組織の体制を活用して運用の継続性を担保しつつ整備し、研究支
援体制なども含めた総合的な全国共同利用サービスとして提供すること。また、認証、セキ
ュリティなど管理面では統一的な仕様やポリシーを整備し、準拠すること。
• インフラを整備するだけではなく、それを最大限活用するためのプラットフォームやアプリ
ケーションを開発し、サービス（PaaS / SaaS）として提供するための研究開発を支援する
体制を有すること。さらに、民間や国際的な連携を含めた研究者の人的交流を促進する体制
を有することが望ましい。
20
棟朝雅晴：アカデミッククラウド委託調査最終報告会（2/13）スライドより

19. 海外事例調査（大学間共同データセンター）
• HMDC (Harvard-MIT Data Center)
ハーバード大とMITの共同によるデータセンター（社会科学系）
• Massachusetts Green High Performance Computing Center (MGHPCC)
マサチューセッツ州の大学（Boston University, Harvard University, MIT,
Northeastern University, and the University of Massachusetts）間で共同利用
のHPCクラウドデータセンター
→ “Massachusetts Open Cloud”
21
（http://www.mghpcc.org）

20. 「データ」がイノベーションの となる
• 「データ」がイノベーション、競争力の源泉となる
• 「クラウド」の本質は「データ」
→ 「ビッグデータ」と直結した「クラウド」
「スパコン」により大規模並列処理を加速
→ 有用な知見を速やかに発見し、活用する
• Imperial College London: Research Data Service
→ 100PBを目指した、大学全体としてのデータストージ
• CERN: LHC（加速器）の出力：1ZB/year
22

21. 「ビッグデータ」がビジネスの本質（facebook）
• facebook: 毎日500TB以上のデータを処理
写真・動画で300PB以上を蓄積
（複数のデータセンターで分散管理）
→ Hadoop, Hiveなどのクラスタをオンデマンドで
構築して解析、新サービスに関する研究開発
300PB∼
インフラの
「オープン化」
によるコスト
削減
23

22. スパコン・インタークラウド連携による設計探査
• 全国規模の大規模分散設計探査
フレームワークの実現
（H26年度JHPCN採択課題）
• シミュレーション（スパコン）
と多目的最適化（クラウド）
を分散データベースで連携
• パレート最適解の
データベースを構築
（有望な設計パラメータ列）
→ 可視化、最適設計
24
Solutions)DB,
(distributed)
Automated,
replication,
for)DR)and,
load)balancing
Visualization
Simulation,
(Supercomputer)
Optimization)&,
DB)management,
(Cloud)system)
Distributed,
Database
(www.jaxa.jp)

23. Academic Cloud + Big Data = Innovations
• 全国規模のアカデミッククラウドの連携により、ありとあらゆるデータ、コ
ンテンツ、リソースなどを統一的な枠組みで利用できるようにする
• データやリソースなど予想外の「組み合わせ」をうながす環境を整備する
→ 新たな研究分野の開拓を支援するイノベーションの基盤を実現する
• 規模の経済による効率化と、オンデマンドサービスによる研究開発プロセス
のスピードアップ
• 基本的な技術については特に新しいものではなく、基盤となるソフトウェア
も整備されつつあるので、どれだけ徹底的かつ早く「やるのか」が重要
25

24. ペタバイト級データサイエンス統合
クラウドストレージシステム（４月からサービス開始）
• 約 2PBのクラウドストレージ ＋ CloudStack 最新環境（500コア）
• 今年４月からサービス開始：研究プロジェクト向けに提供
→ HPCI, JHPCN等の研究課題採択者は無料で使えます！
• 高速大容量のオブジェクト
ストレージ・オンライン
ストレージ：1TB単位
100MB/s ∼ 1GB/s
• CloudStack 最新環境と
大容量ストレージの
密な連携により、
ビッグデータ研究を支援
26