2017年1月18日および19日に開催した「STAR-CCM+ クラウド活用ハンズオンセミナー with Rescale」で使用した資料です。 注：本ハンズオンを実施するにはSTAR-CCM+のライセンスが必要になります。 A material used in "STAR-CCM + Cloud Utilization Hands-on Seminar with Rescale" on Jan/18-19/2017. Note: To execute this hands-on, a license of STAR-CCM + is required.

1. STAR-CCM+ on Rescale
DEMO & HANDS-ON
長尾 太介 Jan 18-19, 2017

2. 自己紹介
• 長尾 太介 (Daisuke Nagao)
• 職歴
– 富士ゼロックス (粉体シミュレータの開発、スパコン環境の導入・管理)
– NVIDIA Japan: Cloud Service Provider 向けの BD
– Rescale Japan: 2016年7月、Rescale東京オフィスオープンと同時にソ
リューションアーキテクトとしてJoin
• コミュニティー
– OpenCloudHPC (主催)
– JAWS-UG HPC専門支部, JAWS-UG AI (コアメンバ)
– JAWS-UG CLI (いつもお世話になっておりますー)
2

3. サンフランシスコ(本社), 東京オフィス
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 180+ simulation
apps
Company
Technology
Customers
Investors
100+ Leading Global 2000 Enterprises
Peter ThielJeff Bezos Richard Branson
3
Rescale - Company Overview

4. サンフランシスコ(本社), 東京オフィス
300%+ annual growth
SaaS タイプの Cloud HPCを提供 (設計者対象)
36+ global data centers, 180+ simulation
apps
Rescale - Company Overview
100+ Leading Global 2000 Enterprises
Company
Technology
Customers
Investors
Peter ThielJeff Bezos Richard Branson
4

5. On-Premise 型
IaaS 型
SaaS 型
• 導入まで長いリードタイム
• 維持・管理に多大な工数
• システム変更が困難
• 低い稼働率 or 多数のジョブ待ち
• HPC 環境の構築と維持
• アプリケーションのインストール
• クラウドベンダロックされ最適な環境が
使えないケースあり (GPU, Infinibandな
ど)
APPSs
IaaS
Build
左記を解決する手段
として, SaaSタイプ
が注目されている
5
なぜ SaaS Type Cloud HPC なのか ?

6. GUISoftwareHardware
6
Rescale の特徴・メリット

7. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
9
Rescale の特徴・メリット (HW)
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

8. GUISoftwareHardware
マルチクラウドを実現、インフラは完全に抽象化
180+ のアプリケーションがすでにインストール
9
Rescale の特徴・メリット (SW/HW)
• アプリケーションのインストール作業不要
• 30弱のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
Private Cloud

9. GUISoftwareHardware
設計者の視点で設計された、シンプルかつ効果的な
User Interface
マルチクラウドを実現、インフラは完全に抽象化
180+ のアプリケーションがすでにインストール
• パラメータスタディースタディー機能
• ワークフローの保存・コピー・共有が簡単
• VDIも統合化、計算結果をダウンロードする必要がない
• APIによる操作が可能、Deep Learning 用でJupyterも利用可能
• アプリケーションのインストール作業不要
• 30弱のアプリは従量課金で利用可能 (OSS除く)
• 高速に動かすためのノウハウが詰め込まれている
• アジリティー/スケーラビリティー
• アプリケーションに応じて最適なインフラを選択 (インフィニバ
ンド / GPU 利用可能)
9
Rescale の特徴・メリット (GUI/SW/HW)
Private Cloud

10. GUI
≈≈≈≈
SWHW
≈
Browser
Deep Learning
Rescale の 全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
APIJupyter
Caffe

11. GUI
≈≈≈≈
SWHW
≈
Browser Deep Learning
Rescale の 全体像
https://twitter.com/rescaleJapan
CAE/CFD/SIMULATION
Private Cloud
APIJupyter
Caffe
ユーザさまはシステムの
維持・管理の必要はありません
 On-Premise, IaaS HPC の 課題を解決

12. 基本操作は 3STEP: SaaS なのでHW も SW も管理不要
12
STEP1
Upload Files
(1)
ファイルを選択
STEP3
(3)
Select a core type
HWを選択
(AWS, Azure, Softlayerなど意識する必要なし)
STEP2
(2)
Setup a application (180+)
アプリケーションの選択
実行コマンドの入力
バージョンの選択

13. 本日のDEMO/HANDS-ONの内容
• Rescale のパラメータスタディー機
能を用い STAR-CCM+ を複数同時実
行する。
– ダクトファンモデルを用いる
– プリ処理は実施済みとする
• Rescale の Remote Desktop 機能を
使いクラウド上で計算結果を可視化
する (時間がある人のみ)
13

14. 狙い
• Rescale を使えば HWを意識する必要なくクラウド上でSTAR-CCM+を簡単に
実行できことを体験する
– HWの導入/維持/管理全て不要
– STAR-CCM+の操作に専念できる
• クラウドを使えばマシンの台数を気にすることなく、必要なとき必要台数分ボ
タン一つで調達できることを理解する
– 一台を100回計算するより100台を使って1回で計算する (料金は同じ)
– クラウドはPOD (Power on-demand) ライセンスと相性が良い
14

15. パラメータスタディーを行う変数
15
羽の角度
軸の半径
回転速度

16. 特性値 (評価する物理特性)
16
トルク
Outletの流量

17. ファイル説明
• sampleV1106.sim
– STAR-CCM+の simファイル。”入力” でアップロード
• parameterStudy.java
– STAR-CCM+の JavaMacroファイル (本日は使いません)
– 羽の角度、軸の半径、回転速度に変更される
• parameterStudy.java.tmp
– 上記 JavaMacro を Rescaleのパラメータスタディー用に一部編集したもの
– “テンプレート” でアップロード
• post.sh
– 標準出力に表示されるOutletの質量流量と回転体のトルクを抽出するスクリプト
– “Post Processing”でアップロード
17
補足資料 https://goo.gl/RdHrLd

18. Rescaleの操作画面
Overview of Parameter-Study (DOE-JOB)
18
Input Output
制御因子 変数名 値
羽の角度 [deg] MY_ANGLE 10, 20, 30, 40, 50, 60, 70,
80
軸の半径 [m] MY_RADIUS 0.0050, 0.0075, 0.0100,
0.0125, 0.0150, 0.0175,
0.0200
回転速度 [rpm] MY_ROTATION 800, 1000, 1200
特性値 変数名
トルク [N・m] OF2_Torque
Outlet面の流量
[kg/s]
OF1_MassFlowOutlet
System
(4) Macroファイル をテンプレー
ト化したparameterStudy.java.tmp
アップロード
(1) 実験計計画法を選択
(パラメータスイープ機
能)
(6) HWの選択/コア数決定
(3) 総当たり: 全168ケースのパ
ラメータテーブルを定義
(7) トルクと流量を取り出す、post.shを
作成しアップロード
(5) SWの選択/設定
(2) Simファイル
sampleV1106.sim
をアップロード

19. パラメータスタディー機能の動作 & チャート機能
19
MY_ANGLE
30
40
50
パラメータリスト
result1
result2
result3
#/bin/sh
VAL=$(grep
“accuracy” ./log | awk
‘{print $2}’)
printf
"%st%sn" ”ACCURAC
Y" "${VAL}"
入力(Input) 出力(Output)
流量
Rescaleは3Dグラフを
自動生成します
${MY_ANGLE}
run1
30
run2
40
run3
50
Rescale JOB 実行
Solver実行中
JOBの準備
計算の確認 (browser)

20. 本日の前提と注意点
20
Pre処理 Solver 実行 可視化
メッシュ作成は Macroファ
イルに従って、batch-Job
の中で行われる
Hands-on 1 Hands-on 2 (時間のある方)Pre処理は実施済みとする
parameterStudy.javaは使い
ません
parameterStudy.java.tmpを
使用します
シェルスクリプトは改行に、キャリッ
ジリターン(CR)がないことを確認す
る。
その他のファイルもアプリケーション
との相性で改行コードに注意する
Remote Desktop 用インスタン
スの消し忘れに注意

21. DEMO
21

22. PERFORMANCE
22

23. ベンチマークモデル/使用環境
• モデル
– 艦船
– X=1 Sampled iterations.
– Size is about 25M cells.
• 環境
23
Rescale
Onyx
学術系スパコン
(on-premise)
CPU
Xeon E5-2666 v3
(Haswell)
Xeon E5-2680 v4
(Broadwell)
コア数 / node 18 (9 x 2) 28 (14 x 2)
Mem 60GB/node 128GB / node
Storage 64GB/node ?
Inter Connect 10GEther Infiniband (100G/bps)

24. ベンチマーク結果
24
STAR-CCM+ on Rescaleは、Infinibandのシス
テムと変わらないパフォーマンスが出ている
0
20
40
60
80
100
120
0 50 100 150 200 250
相対速度
コア数
On-Premise
(学術系スパコン)
Rescale(Onyx)
Rescale (Onyxの18コアでの計算速度を18とし相対比較した)

25. HOW RESCALE WORKS
25

26. Submit Job
Upload Input Files
Calc-Result
API or Kick the submit node.
Start the remote-desktop
Input File
Run Instance for Desktop
Calc-Result
Start desktop-service
Operation from desktop
クラウド
BackendClient
Submit Job
Visualization
w/ Remote
DeskTop
Object Storage
(Cloud)
安価・高信頼
容量を気にしない
14
Private Cloud

27. Hands-on
補足資料は下記です
https://goo.gl/RdHrLd
27

28. LOGIN TO RESCALE
28

29. 29
https://platform.rescale.jp/

30. AFTER LOGIN
30

31. 31
ジョブを選択します

32. ジョブ名の決定 と
実験計画法(パラメータスタディー機能)の選択
32

33. 33
2. ジョブの種類から実験計画方を選択します
1. 適当なジョブ名を入力します

34. 34
変更をクリックします

35. 入力ファイルのアップロード
35

36. 36
1. 入力をクリックします
(おそらくすでにこの画面にいるので、その場合はクリックしなくてもOK)
2. “ファイルをアップロード” をクリック
し、”sampleV1106.sim” をアップロードします。

37. 37
アップロードが進んでいるのを確認します

38. 38
サイズが5.9MBであることを確認します

39. 並列設定
39

40. 40
並列設定をクリックします

41. 41
1. 自分で変数を指定するをクリックします
2. 組み合わせをクリックします

42. 42
画面の通り入力し、”追加”ボタンをクリックしてください
名前: MY_ANGLE
最小値: 10 40
最大値: 80
刻み幅: 10

43. 43
画面の通り入力し、”追加”ボタンをクリックしてください
名前: MY_RADIUS
最小値: 0.0050
最大値: 0.0200 0.015
刻み幅: 0.0025

44. 44
画面の通り入力し、”追加”ボタンをクリックしてください
名前: MY_ROTATION
最小値: 800
最大値: 1200 1000
刻み幅: 200

45. 45
3つのパラメータスイープさせる変数が、問題なく設定されていることを確認します

46. テンプレートのアップロード
46

47. 47
テンプレートをクリックします

48. 48
1. “ファイルをアップロード” をクリックし “parameterStudy.java.tmp” をアップロードします
2. アップロードが進んでいることを確認します

49. 49
サイズが1.9KBであることを確認します。

50. 50
画面の通り入力します
./parameterStudy.java
補足資料 https://goo.gl/RdHrLd

51. ソフトウェアの選択と実行コマンドの入力
51

52. 52
ソフトウェアをクリックします

53. 53
1. STARと入力し、検索をかけます
2. “STAR-CCM+” をクリックします

54. 54
2. バージョン 11.06 010 (Mixed Precision)を選択します
1. STAR-CCM+が選ばれていることを確認します

55. 55
画面のように入力します。
starccm+ -power -rsh ssh -np $RESCALE_CORES_PER_SLOT -machinefile $HOME/machinefile -
batch parameterStudy.java sampleV1106.sim
補足資料 https://goo.gl/RdHrLd

56. 56
1. “ライセンスを自分で用意”
を選びます
2. 画面の通り入力します
3. PoD Keyを入力します
(ハンズオンでは指定のキーを入力してくださ)
1999@flex.cd-adapco.com
補足資料 https://goo.gl/RdHrLd

57. ハードウェアの選択
57

58. 58
ハードウェアの選択を選びます

59. 59
今回は、コアタイプとして ”Nickel” を選びます

60. 60
1システムあたりのコア数として “8 “ を入力します
スロット数として “2” を入力します。
One-System あたりのコア数
(イメージとしては複数ノード入った、1
ラックあたりのコア数を必要分入力) 左記のClusterが、何システムあるか

61. 61
1システムあたりスペック
右のトータル料金を見つつ “スロット数”
を、4に増やしていただいてもOKです。
本来はCase数に応じてここを大きくしま
す。Houryベースの課金のため、短い計
算の場合は1スロットあたり、多ケース入
るように調整すると無駄なく計算できま
す。
2. 全スロット含めたトー
タルのHW料金 [¥/h]

62. 62
強制的に終了させる時間を入力します。
ここでは3を入力します。

63. ポスト処理スクリプトのアップロード
63

64. 64
ポストプロセッシングをクリックします

65. 65
ファイルアップロードをクリックし、”post.sh” をアップロードします

66. 66
サイズが 386bytes であることを確認します。

67. 67
ポストプロセッシングコマンドへ画面のように入力します。
dos2unix ./post.sh
./post.sh
シェルスクリプトの場合、改行コードにCRがあ
るとエラーになる(Windowsで保存した場合)
そのためdos2unixを入れている補足資料 https://goo.gl/RdHrLd

68. 68
次へをクリックします

69. 計算の実行
69

70. 70
1. 内容で良いか確認します
2. 実行をクリックします
参考) このボタンでもOK

71. 71
自動的に”ステータス”のタブに遷移したこ
とを確認します

72. 72
この状態が数分続きます

73. 73
Server(s) Startedになっていることを確認します
公開鍵が設定されていれば、サーバへのsshログイン方法が出力されます

74. 計算ログ/標準出力の確認
74

75. 75
1. 適当な run 番号 をクリックします
2. “process_output.log”を選択します。
3. 標準出力の内容が表示されます
もし、ログアウト後や、違う画面に遷移後であれば、以下の
操作でこの画面を表示してください。
1. 画面左上の”ジョブ”をクリック
2. JOBの一覧で実行中のジョブの”ジョブ名”をクリック
3. 画面右側 “ステータス” のタブをクリック

76. 76
1. “結果” のタブをクリックします
2. 画面のように計算の状況が確認できます

77. 結果確認
77

78. 78
ログイン後、該当するJOBをクリックします

79. 79
“並列設定”で定義した
パラメータスタディー用変数
ポストプロセッシング
“post.sh” で抽出した値
変数名をクリックすると
大きい順、小さい順に
ソーティングされます

80. 80
仮に run 番号をクリックします。

81. 81
process_output.logを開きます
Browserをフリーズさせないた
め容量の大きいファイルを開
くことはできません。
(ダウンロードは可能)

82. 82
確認後閉じます

83. 83
全ての解析に戻ります
(必ず全ての解析に戻ること。全ての解析からチャートのタブに移る必要があります)

84. 84
チャートのタブをクリックします。

85. 85
表面図をクリックします

86. 86
1. 画面のように、チェックをつけます
2. 図のようなグラフが表示されていることを確認します
実際のハンズオンの図と異
なります。
(Overview of Parameter-
Study ページにおける、Input
パラメータ内2重取り消し線
上の値も利用)

87. REMOTE DESKTOP で計算結果を表示する
87

88. 88
ログイン後、”デスクトップ” をクリックします

89. 89
カスタムデスクトップをクリックします

90. 90
Windows を選択します。

91. 91
STAR-CCMを選択します

92. 92
バージョン 11.06 010を選択します

93. 93
該当するジョブを選択します（データがアタッチされます）

94. 94
上記のようになっていることを確認し “起動” クリックします

95. 95
内容を確認し、起動をクリックします

96. 96
サーバが起動後、ソフトウェアがインストールされ、計算結果がコピーされています
サーバの起動状態が出力されます

97. 97
しばらく待ちます

98. 98
2. “しばらくお待ちください” の表示がなくなっていることを確認します
1. “Server(s) Started” が表示されていることを確認します
3. “接続” をクリックします

99. 99
パスワード生成をクリックし、メモしておきます

100. 100
リモートデスクトップファイルをダウンロードをクリックします

101. 101
パスワードは英字キーボード入力になっているこ
とを注意して、先ほどメモしたパスワードを入力
します

102. 102
計算結果が保存されていることを確認します

103. 103
フォルダーを移動し、run1からrun168まであるこ
とを確認します

104. 104
STAR-CCMを起動します

105. 105
このアイコンをクリックします

106. 106
PODの設定を行います
Browserをクリックします

107. 107
先ほど確認した、計算結果の中から適当
なデータを選択します。
ここでは例としてrun100の
sampleV1106@00350を選びました

108. 108
Open All Scenes を 選択します

109. 109

110. REMOTE DESKTOP の終了
110

111. 111

112. 112
1. チェックを入れます
2. 終了ボタンを押します

113. 113
強制終了ボタンを押します

114. 114
2. 停止中になってい
ることを確認します
1. デスクトップをクリックします