Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
1
OpenCloudHPC #1
AWSでGPUも安く大量に使い倒せ
2016年2月8日
アマゾン ウェブ サービス ジャパン株式会社
松尾康博
2
Who am I ?
• 名前
– 松尾康博
• 所属
– アマゾンウェブサービスジャパン株式会社
– ソリューションアーキテクト
– 製造業のHPC、CAE、ビッグデータ解析等を担当
• 経歴
– 九州大学でスパコンの効率化研究
– SI...
3
Amazonでの取組み
Amazon Dash
Amazon robotics
4
5
http://www.jpl.nasa.gov/spaceimages/details.php?id=pia19808
6
7 https://aws.amazon.com/jp/swf/testimonials/swfnasa/
火星から送付される数Gピクセルの画像ファイルを数分以内に処理し続けています
8 http://mars.nasa.gov/mars3d/
9
AWSとHPC
10
Tightly Coupled (MPI/HPC)
Requires Infiniband or other RDMA solution for scaling
Loosely Coupled (Grid/HTC)
Scales well...
11
Histogram of job sizes
Workload Modeling for Computer Systems Performance Evaluation
著者: Dror G. Feitelson
JOBサイズ毎の
ジョブ...
12
オンプレミスとクラウドの組み合わせ
Loosely Coupled
コア数:小
コア数:大
スーパーコンピュータ
コア数>256
強プロセス間連携
メモリ共有
AWSにより実現
数万コアを超える
非常に大規模な並列計算も可能
AWSにより...
HPC on AWSの事例
14
ANSYS Enterprise Cloud
http://www.ansys-blog.com/ansys-on-the-cloud/
15
Cycle Computing + Novartisの事例
16
Amazon EC2 + Cycle Computing + HGSTの事例
17
本田技研工業様のシミュレーション事例
http://www.slideshare.net/AmazonWebServices/bdt201/
https://www.youtube.com/watch?v=G4SAgcacea4
18
19
SPOT インスタンスとは?
20
Amazon EC2 スポットインスタンス
余っているEC2インスタンスを低価格で有効活用していただく仕組み
最大90%以上の割引価格でEC2インスタンスを使用可能
スポット入札アドバイザー、Spot Fleet、Spot Blockなど...
21
GPU インスタンスももちろん利用可能
g2.2xlarge
E5-2670 2.6GHz 4core
15GB RAM
1x NVIDIA GPU
1536 Cores
4GB Mem
g2.8xlarge
E5-2670 2.6GHz...
22
ap-northeast-1a
(Tokyo Region)
m4.large
…
m4.xlarge
スポット関連概念の整理
c4.large
ap-northeast-1c
m4.large
…
m4.xlarge c4.large
23
ap-northeast-1a
(Tokyo Region)
m4.large m4.xlarge
スポット関連概念の整理
ap-northeast-1c
m4.large
…
m4.xlarge c4.large
使用中
使用中
使用中...
24
ap-northeast-1a
(Tokyo Region)
m4.large
…
m4.xlarge
スポット関連概念の整理 - スポットプール
c4.large
ap-northeast-1c
m4.large
…
m4.xlarge...
25
ap-northeast-1a
(Tokyo Region)
m4.large
…
m4.xlarge
スポット関連概念の整理 - スポット価格
c4.large
ap-northeast-1c
m4.large
…
m4.xlarge ...
26
ap-northeast-1a
(Tokyo Region)
m4.large
…
m4.xlarge
スポット関連概念の整理 - 入札価格
c4.large
ap-northeast-1c
m4.large
…
m4.xlarge c4...
27
ap-northeast-1a
(Tokyo Region)
m4.large
…
m4.xlarge
スポット関連概念の整理 - 落札
c4.large
ap-northeast-1c
m4.large
…
m4.xlarge c4.l...
28
単価
時間
スポット価格
入札額
課金額
①ワンタイム
リクエスト投入
(type=one-time)
$0.01
$0.24
$0.30
1h 1h
③1時間
単位の課金
④
入札額<スポット価格
になったので
インスタンス終了
ワンタ...
29
ここ一ヶ月のバージニアのG2.8xlargeの価格
30
ここ一ヶ月の東京のG2.8xlargeの価格
31
まぁ、定価より高い時もあります。。。
32
こういうことをやっている方も
http://qiita.com/daikumatan/items/5cc909052a529d6377b7
http://qiita.com/pyr_revs/items/e1545e6f464b71251...
33
途中でオチるんでしょう。。。?
34
EC2 各購入オプション料金比較例
2015年12月16日現在/東京リージョン/Linuxインスタンス。()内はOn-Demandからの節約比率
On
Demand
Reserved Instances for 1 year Spot
I...
35
オフピーク時間の定義は2015年12月16日現在の情報
Spot Block
1h 6h
c4.large
$0.070
(50%)
$0.091
(35%)
m4.large
$0.093
(49%)
$0.118
(35%)
r3.l...
36
スポットブロックと課金(時間経過パターン)
単価
時間
ブロック価格
入札額
課金額
$0.24
$0.30
6h
①リクエスト
投入
--block-duration-minutes 360
②落札後は
課金額固定
③指定した時間が経過...
37
スポットブロックと課金(手動終了パターン)
単価
時間
ブロック価格
入札額
課金額
$0.24
$0.30
③手動でリクエストを
終了した
6h
①リクエスト
投入
--block-duration-minutes 360
②落札後は
...
38
つまりスポットブロックとは
1. 最初に落札さえできれば、ブロック価格が高騰
しても課金額維持&指定時間内は終了されない
2. 1〜6時間の短期間を前払いなしで割安利用でき
るリザーブドインスタンスに近いもの
• 途中で終了すれば課金も停...
39
安心してください。オチません。(6時間以内)
40
まとめ
• AWSで使いたい新GPUインスタンスの仕様があ
れば、フィードバックをお願いします!
g2.2xlarge
E5-2670 2.6GHz 4core
15GB RAM
1x NVIDIA GPU
1536 Cores
4GB ...
41
最後に告知
42
http://jawsug-hpc.connpass.com/
43
http://jawsdays2016.jaws-ug.jp/
44
https://aws.amazon.com/summits/
45
Prochain SlideShare
Chargement dans…5
×

AWSでGPUも安く大量に使い倒せ

9 444 vues

Publié le

2016/2/8に開催されたOpenCloudHPC #1 でのLT資料です。HPCといいながらGPU成分が多めです。

Publié dans : Internet
  • Soyez le premier à commenter

AWSでGPUも安く大量に使い倒せ

  1. 1. 1 OpenCloudHPC #1 AWSでGPUも安く大量に使い倒せ 2016年2月8日 アマゾン ウェブ サービス ジャパン株式会社 松尾康博
  2. 2. 2 Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – 製造業のHPC、CAE、ビッグデータ解析等を担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
  3. 3. 3 Amazonでの取組み Amazon Dash Amazon robotics
  4. 4. 4
  5. 5. 5 http://www.jpl.nasa.gov/spaceimages/details.php?id=pia19808
  6. 6. 6
  7. 7. 7 https://aws.amazon.com/jp/swf/testimonials/swfnasa/ 火星から送付される数Gピクセルの画像ファイルを数分以内に処理し続けています
  8. 8. 8 http://mars.nasa.gov/mars3d/
  9. 9. 9 AWSとHPC
  10. 10. 10 Tightly Coupled (MPI/HPC) Requires Infiniband or other RDMA solution for scaling Loosely Coupled (Grid/HTC) Scales well with 10g Ethernet Data-Intensive Requires high-IOPS storage, or has very large datasets Data-Light Less dependence on high-IOPS, with smaller datasets Financial simulations Molecular modeling Contextual search Alt-coin mining Animation rendering Semiconductor verification Image processing / GIS Genomics Seismic processing High energy physics Metagenomics Human Brain Project Fluid dynamics Weather forecasting Materials simulations Crash simulations Grid Computing (“Pleasingly parallel”) Grid with IO Cluster Computing Cluster with IO (Data-intensive HPC) HPCワークロードとクラウド 得意 苦手
  11. 11. 11 Histogram of job sizes Workload Modeling for Computer Systems Performance Evaluation 著者: Dror G. Feitelson JOBサイズ毎の ジョブ数分布 JOBサイズ毎の CPU時間分布 スーパーコンピュータは 大規模ジョブに集中 手間のかかる小規模JOBは AWSで実行
  12. 12. 12 オンプレミスとクラウドの組み合わせ Loosely Coupled コア数:小 コア数:大 スーパーコンピュータ コア数>256 強プロセス間連携 メモリ共有 AWSにより実現 数万コアを超える 非常に大規模な並列計算も可能 AWSにより実現 高いコアあたり性能を持つ 最新のプロセッサーをいち早く利用 コア数:256以下 Tightly Coupled
  13. 13. HPC on AWSの事例
  14. 14. 14 ANSYS Enterprise Cloud http://www.ansys-blog.com/ansys-on-the-cloud/
  15. 15. 15 Cycle Computing + Novartisの事例
  16. 16. 16 Amazon EC2 + Cycle Computing + HGSTの事例
  17. 17. 17 本田技研工業様のシミュレーション事例 http://www.slideshare.net/AmazonWebServices/bdt201/ https://www.youtube.com/watch?v=G4SAgcacea4
  18. 18. 18
  19. 19. 19 SPOT インスタンスとは?
  20. 20. 20 Amazon EC2 スポットインスタンス 余っているEC2インスタンスを低価格で有効活用していただく仕組み 最大90%以上の割引価格でEC2インスタンスを使用可能 スポット入札アドバイザー、Spot Fleet、Spot Blockなどの 強力な周辺ツール/機能 分散処理、Workerが典型的なユースケース …だったが、新しい動きも出てきている Amazon EMR、Auto Scalingとの併用が容易 $1 $
  21. 21. 21 GPU インスタンスももちろん利用可能 g2.2xlarge E5-2670 2.6GHz 4core 15GB RAM 1x NVIDIA GPU 1536 Cores 4GB Mem g2.8xlarge E5-2670 2.6GHz 16core 60GB RAM 4x NVIDIA GPU 1536 Cores x 4 4GB Mem x 4 cg1.4xlarge X5570 8core 22.5GB RAM M2050 Fermi 448Cores 3GB ECC Mem 2010.11 2013.11 2015.4
  22. 22. 22 ap-northeast-1a (Tokyo Region) m4.large … m4.xlarge スポット関連概念の整理 c4.large ap-northeast-1c m4.large … m4.xlarge c4.large
  23. 23. 23 ap-northeast-1a (Tokyo Region) m4.large m4.xlarge スポット関連概念の整理 ap-northeast-1c m4.large … m4.xlarge c4.large 使用中 使用中 使用中 使用中 使用中 c4.large 使用中
  24. 24. 24 ap-northeast-1a (Tokyo Region) m4.large … m4.xlarge スポット関連概念の整理 - スポットプール c4.large ap-northeast-1c m4.large … m4.xlarge c4.large 使用中 使用中 使用中 使用中 使用中 使用中 Availability Zone(以下AZ)、OS、 インスタンスタイプごとの使われていないEC2インスタンスたち
  25. 25. 25 ap-northeast-1a (Tokyo Region) m4.large … m4.xlarge スポット関連概念の整理 - スポット価格 c4.large ap-northeast-1c m4.large … m4.xlarge c4.large 使用中 使用中 使用中 使用中 使用中 使用中 $0.0384 $0.0346$0.0346 $0.0530 $0.0209 スポットプール毎に需要と共有のバランスで変動する、その時点でのスポット インスタンス課金額 同じインスタンスタイプでもAZで異なる価格 $3.66
  26. 26. 26 ap-northeast-1a (Tokyo Region) m4.large … m4.xlarge スポット関連概念の整理 - 入札価格 c4.large ap-northeast-1c m4.large … m4.xlarge c4.large 使用中 使用中 使用中 通常 使用中 通常 使用中 通常 使用中 $0.0384 $0.0346$0.0346 $0.0530 $0.0209 「最大でここまでなら支払ってもよい」という価格 実際に課金されるのはスポット価格 管理コンソールまたはRequestSpotInstances APIから リクエスト可能 $3.66 「東京リージョンの 1aにあるc4.largeを 最大$0.05で使いたい!」
  27. 27. 27 ap-northeast-1a (Tokyo Region) m4.large … m4.xlarge スポット関連概念の整理 - 落札 c4.large ap-northeast-1c m4.large … m4.xlarge c4.large 使用中 使用中 使用中 通常 使用中 通常 使用中 通常 使用中 $0.0384 $0.0346$0.0346 $0.0530 $0.0209 入札価格がスポット価格を上回り、スポットプールに空きがあった場合※、 希望したスポットインスタンスを使いはじめることができる ※詳しくは「スポットインスタンスのしくみ」を参照のこと http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/how-spot-instances-work.html $3.66「東京リージョンの 1aにあるc4.largeは 現在$0.0346なので、 $0.05入札で起動できた!」
  28. 28. 28 単価 時間 スポット価格 入札額 課金額 ①ワンタイム リクエスト投入 (type=one-time) $0.01 $0.24 $0.30 1h 1h ③1時間 単位の課金 ④ 入札額<スポット価格 になったので インスタンス終了 ワンタイムスポットリクエストと課金 ② 入札額>スポット価格 になったので インスタンス起動 <1h ⑤強制終了時の1時間 未満の利用分は非課金 ⑥ワンタイムリクエストは 自動キャンセルされるので インスタンスは起動しない28
  29. 29. 29 ここ一ヶ月のバージニアのG2.8xlargeの価格
  30. 30. 30 ここ一ヶ月の東京のG2.8xlargeの価格
  31. 31. 31 まぁ、定価より高い時もあります。。。
  32. 32. 32 こういうことをやっている方も http://qiita.com/daikumatan/items/5cc909052a529d6377b7 http://qiita.com/pyr_revs/items/e1545e6f464b712517ed
  33. 33. 33 途中でオチるんでしょう。。。?
  34. 34. 34 EC2 各購入オプション料金比較例 2015年12月16日現在/東京リージョン/Linuxインスタンス。()内はOn-Demandからの節約比率 On Demand Reserved Instances for 1 year Spot Instance s Spot Block All Upfront Partial Upfront No Upfront 1h 6h c4.large $0.14 $0.0935 (33%) $0.095 (32%) $0.106 (24%) $0.0265 (81%) $0.077 (45%) $0.098 (30%) m4.large $0.183 $0.0961 (47%) $0.098 (46%) $0.115 (37%) $0.0206 (88%) $0.101 (44%) $0.128 (30%) r3.large $0.21 $0.1339 (36%) $0.1367 (35%) $0.157 (25%) $0.0202 (90%) $0.116 (44%) $0.147 (30%) 34
  35. 35. 35 オフピーク時間の定義は2015年12月16日現在の情報 Spot Block 1h 6h c4.large $0.070 (50%) $0.091 (35%) m4.large $0.093 (49%) $0.118 (35%) r3.large $0.107 (49%) $0.136 (35%) 35 リージョン オフピーク時間 (UTC) 米国東部 (バージニア北部) 土曜日 0:00~月曜日 0:00 米国西部 (北カリフォルニア) 土曜日 12:00~月曜日 12:00 米国西部 (オレゴン) 土曜日 12:00~月曜日 12:00 欧州 (アイルランド) 土曜日 9:00~月曜日 9:00 欧州 (フランクフルト) 土曜日 10:00~月曜日 10:00 アジアパシフィック (シンガポール) 土曜日 8:00~月曜日 8:00 アジアパシフィック (東京) 土曜日 9:00~月曜日 9:00 アジアパシフィック (シドニー) 土曜日 10:00~月曜日 10:00 南米 (サンパウロ) 金曜日 19:00~日曜日 19:00 オフピーク時間はさらに5%引き(スポットブロックのみ) https://aws.amazon.com/jp/ec2/spot/pricing/
  36. 36. 36 スポットブロックと課金(時間経過パターン) 単価 時間 ブロック価格 入札額 課金額 $0.24 $0.30 6h ①リクエスト 投入 --block-duration-minutes 360 ②落札後は 課金額固定 ③指定した時間が経過した 36
  37. 37. 37 スポットブロックと課金(手動終了パターン) 単価 時間 ブロック価格 入札額 課金額 $0.24 $0.30 ③手動でリクエストを 終了した 6h ①リクエスト 投入 --block-duration-minutes 360 ②落札後は 課金額固定 37
  38. 38. 38 つまりスポットブロックとは 1. 最初に落札さえできれば、ブロック価格が高騰 しても課金額維持&指定時間内は終了されない 2. 1〜6時間の短期間を前払いなしで割安利用でき るリザーブドインスタンスに近いもの • 途中で終了すれば課金も停止(期間縛りなし) • 価格はオンデマンドより安くスポットより高い というスポットインスタンスの拡張機能 38
  39. 39. 39 安心してください。オチません。(6時間以内)
  40. 40. 40 まとめ • AWSで使いたい新GPUインスタンスの仕様があ れば、フィードバックをお願いします! g2.2xlarge E5-2670 2.6GHz 4core 15GB RAM 1x NVIDIA GPU 1536 Cores 4GB Mem g2.8xlarge E5-2670 2.6GHz 16core 60GB RAM 4x NVIDIA GPU 1536 Cores x 4 4GB Mem x 4 cg1.4xlarge X5570 8core 22.5GB RAM M2050 Fermi 448Cores 3GB ECC Mem
  41. 41. 41 最後に告知
  42. 42. 42 http://jawsug-hpc.connpass.com/
  43. 43. 43 http://jawsdays2016.jaws-ug.jp/
  44. 44. 44 https://aws.amazon.com/summits/
  45. 45. 45

×