EC2 Deep Dive at CTO Night&Day 2016
•
1 j'aime•884 vues
CTO Night&Day 2016 Winterのモーニングセッション資料です
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à EC2 Deep Dive at CTO Night&Day 2016
Similaire à EC2 Deep Dive at CTO Night&Day 2016 (20)
Plus de Yasuhiro Matsuo
Plus de Yasuhiro Matsuo (17)
EC2 Deep Dive at CTO Night&Day 2016
- 1. EC2 Deep Dive 2016 アマゾン ウェブ サービス ジャパン株式会社 ソリューション アーキテクト 松尾康博 2016.12.06
- 2. Who am I ? • 名前 – 松尾康博 • 所属 – アマゾンウェブサービスジャパン株式会社 – ソリューションアーキテクト – 製造業のHPC、ビッグデータ、DL等を主に担当 • 経歴 – 九州大学でスパコンの効率化研究 – SIerで 分散キューの開発・導入、分散処理研究 – Web系スタートアップCTO – SIerで仮想化基盤の研究・導入・運用 – 現職
- 3. EC2 re:Invent 2016 Update 3
- 4. 4 Amazon EC2
- 5. EC2インスタンスの変遷 2006年のサービス提供開始から様々なタイプを随時追加 5 2006 2008 2010 2012 2014 2016 m1.small m1.large m1.xlarge c1.medium c1.xlarge m2.xlarge m2.4xlarge m2.2xlarge cc1.4xlarge t1.micro cg1.4xlarge cc2.8xlarge m1.medium hi1.4xlarge m3.xlarge m3.2xlarge hs1.8xlarge cr1.8xlarge c3.large c3.xlarge c3.2xlarge c3.4xlarge c3.8xlarge g2.2xlarge i2.xlarge i2.2xlarge i2.4xlarge i2.4xlarge m3.medium m3.large r3.large r3.xlarge r3.2xlarge r3.4xlarge r3.8xlarge t2.micro t2.small t2.med c4.large c4.xlarge c4.2xlarge c4.4xlarge c4.8xlarge d2.xlarge d2.2xlarge d2.4xlarge d2.8xlarge g2.8xlarge t2.large m4.large m4.xlarge m4.2xlarge m4.4xlarge m4.10xlarge x1.32xlarge t2.nano m4.16xlarge p2.xlarge p2.8xlarge p2.16xlarge x1.16xlarge
- 6. • NVIDIA K80を最大16GPU搭載 • 計192GBのGPUメモリと 約40,000 CUDAコアを搭載 • 1台で70TFlops(単精度浮動小数点演算)を実現 • 1台で23TFlops(倍精度浮動小数点演算)を実現 • GPUDirect™によるpeer-to-peer 接続をサポート Instance Name GPU Count vCPU Count Memory Parallel Processing Cores GPU Memory Network Performance P2.xlarge 1 4 61GiB 2,496 12 GiB High P2.8xlarge 8 32 488GiB 19,968 96 GiB 10 Gigabit P2.16xlarge 16 64 732GiB 39,936 192 GiB 20 Gigabit ＜インスタンスサイズ＞ GPU搭載：P2インスタンス https://aws.amazon.com/jp/blogs/news/new-p2-instance-type-for-amazon-ec2-up-to-16-gpus/ バージニア・オレゴン・アイルランド の3リージョンで提供中(2016/9〜)
- 7. EC2インスタンスファミリをさらに拡充 より多くのワークロードに最適化されたタイプをご利用可能に 7 AWSブログ：EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5 https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/
- 8. T2インスタンスのラインナップを拡充 • CPU性能のバーストをサポートした汎用 T2に、 従来よりも大きな2種類のサイズを追加 • より多くのメモリを搭載しており、 今までよりも幅広いワークロードに対応可能に モデル vCPU RAM ベースライン パフォーマンス CPUクレジット /時間 料金 (Linux/東京) t2.nano 1 0.5GB 10% 3 $0.08/h t2.micro 1 1GB 15% 6 $0.16/h t2.small 1 2GB 25% 12 $0.32/h t2.medium 2 4GB 40% 24 $0.64/h t2.large 2 8GB 60% 36 $0.128/h t2.xlarge 4 16GB 90% 54 $0.256/h t2.2xlarge 8 32GB 135% 81 $0.512/h nano micro small medium large xlarge 2xlarge 8 AWSブログ：新しい T2.Xlarge および T2.2Xlarge インスタンス https://aws.amazon.com/jp/blogs/news/new-t2-xlarge-and-t2-2xlarge-instances/
- 9. R4インスタンスを提供開始 • メモリ最適化 R3の後継としてR4を発表 • 2.4GHzのIntel Xeon E5-2686(Broadwell)を搭載し、 DDR4のメモリと大容量で高速なL3キャッシュを利用可能 • バージニア、オハイオ、オレゴン、北カリフォルニア、アイルランド、 フランクフルト、シドニー、北京、GovCloudで既に利用可能 R4 モデル vCPU RAM NW帯域 r4.large 2 15.25GB 最大10Gbps r4.xlarge 4 30.5GB 最大10Gbps r4.2xlarge 8 61GB 最大10Gbps r4.4xlarge 16 122GB 最大10Gbps r4.8xlarge 32 244GB 10Gbps r4.16xlarge 64 488GB 20Gbps 9 AWSブログ：次世代のメモリ最適化EC2インスタンス（R4） https://aws.amazon.com/jp/blogs/news/new-next-generation-r4-memory-optimized-ec2-instances/
- 10. I3インスタンスを発表(2017年予定) • ハイ I/Oインスタンス I2の後継として NVMeベースのSSDを搭載したI3を発表 • 負荷の高いリレーショナルデータベースや、 NoSQLデータベースなどに最適 • 低遅延のNVMe接続のSSDを搭載し4KBランダム アクセスで最大3,300,000IOPS、16GB/sを実現 • 6種類のサイズを提供し、最大で64vCPU、 488GBメモリ、15.2TBのSSDストレージを搭載 • Elastic Network Adaptor(ENA)をサポート I3 10 AWSブログ：EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5 https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/
- 11. C5インスタンスを発表(2017年予定) • コンピューティング最適化 C4の後継として、 SkylakeコアのXeonを搭載したC5を発表 • 前世代のHaswell(C4に搭載)と比較して、 AVX-512命令セットが利用可能で機械学習や マルチメディア、科学技術計算などに最適 • 6種類のサイズを提供し、 最大で72vCPU、144GBメモリを搭載 • Elastic Network Adaptor(ENA)をサポートし、 EBS最適化オプションがデフォルトで有効 C5 11 AWSブログ：EC2インスタンスタイプのアップデート – T2, R4, F1, Elastic GPUs, I3, C5 https://aws.amazon.com/jp/blogs/news/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5/
- 12. F1インスタンスを発表(開発者プレビュー開始) • FPGAを搭載し高性能計算用途に最適なF1を発表 • Intel Xeon E5-2686v4(2.3GHz, Turbo mode対応)と 1個から8個のFPGA(Xilinx UltraScale+ VU9P)、最大 976GBメモリ、4TBのNVMe接続のSSDを利用可能 • 開発/テスト用AMIも提供。パッケージ化したAmazon FPGA Image(AFI)はAWS Marketplaceに公開可 • サンプルアプリケーションなどはF1 Hardware Development Kit(HDK)として提供 • バージニアリージョンにて開発者プレビューを開始。 他リージョンへの展開も準備中 F1 12 AWSブログ：開発者プレビュー ー EC2 Instances (F1) with Programmable Hardware https://aws.amazon.com/jp/blogs/news/developer-preview-ec2-instances-f1-with-programmable-hardware/
- 15. 新しいT2インスタンスタイプへの移行もご検討を 15 モデル vCPU RAM 料金 (Linux/東京) t2.large 2 8GB $0.128/h t2.xlarge 4 16GB $0.256/h m4.xlarge 4 16GB $0.278/h t2.2xlarge 8 32GB $0.512/h m4.2xlarge 8 32GB $0.556/h ①スケールアップ ②断続的なワークロード のM4からタイプ変更
- 16. Amazon EC2 Elastic GPUsを発表 • GPU搭載していないインスタンスタイプ でも利用可能なElastic GPUsを発表 • アタッチするだけで高度なグラフィクス アクセラレーション機能を利用可能に • 現時点ではWindowsでのOpenGLのみ サポート。他のAPIは後日対応予定 – DirectX – Vulkan • 利用可能時期は追って発表予定 タイプ GPU メモリ 対応OS API eg1.medium 1024MB Windows OpenGL eg1.large 2048MB Windows OpenGL eg1.xlarge 4096MB Windows OpenGL eg1.xlarge 8192MB Windows OpenGL 16 AWSブログ：進行中 ー Amazon EC2 Elastic GPUs https://aws.amazon.com/jp/blogs/news/in-the-work-amazon-ec2-elastic-gpus/
- 17. EC2インスタンス(T2,M4,C4)の値下げを適用 • T2, M4, C4インスタンスの利用料金を値下げ • 東京リージョンのオンデマンドインスタンス の値下げ幅は以下のとおり – T2: 20パーセント – M4: 20パーセント – C4: 5パーセント • 2016年12月1日から自動的に適用済み。 リザーブドインスタンスについては 12/1(UTC)以後に購入したものに適用となる t2 m4 c4 ※詳細な価格情報はこちらを参照 https://aws.amazon.com/jp/ec2/pricing/17
- 18. VPC内のEC2インスタンスがIPv6をサポート • 新規、既存のVPC内のEC2インスタンスで IPv6をサポート。対象はM3/G2以外の現行 世代のインスタンスタイプ • IPv6環境下でプライベートサブネットを 実現するためにEGW(Egress only Internet Gateway)を利用することになる • 追加料金なし • オハイオリージョンにて利用可能。 他リージョンには順次展開予定 18 AWSブログ：新機能 – Virtual Private Cloud での EC2 インスタンスの IPv6 サポート https://aws.amazon.com/jp/blogs/news/new-ipv6-support-for-ec2-instances-in-virtual-private-clouds/
- 20. 新サービスAmazon Lightsailを発表 • 単純な構成のサーバが必要な際に、数回の クリックで、いわゆる仮想専用サーバ(VPS)の ように使い始めることができるサービス • サーバリソース、SSDベースのストレージ、 データ転送料金が含まれた定額制の料金体系 • 複雑な設定を行うことなく、アプリケーション の実行環境を入手し、使い始めることが可能 • バージニアリージョンで既に利用可能。 他リージョンへの展開は順次実施予定 メモリ CPU コア SSD データ 転送量* 料金 (米国) 512MB 1 20GB 1TB $0.007/時間, 最大$5/月 1GB 1 30GB 2TB $0.013/時間, 最大$10/月 2GB 1 40GB 3TB $0.027/時間, 最大$20/月 4GB 2 60GB 4TB $0.054/時間, 最大$40/月 8GB 2 80GB 5TB $0.108/時間, 最大$80/月 20 AWSブログ：Amazon Lightsail – AWSの力、VPSの簡単さ https://aws.amazon.com/jp/blogs/news/amazon-lightsail-the-power-of-aws-the-simplicity-of-a-vps/ * 受信は無料、送信にかかる無料枠で超過分は0.09ドル/GB
- 22. 主な機能 22 • ドキュメント検索 • アカウント設定 • SSHキーペアの管理 • VPCピアリングの有効化 • AWSコンソールとの統合 • ブラウザからのssh接続 • メトリクスをグラフ表示 • CPUUtilization • NetworkIn • NetworkOut • StatusCheckFailed • StatusCheckFailed_Instance • StatusCheckFailed_System • ネットワークの確認と設定 • パブリックおよびプライベートIPアドレスの確認 • 固定パブリックIPの割当(未割当時$0.005/1時間) • DNSゾーンの作成(DNSクエリ300万件の無料枠、 超過分は$0.40/100万リクエスト) • ファイアウォール • スナップショットの作成($0.05/1GB/月) • 操作履歴 • インスタンスの削除
- 23. EC2 Performance Deep Dive 23
- 25. 参考: GPU最適化 http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using_cluster_computing.html#optimize_gpu sudo nvidia-smi -pm 1 sudo nvidia-smi --auto-boost-default=0 sudo nvidia-smi -ac 2505,875 http://www.slideshare.net/ManaMurakami1/20161121-open-hyperscale6
- 26. 26
Notes de l'éditeur
- Base line performance=1コアの何パーセントが常時発揮できるか
- 東京にはまだ来ていないので資料に載せていないが、バージニアでは2割くらいR3より安い
- 利用可能になったら別途ご案内
- 利用可能になったら別途ご案内
- 各VPCは/56のプレフィクスが割り当てられる。サブネットには/64を設定可能 EGWを利用すると、内部から外部への通信だけを許可するように動作する。これはIPv4の場合のNATGWと同じようなイメージ。インバウンドのIPv6トラフィックを拒絶したい場合は、そのサブネットからはEGWを利用する。