AWSでゲームサーバーを最大90%安く利用する方法
•
2 j'aime•3,376 vues
The presentation deck for TECH x GAME COLLEGE #23
Recommandé
Recommandé
Contenu connexe
Plus de Amazon Web Services Japan
Plus de Amazon Web Services Japan (20)
AWSでゲームサーバーを最大90%安く利用する方法
- 1. AWSでゲームサーバーを 最⼤90%安く利⽤する⽅法 Hideyo Yoshida| Solutions Architect | 2019.07.24
- 2. ⾃⼰紹介 吉⽥ 英世 シニアソリューションアーキテクト/部⻑ アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ゲームエンターテイメントソリューション部 某ゲーム会社でMMORPGのインフラエンジニア、組み込み系会社で IoTのソフトウェアアーキテクトを経て、2014年にAWS⼊社。
- 6. Amazon EC2の購⼊オプション オンデマンドインスタンス ⻑期コミット無し、使⽤分への⽀払い (秒単位/時間単位)。 Amazon EC2の定価 スパイクするような ワークロード リザーブドインスタンス 1年/3年の⻑期コミットをする代わり に⼤幅なディスカウント価格 ⼀定の負荷の⾒通しがある ワークロード スポットインスタンス Amazon EC2の空きキャパシティを活 ⽤し、最⼤90%値引き 中断に強く、かつ様々な インスタンスタイプを 活⽤できるワークロード EC2インスタンスとしての性能に違いはない
- 9. スポットインスタンスのシンプルなルール スポットインスタンスの価格は⻑期供給と需要に基づいて徐々に調整される スポットインスタンスは AWS によって中断されることがあり、その際には 2 分前に警告が提供される Amazon EC2の空きキャパシティが使⽤できなくなったとき 指定した価格(「上限価格」)をスポットインスタンス価格が上回ったとき “中断”とうまく付き合うことができれば、 最⼤90%ディスカウントでインスタンスを利⽤することが可能︕︕︕
- 11. スポットインスタンスを起動する4つの⽅法 スポットインスタンス(単体) クイックに起動するときにオススメ スポットフリート スポットインスタンスをまとめて起動・管理するときにオススメ 中断のテストが可能 EC2フリート 同期処理や最⼩起動台数保証など、上の3つよりもきめ細やかなコントロールが可能 EC2 Auto Scaling スポットインスタンスをまとめて起動・管理するときにオススメ Auto Scalingの各種機能を使いたいときはこちら
- 13. EC2フリートの作成 $aws ec2 create-fleet --cli-input-json file://config.json EC2フリート設定ファイルをJSONで記述、API or AWS CLIで反映
- 14. 以前: 複数のASGでSpot, On-Demand, RIを利⽤ m4.large Spot ASG Min: 1 Max: 10 m5.large Spot ASG Min: 1 Max: 10 c4.xlarge O-D ASG Min: 1 Max: 10 Availability Zone 1 Availability Zone 2 Availability Zone 3 購⼊オプションと インスタンスタイプ ごとにASGを分割
- 15. 現在: 1つのASGでSpot, On-Demand, RIを利⽤ m4.large Spot Instances m5.large Spot Instances c4.xlarge On-Demand instances Availability Zone 1 Availability Zone 2 Availability Zone3 1つのAGSに複数の 購⼊オプションと インスタンスタイプ /AZを含めることが 可能 Single ASG
- 16. S U M M I T © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. 中断通知のフォーマット { "version": "0", "id": "12345678-1234-1234-1234-123456789012", "detail-type": "EC2 Spot Instance Interruption Warning", "source": "aws.ec2", "account": "123456789012", "time": "2019-06-12T12:00:00Z", "region": "us-east-2", "resources": ["arn:aws:ec2:us-east-2:123456789012:instance/i-1234567890abcdef0"], "detail": { "instance-id": "i-1234567890abcdef0", "instance-action": "action” } }
- 17. 中断通知 - 受信の2つの⽅法 • インスタンスメタデータ • インスタンス内部からアクセス • 5秒おきのチェック(pull型) • 後処理 • シェルスクリプトを書く • ⾃インスタンスのことなので⾃分の処理を記述 • CloudWatch Events • インスタンス外部からアクセス • ⾃動受信(push型) • 後処理 • Lambda関数を書く • どのインスタンスが中断対象なのかをまず 把握 • 汎⽤的に記述 Spot Instance シェルスクリプト S3にログなどを書き出し ELBから登録解除 CloudWatch Event Spot Instance 中断通知 Lambda関数 どのインスタンスか把握 S3に書き出し ELBから登録解除 中断通知 http://169.254.169.254/latest/meta-data/ 通知を受け取ったあとはゲームへの影響を最⼩化するために実際にインスタンス内で中断処理
- 20. Amazon EKSとスポットインスタンスによる 最⼤90%安いゲームサーバーの運営 https://aws.amazon.com/jp/blogs/news/running-your-game-servers-at-scale-for-up-to-90-lower-compute-cost/ 中断によるプレイヤー影響を回避す るためにkubectl drainコマンドによ るノードドレイニングを活⽤ nodeSelectorを利⽤してスポット インスタンスベースのAuto Scaling グループ内のノード上でゲームサー バーのスケジューリングを制御 新しいゲームサーバの情報はSQSに レポートされ、DynamoDBで永続化 される
- 21. DeNA の QCT マネジメント IaaS 利⽤のベストプラクティス 株式会社ディー・エヌ・エー システム本部IT基盤部第四グループ グループマネジャー ⼟屋 圭様 1. Auto Scaling AWS の AutoScaling の機能は使わず、仕組みを独⾃に開発。 柔軟性の確保、オンプレでの資産の有効活⽤。 Auto Scaling の⾼速化と安定化の⼯夫 API サーバの費⽤ 30% 減。運⽤⼯数ほぼ０の安定稼働。 2. Spot Instance スポット中断 と スポットの⼤量中断 の２つの観点で影響分析と対策 memcached サーバ含むステートレスサーバのスポット採⽤率 100 % へ 1. とあわせて、ステートレスサーバの費⽤ 60% 減。サービス影響０。 3. Server 集約 DBサーバにおいて、インスタンスストレージを持つ I3 の活⽤、 複数 MySQL プロセス稼働、 MySQL MHA による オンラインでのスケールイン、などの施策を実施。
- 22. EC2 Spot Instances Workshops https://ec2spotworkshops.com/
- 28. フリート 実際にゲームのビルドが稼働するEC2 インスタンス群。 以下のようなパラメータによってどのように ビルドを動作させるかを指定。 • インスタンスタイプ • リージョン • スケーリングポリシー • キャパシティリミット • インスタンスあたりのプロセス数 Fleets
- 29. Amazon GameLift スポットフリート • 需要によるインスタンスキャパシティ によって料⾦が変動 • FleetIQによるスポットフリート管理 • LinuxもしくはWindowsインスタンス が利⽤可能 • インスタンス停⽌通知によって停⽌に よるリスクを最⼩化 スポットフリートを使⽤すると１時間あたりのサーバー料⾦を 下げることが可能
- 30. FleetIQ Spot (Linux) C4.large e.g. 2 game servers per instance Price: $0.014 hourly per game server Frequency of Interruption: Medium On Demand (Linux) C4.large e.g. 2 game servers per instance Price: $0.064 hourly per game server us-east-2 (Ohio) Spot (Linux) C4.xlarge e.g. 4 game servers per instance Price: $0.015 hourly per game server Frequency of Interruption: Low FleetIQは中断による割り込みが低く(※)、かつコストが⼀番安いフリートを選択し、 プレイヤーのセッションを割り当てる １ゲームセッションあたり$0.004でかつ割り込み率が低いフリートを割り当て ※︓FleetIQ はスポット中断レートを追跡し、このデータを⽤いて中断頻度の低いインスタンスに⾃動的にゲームを配置します。
- 31. Node.jsベースのゲームサーバー Javascriptを使ってゲームサーバーの振る舞いを定義 定期実⾏するサーバーロジックを選択 ステートフル or ステートレス TCP/UDP対応 Amazon GameLiftのフリートとマッチメイキングとの インテグレーション 1プレイヤーにつき１ヶ⽉あたり数円のコスト Realtime Servers N ew !
- 32. • プレイヤー間で少量の データを交換 • 複雑度が低い処理 GameLift Realtime におすすめのジャンル Role Playing Card Games Mobile Match 3 Turn based strategy Real time strategy
- 38. チューニングによる対価格性能⽐向上 チューニング チューニングによって１サーバーあたりの処理性能を向上することで プレイヤーあたりの単価を下げる 500 Players 100 Players 100 Players $0.107/h x 730h x 5台 / 500 = $0.78/player 100 Players 100 Players 100 Players $0.107/h x 730h x 1台 / 500 = $0.15player 性能5倍 ≒ コスト1/5
- 39. ホワイトペーパー: Optimizing Multiplayer Game Server Performance on AWS https://d1.awsstatic.com/whitepapers/optimizing-multiplayer-game-server-performance-on-aws.pdf AWS上でゲームサーバーを運営されているお客様の 実践的なチューニング⼿法について解説 CPU、メモリ、ネットワーク、ディスクのカテゴリ を取扱い
- 40. re:Invent2018 Deep Dive on Amazon EC2 Instances & Performance Optimiztion Best Practices https://www.youtube.com/watch?v=W0PKclqP3U0 Nitroシステムの解説 OSのチューニングもコマンドレベルで詳しく解説
- 41. EC2の価格性能⽐向上のための基本 正しいインスタンスタイプを選択 汎⽤(Mシリーズ)、CPU最適化(Cシリーズ), メモリ最適化(Rシリーズ)、etc… マルチプレイオンラインゲームの多くはCシリーズ RPGやMOBAsは⽐較的メモリが必要なためMシリーズ Nitroベースの最新インスタンスタイプを選択することでパフォーマンス向上 a1(ARM:AWS Graviton)やM5a/R5a(AMDプロセッサ)も検討 Kernelは3.10 以上を選択 (40% performance improvement) NVMeカーネルモジュールが搭載されているミニマムOSを利⽤を推奨 Amazon Linux or Amazon Linux 2 CentOS 7 version 1708_11 Ubuntu version 16.04 or latest LTS release provided by AWS
- 42. CPU Clock Source Xenの場合:デフォルトでは“xen pvclock”、tscに変更することでハイパーバイザーでは なくCPU clockを利⽤可能 Nitroの場合:デフォルトでは”kvm-clock” 、デフォルトでもtscと同等のパフォーマンス HyperThreadingを無効化 IRQbalanceを利⽤ ゲームサーバーでvCPUを固定しない場合は有効 CPU pinningを設定 ゲームサーバープロセスとvCPUを固定 Linux Schedulerを設定 3種類のLinux Scheduler設定オプションを適⽤可能 Netflixの事例
- 43. メモリ NUMAのコントロール スレッドがリモートのメモリにアクセスが必要な場合にペナルティが発⽣ ローカルメモリのみを利⽤するようにコントロール CPU Piningも有効 Automatic NUMA Balancingも有効 Virtual Memoryの設定 VM Swappiness VM Dirty Ratio/VM Dirty Background Radio 976GB 32 vCPU’s 32 vCPU’s 976GB 976GB 32 vCPU’s 32 vCPU’s 976GB NUMA
- 44. ネットワーク クラスタプレイスメントグループを利⽤ UDP周りの調整（Backlog, UDP Buffers, Busy Polling, Receive Buffers) MTU値の調整、アプリケーションの要件に合わせてジャンボフレームを利⽤ インスタンス毎によって異なるMTUサイズ VPC外に向かうトラフィックはフラグメントによって速度低下 ⼿動でdistribute packet receive interuptsを設定 irqbalancerを有効 Receive Packet Steering(RPS)の設定 Receive IRQ処理によってvCPUが過負荷になっている場合にネットワーク処理の⼀部を他のコ アにオフロード NUMAノード間のロックを避けるため、RPSに使⽤するコアは同じNUMAノードに属している か確認 https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking-os.html https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/network_mtu.html
- 47. Amazon Game Tech Night 今後の予定 8/21(⽔) ゲーム企業向け 機械学習 9⽉ ゲーム企業LT⼤会(仮) スピーカー募集中︕ ゲームに特化したAWS主催の学習型イベント https://gamingtechnight.connpass.com/