株式会社KMS 開発部 バックエンドアーキテクト 野沢 貴教 氏 Microsoft Corporation Gaming Ecosystem Organization Cloud Solution Manager 増渕 大輔 株式会社KMS は、専用のインフラエンジニア不在でスタートした、大規模なオンラインゲームの設計、構築、運用をしています。プレイヤーが快適に遊べる環境を叶えるために選んだインフラは Azure WebApps と SQL DB。100% Azure PaaS で構成しています。アクセス数に応じたサーバーの適切なサイジングや、障害発生時のスピーディーな対応を可能にするために、さまざまな工夫を実施しています。また単に高負荷なサービスを運用するだけではなく、コストダウンにも成功しているユーザー事例です。本セッションでは、KMS 様のゲーム運用で培った Azure PaaS のノウハウを伝授いただきます! 【Microsoft Japan Digital Daysについて】 Microsoft Japan Digital Days は、お客様が競争力を高め、市場の変化に迅速に対応し、より多くのことを達成することを目的とした、日本マイクロソフトがお届けする最大級のデジタル イベントです。4 日間にわたる本イベントでは、一人一人の生産性や想像力を高め、クラウド時代の組織をデザインするモダンワークの最新事例や、変化の波をうまく乗り切り、企業の持続的な発展に必要なビジネスレジリエンス経営を支えるテクノロジの最新機能および、企業の競争優位性に欠かせないクラウド戦略のビジョンなどデジタル時代に必要な情報をお届けいたしました。（2021年10月11日～14日開催）

1. Microsoft Japan Digital Days
*本資料の内容 (添付文書、リンク先などを含む) は Microsoft Japan Digital Days における公開日時点のものであり、予告なく変更される場合があります。
#MSDD2021
超高負荷トラフィックゲームを
Azure PaaS でお手軽に運用！
株式会社KMS 開発部
バックエンドアーキテクト
野沢 貴教
# A17
Microsoft
Gaming Ecosystem Organization
Cloud Solution Manager
増渕 大輔

2. Agenda
 Microsoft のゲームビジネス への取り組み Game Stack（Microsoft増渕）
 超高負荷トラフィックゲームをAzure PaaS で運用する方法（KMS野沢様）

3. Microsoft Game Stack
Microsoft のゲームビジネス への取り組み

4. Microsoft Game Stack is an initiative that brings together
all the tools and services game developers need from
Microsoft to build, run, and nurture their games.
What is Microsoft Game Stack?

5. Microsoft Game Stack is an initiative that brings together
all the tools and services game developers need from
Microsoft to build, run, and nurture their games.
What is Microsoft Game Stack?

6. Microsoft Game Stack is an initiative that brings together
all the tools and services game developers need from
Microsoft to build, run, and nurture their games.
What is Microsoft Game Stack?

7. ゲーム業界はモバイル、PC、コンソールともに成長市場です
特に、オンラインゲーム、F2Pゲーム、が台頭
内製化をして、独立系でサービスを展開する企業も増えています
内製化により迅速に変わり続けるデジタ
ル企業に必要なこと
https://ndigi.tech/all_post/13712
大手企業の構造
https://shukatsu-
mirai.com/archives/51714
Newzoo: Games market expected to hit
$180.1 billion in revenues in 2021
https://venturebeat.com/2018/04/30/newzo
o-global-games-expected-to-hit-180-1-
billion-in-revenues-2021/

8. 自己紹介
 株式会社KMS
野沢貴教
 体育学部からエンジニアへ
 医療系のSEからゲーム業界へ
 KMS入社後2つの運用タイトルにバックエンド
エンジニアとして参画

9. KMS, inc. Kaleidoscope Media Service とは
 Ｓｓ

10. 代表作
KMSではスピード感を維持し、様々な局
面にフレキシブルに対応するために、
内製の開発にこだわり、全力でユーザー様
をサポートする体制を整えています

11. 開発事業
• スマートフォン（Native／Web）・PC（Web）の開発
• ワンストップで、インフラ・バックエンド・フロントサイドまで設計、
開発、運用を行えるのが強みです
• ゲームでも、ゲーム以外の「アプリ」やウェブ開発でも どちらも
ご相談をお受けしてます

12. KMS での ゲーム開発・運営 のお仕事
 オンラインゲームの企画、開発、運営をなるべく 自
社のリソースで体制を組みます
 ゲームプロデューサー
 ゲームディレクター
 ゲームプランナー
 エンジニア
 モーションデザイナー
 UIデザイナー
 イラストレーター
 エフェクトデザイナー
 グラフィックデザイナー

13. KMS での ゲーム開発・運営 のお仕事
 オンラインゲームの企画、開発、運営をなるべく
自社のリソースで体制を組みます
 ゲームプロデューサー
 ゲームディレクター
 ゲームプランナー
 エンジニア
 クライアント プログラム
 サーバーサイドプログラム
 サーバー構築・運営
 ネットワーク 設定・運営
 データベース 設定・運営
 UIデザイナー
 イラストレーター
 エフェクトデザイナー
 グラフィックデザイナー

14. アジェンダ
1. オンラインゲームの特徴
2. システム構成概要
3. パフォーマンス対策・運用の事例紹介

15. オンラインゲームの特徴
100万人が好きな時にプレイ
（ゲームを行う）
100万人分のプレイヤーの
行動データが記録される
秒間約3000リクエスト
(時間帯や日による)

16. オンラインゲームの特徴
100万人が好きな時にプレイ
（ゲームを行う）
100万人分のプレイヤーの
行動データが記録される
新規イベントの開催や
プロモーションによって
さらなる負荷となる可能性
秒間約3000リクエスト
(時間帯や日による)

17. オンラインゲームの特徴
100万人が好きな時にプレイ
（ゲームを行う）
100万人分のプレイヤーの
行動データが記録される
新機能の追加など
継続的なアップデート
秒間約3000リクエスト
(時間帯や日による)

18. オンラインゲームの特徴
100万人が好きな時にプレイ
（ゲームを行う）
100万人分のプレイヤーの
行動データが記録される
WebApps の今のプランだと、XX倍までは
いける。では100倍の負荷が来た時はどう
なるのか？？（どんな選択肢があるの
か？）
ユーザー数の増加
また、新規機能の追加でも
ユーザーデータの増加が発生
新機能の追加など
継続的なアップデート
秒間約3000リクエスト
(時間帯や日による)

19. アジェンダ
1. オンラインゲームの特徴
2. システム構成概要
3. パフォーマンス対策・運用の事例紹介

20. 技術スタック
 ゲームロジック（クライアント）
 Unity
 C#
 Cocos Creator
 TypeScript
 バックエンド（Azure 側）
 コンテンツサーバー
 静的コンテンツ、assets類を配信
 アプリケーションサーバー
 Azure WebApps
 APIサーバーは.NET 5 C# で作成
 リアルタイム通信（WebSocket）
 マッチングサービス（Redis）
 メインデータベース（SQLDB）
 タイトルデータとプレイヤーの行動記録
 Entity Framework を利用

21. PaaS活用のメリット・デメリット
 メリット
 環境のコピーを素早く作成
 試験環境の準備、後処理が
容易
 スケールの上げ下げの自由度
 デメリット
 修正パッチ適用などの細かいコ
ントロールがしにくい
 ハードウェアレベルでの細かい
チューニングができない

22. システム構成概要図
PC/Web
browser
Database
Azure Cashe
SQL DB
Azure Storage
Azure CDN
Logic Apps
Application
Insight
AppService Native
WebApps
Smartphone
IOS/Android
DBへのアクセスが非常に多い
• QPSが高い
• Insert や Update も多い
• レコードは10億件超えるようなものも
配列形式のデータを扱える、アトミックな処
理が可能なKVSのため、プレイヤーのレイド
マッチングに利用できる
Memcached代わりにも使用
Application Insightによる 障害の検知と
通知
ゲーム体験の向上のためのパフォーマンス
改善のデータ収集
AppService PC/WebBrowser
WebApps
アセット配信

23. アジェンダ
1. オンラインゲームの特徴
2. システム構成概要
3. パフォーマンス対策・運用の事例紹介

24. パフォーマンス対策・運用の事例紹介
- インフラ・PaaS
 Redisクラスター構成化
 SQLDBのハードウェアモデルの変更
 肥大化したデータベースでも性能劣化にならないチューニング
 アラートの設定
- アプリケーション
 マスターデータのキャッシュ化
 一部ユーザーデータの一時キャッシュ化
 ApplicationInsightsへのテレメトリー送信
 設定のチューニング
 スロークエリの改善

25. パフォーマンス対策・運用の事例紹介
- インフラ・PaaS
 Redisクラスター構成化
 SQLDBのハードウェアモデルの変更
 肥大化したデータベースでも性能劣化にならないチューニング
 アラートの設定
- アプリケーション
 マスターデータのキャッシュ化
 一部ユーザーデータの一時キャッシュ化
 ApplicationInsightsへのテレメトリー送信
 設定のチューニング
 スロークエリの改善

26. Azure活用ポイント1： Azure Cache for Redis
Azure Casheの概要
 Relationがなく、一時的に保
存できればOKなデータを格納
 特性に合った使い方をすれば
SQLよりはるかに高速
 ゲームのような大規模の場合は
クラスターが便利
RedisClusterについて

27. Redis活用シナリオ Redisクラスター構成化
・IO処理が各ノードに分割
・ノードごとのデータ量減少
その結果、パフォーマンスが向上
・全インスタンスからのIO処
理が一つのノードに集中しボ
トルネックに

28. Redis活用シナリオ Redisクラスター構成化
 サービスイン後にボトルネックが発覚したが
アプリケーションの大きな変更なく素早く対応できた
 各ノードのデータサイズが小さくなったため
フェイルオーバー時の切り替えもスムーズに
※一度クラスター構成にすると戻すことはできない

29. Redis のノード障害やメンテナンス時の影響
 切り替えをスムーズに実行させるには、各ノードのデータ量を少
なくして、ポータルの詳細設定からmaxmemory-reservedの
設定をノードのデータ量を賄える程度に設定すると良い
メンテナンスや、ハードウェア障害で、Redisの
ノードが落ちることがある
PaaS の場合は、オンプレミスよりも高い頻度
で再起動が発生する！と思ったほうがいい
• 切り替えに、数分〜10分くらいかかる
（ゲームのサービスがダウン）
• 切り替えを瞬間的に実行させる
（ゲームサービスに影響せず切り替え）

30. パフォーマンス対策・運用の事例紹介
- インフラ・PaaS
 Redisクラスター構成化
 SQLDBのハードウェアモデルの変更
 肥大化したデータベースでも性能劣化にならないチューニング
 アラートの設定
- アプリケーション
 マスターデータのキャッシュ化
 一部ユーザーデータの一時キャッシュ化
 ApplicationInsightsへのテレメトリー送信
 設定のチューニング
 スロークエリの改善

31. Azureの活用ポイント2： Application Insights
 Application Insights概要
 実行中のアプリケーションの監視
 失敗したリクエストのログ集積
 サンプリングの頻度やログ集積の
最大容量の指定でコストの節約
 なぜゲーム運営に必須？
ユーザーのプレイに影響が出る
ようなインフラの異常を素早く検知
https://docs.microsoft.com/ja-jp/azure/azure-monitor/app/app-insights-overview

32. 活用シナリオ・実績 アラートの設定
Logic Apps
Application
Insight
各種メトリック
・担当者への電話通知
・チャットツールへのメッセージ
・CPU使用率x%以上
・エラーx件/1分 以上
・動的しきい値による判定

33. 活用シナリオ・実績 アラートの設定
Logic Apps
Application
Insight
各種メトリック
・担当者への電話通知
・チャットツールへのメッセージ
・CPU使用率x%以上
・エラーx件/1分 以上
・動的しきい値による判定

34. パフォーマンス対策・運用の事例紹介
- インフラ・PaaS
 Redisクラスター構成化
 SQLDBのハードウェアモデルの変更
 肥大化したデータベースでも性能劣化にならないチューニング
 アラートの設定
- アプリケーション
 マスターデータのキャッシュ化
 一部ユーザーデータの一時キャッシュ化
 ApplicationInsightsへのテレメトリー送信
 設定のチューニング
 スロークエリの改善

35. オンラインゲームの正しいキャッシュ戦略
•ゲーム運用時に、データベースへのアクセスを減らすためにキャッシュを利用します
•キャッシュしやすいデータ
•読み込み頻度が高い
•書き込み頻度が低い
•書き込み頻度が高くても、データの消去が許される
•KMSのゲームでは以下の方針でキャッシュを利用
•マスターデータ
→更新頻度が低いのでほぼアプリケーションサーバーにキャッシュする
→お知らせなど随時更新するデータはDBから直接取得
•ユーザーデータ
→バトルの進行状況やユーザー協力プレイの部屋情報などのそのタイミングでしか使わないデータ
→パーティの編成情報など更新頻度はある程度高いが、読み込み頻度がそれ以上に高いデータ
→ゲームシステムの設計にもよるがキャラクターのステータスなどの情報は随時更新されるので素直に
DBから取得

36. オンラインゲームの正しいキャッシュ戦略
•ゲーム運用時に、データベースへのアクセスを減らすためにキャッシュを利用します
•キャッシュしやすいデータ
•読み込み頻度が高い
•書き込み頻度が低い
•書き込み頻度が高くても、データの消去が許される
•KMSのゲームでは以下の方針でキャッシュを利用
•マスターデータ
→更新頻度が低いのでほぼアプリケーションサーバーにキャッシュする
→お知らせなど随時更新するデータはDBから直接取得
•ユーザーデータ
→バトルの進行状況やユーザー協力プレイの部屋情報などのそのタイミングでしか使わないデータ
→パーティの編成情報など更新頻度はある程度高いが、読み込み頻度がそれ以上に高いデータ
→ゲームシステムの設計にもよるがキャラクターのステータスなどの情報は随時更新されるので素直に
DBから取得

37. ユーザーデータのキャッシュ化のシナリオ
Redis
1. キャッシュへアクセス
2. キャッシュを応答
3. キャッシュになければSQLへ
GETリクエスト
4. キャッシュを保存
考え方
・SQLのデータが正
・DBへのデータ更新が発生したときにキャッシュを削除
・キャッシュがない状態でのGETはDBに取りにいくと同時にキャッシュへ保存
・キャッシュが削除されるまではキャッシュから応答

38. このように、KMS が C#, Azure PaaS を活用した結果、
 少人数でのスピード感のある開発が実現
 インフラチーム と アプリチーム の垣根がない運営
 イベントなどの急な負荷に対する対応
 これからもっと Azure を使いこなして 楽しいゲームを開発していきたい
 新技術、Serverless, Synapse Analytics などなど

39. ①構築サービス
 Microsoft Azure導入の設計～運用までを一貫してサポート
②保守運用サービス
 Microsoft Azureの監視・保守・運用・管理のサポート
③請求代行サービス
 Microsoft Azureの申込やお支払をサポート
④マイクロソフトサブスクリプション型製品販売
 Microsoft 365, Dynamics 365,Power BI, Visual Studio等
CloudHeart【クラウドハート】： https:///cloudheart.jp
9月8日 プレスリリース！！
クラウドビジネス始めました

40. ありがとうございました！

41. © 2021 Microsoft Corporation. All rights reserved.
本情報の内容 (添付文書、リンク先などを含む) は、公開日時点のものであり、予告なく変更される場合があります。
本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。