2020/10/28 Microsoft共催！ビヨンドのAzure Day【ビヨンド勉強会#29】 株式会社ビヨンド システム開発部 長谷竜弥 「Azure Paas環境の負荷試験」

1. Azure PaaS環境の負荷試験
株式会社ビヨンド 長谷 竜弥

2. プロフィール
・名前：長谷 竜弥（ながたに たつや）
・2016 年に 株式会社ビヨンドに入社、現在5年目のWebエンジニア
・業務内容：Web サイトのサーバーサイドの開発、ゲームAPI の開発
・主な開発言語：PHP、C#
・趣味：野球、アニメ
※彼女募集中！

3. 目次
・概要と構成
・負荷試験の目標値
・負荷試験の流れ
・SQLチューニングについて
・負荷試験の結果
・オートスケーリングについて
・まとめ

4. 概要
■案件
・シングルサインオン（アカウント認証を共通化する仕組み）の開発
■負荷試験の内容
・ログインAPI の負荷試験を実施
⇒今回はこのAPIのみ
・ツールは Apache J Meter を使用

5. 構成
■プラットフォーム
・Azure
■サービス構成
・App Service（PaaS）
・SQL Database（DBサーバ）
■言語 / フレームワーク
・ASP.NET Core（C# ）
※ ログイン認証は ASP.NET Core Identity を使用

6. App Serviceとは？
・Microsoft Azure が提供する PaaS(Platform as a Service)
・Web Apps、Mobile Apps、API Apps、Logic Apps の アプリが用意されている
・アプリケーションの迅速な構築が可能
・手動/ 自動でのスケールアップ(アウト)が可能
【対応言語】
.NET/ .NET Core/ J ava/ Node.js/ Python/ PHP/ Ruby
⇒幅広く対応している

7. SQL Databaseとは？
・Microsoft Azure が提供する フル マネージドの PaaS データベース エンジン
・SQL Server をベースにしている
・ほとんどのデータベース管理機能をユーザーの介入なしで処理することが可能
・自動バックアップ
・自動チューニング
・可用性の担保
・購入モデルは2種類ある
・仮想コア：処理能力とストレージをそれぞれ選択できるモデル
・DTU：処理能力とストレージがセットになったサイズの選択を行うモデル

8. システム構成図

9. サーバ構成図

10. 負荷試験の目標値
・ピークの時間帯で約96万ユーザー（1時間）のアクセスを想定
・単純に計算すると秒間 約 270 リクエスト
※ 96 万（ユーザー）÷ 3600（秒）＝266.67 （リクエスト）
・多少バッファをもって 300 RPS を目標に負荷試験を実施
・データ量（ユーザー数）は 10000 にしている
※ RPS（Request Per Second）：1秒間に処理を行うHTTPリクエストの数

11. 負荷試験の流れ
1. App Service、SQL Database を最小構成にした状態で試験
2. 1の結果から、チューニングを検討し実施する
3. 負荷（CPU使用率、メモリ使用率）の状況を見ながら、
スペック・台数調整を行い、RPS 300 になるまで負荷試験を繰り返す
1. 3の結果から最終的なスペック・台数を決定

12. ・参考値として最小構成で試験
・最小構成のため、3.04 RPS となった
・プログラム処理に関しても、500 エラーが2.1%発生
・この結果から、SQLチューニングを実施
負荷試験の結果（最小構成）
サービス プラン ｲﾝｽﾀﾝｽ数 コア数 メモリ
App Service Basic 1 1 1.75 GB
サービス プラン スペック
SQL Database Basic DTU x 5
スレッド RampUp ループ エラー率 RPS
結果 10 1 100 2.1% 3.04

13. SQLチューニングについて
・ログイン処理で実行されるクエリの洗い出し
・洗い出したクエリの実行計画（Explain）から、クエリ文や Index 等を調整
処理時間が平均 32 ms 短縮
ログイン処理時間（ms）
1回目 2回目 3回目 4回目 5回目 最大 最小 平均
チューニング前 142 109 141 107 99 142 99 119.8
チューニング後 86 87 92 92 82 92 82 87.8

14. ・それぞれプランを1ランク上げて試験
・結果は 101.91 RPS で 200RPS の 2 分の 1 程度
・App Service のCPU使用率が 100 %
・DTU を下げApp Service のプランを上げ再度試験
負荷試験の結果（パターン1）
結果
スレッド RampUp ループ エラー率
CPU 使用率
RPS
App Service SQL Database
2000 10 10 0% 100% 47% 101.91
サービス プラン ｲﾝｽﾀﾝｽ数 コア数 メモリ
App Service S1 10 1 1.75 GB
サービス プラン スペック
SQL Database Standard DTU x 200

15. ・App Service のプランを 1 ランク、インスタンス数を 1/ 2 の 5 に設定
・SQL Database の DTU を 1/ 2 の 100 に設定
・結果は 105.58 RPS でパターン1と大きな変化なし
・DB の CPU 使用率 が100％
・DTUを上げて再度試験
負荷試験の結果（パターン2）
結果
スレッド RampUp ループ エラー率
CPU 使用率
RPS
App Service SQL Database
2000 10 10 0% 94% 100% 105.58
サービス プラン ｲﾝｽﾀﾝｽ数 コア数 メモリ
App Service P1V2 5 1 3.50 GB
サービス プラン スペック
SQL Database Standard DTU x 100

16. 負荷試験の結果（パターン3）
・SQL Database の DTU を倍の 200 に設定
・結果は 144.63 RPS で目標の 1/ 2 程度
・App Service、DB 共に CPU 使用率 が 100 % を下回った
・この構成をベースとし App Service、DBのスペックを倍にして再度試験
結果
スレッド RampUp ループ エラー率
CPU 使用率
RPS
App Service SQL Database
2000 10 10 0% 88% 58% 144.63
サービス プラン ｲﾝｽﾀﾝｽ数 コア数 メモリ
App Service P1V2 5 1 3.50 GB
サービス プラン スペック
SQL Database Standard DTU x 200

17. 負荷試験の結果（最終）
・App Service インスタンス数を倍の 10 に設定
・DB の DTU を倍の 400 に設定
・結果は 296.08 RPS で、目標値である 300 RPS を捌ける構成となった
・負荷もApp Service、DB 共に安定していたため、この構成を最終のものとした
結果
スレッド RampUp ループ エラー率
CPU 使用率
RPS
App Service SQL Database
3000 10 10 0% 76% 39% 296.08
サービス プラン ｲﾝｽﾀﾝｽ数 コア数 メモリ
App Service P1V2 10 1 3.50 GB
サービス プラン スペック
SQL Database Standard DTU x 400

18. ・先ほどまでの負荷試験はあくまでもピーク時に耐えれる構成
・常時この構成では、コスト面での不安が大きい
⇒オートスケーリングを考慮する必要がある
・App Service にはオートスケーリング機能が備わっている
・最終構成をベースとして、スペックをある程度下げた状態を
デフォルトとし、CPU使用率が高くなればオートスケーリングで
性能を上げる形で調整を行った
※ SQL Databaseのオートスケーリング機能はデフォルトの機能では
備わっていない
オートスケーリングについて

19. ・デフォルトでオートスケーリング機能が備わっていない
・Azure Automation を使って疑似的にオートスケールを行うことが可能
※導入方法についてはビヨンドHPのブログを参照
■URL
https:/ / beyondjapan.com/ blog/ 2020/ 07/ sql-database-automation-auto-scale/
または「ビヨンドブログ SQL Databaseオートスケール」で検索
SQL Database のオートスケーリングについて

20. ・PaaSの負荷試験も通常の負荷試験と同様に実施することができる
・App Service にはオートスケーリング機能が備わっている
・SQL Database は Azure Automation を使うと疑似的に
オートスケーリングができる
・PaaS でのWebアプリケーション構築は LAMP に比べ
環境を簡単に構築することができる
まとめ

21. ・PaaSの負荷試験も通常の負荷試験と同様に実施することができる
・App Service にはオートスケーリング機能が備わっている
・SQL Databas
ご清聴ありがとうございました！