[Cloud OnAir] 一歩進んだ Monitoring で アプリケーションを改善しよう 2019年2月28日 放送
•
3 j'aime•4,461 vues
分散コンピューティングやマイクロサービスアーキテクチャの普及によりアプリケーションの複雑度が上がり、これに伴い Monitoring (監視) に求められる要件も複雑化しています。しかし Monitoring を活用するとユーザー体験を大きく改善する事ができます。本放送では Monitoring を取り巻く状況と GCP を活用した実装方法をご紹介します。
Recommandé
Recommandé
Contenu connexe
Plus de Google Cloud Platform - Japan
Plus de Google Cloud Platform - Japan (20)
Dernier
Dernier (7)
[Cloud OnAir] 一歩進んだ Monitoring で アプリケーションを改善しよう 2019年2月28日 放送
- 1. Cloud Onr Cloud OnAir Cloud OnAir 一歩進んだ Monitoring で アプリケーションを改善しよう 2019 年 2 月 28 日 放送
- 2. Cloud OnAir 想定視聴者 ● システムの運用をしている方 ● システムの企画をしている方、プロダクトマネージャーの方 ● 運用コストに悩む方々 今日の放送のゴール ● GCP を利用した運用 (モニタリング) を理解し、システムに導入する イメージを掴み、導入検討を始められる。 今日の放送の想定視聴者とゴール
- 5. Cloud OnAir 製品ライフサイクル コンセプト ビジネス 開発 運用 一般公開 アジャイル DevOps
- 6. Cloud OnAir システムを決まったサービスレベルで稼働させる ● モニタリング ○ システムのヘルスチェック、リソース利用状況の傾向分析など ● 予防 ○ スケーリング、エラー傾向の分析など ● 問題対応 ○ 問題分析、復旧作業 ● 定期的なメンテナンス ○ バックアップ、など 運用とは？ モニタリング 予防 問題対応
- 7. Cloud OnAir SLO (Service Level Objective) サービスが適切に運用されている事を確認するための指標 これを満たすとカスタマーが Happy これを満たせないとカスタマーが UnHappy 運用における KPI
- 8. Cloud OnAir 稼働率 99.7%? 適切な SLO の例 ※ https://cloudplatform-jp.googleblog.com/2017/02/available-or-not-that-is-the-question-CRE-life-lessons.html ● 問題 : システムはどの程度稼働していますか？ ● 観察 : shakespeare.com にアクセスすると、通常は “200 OK” という ステータス コードが返ってきます。滅多にありませんが、 500 Internal Server Error や接続失敗となることもあります。 ● 仮説 : 1 日間のリクエストにおいて 200 OK となる率が可用性だとすると、システムは 99.9 % の可用性を担保 ● 測定 : ウェブ サーバーのレスポンス ログ ● 分析 : 1 日の可用性を、200 OK となるレスポンス率と、リクエスト数の合計で 計算 ● 解明 : 7 日後、どの日も最低 99.7 % の可用性が担保されていました。 上司に報告して、 Happy に帰宅
- 9. Cloud OnAir ユーザ視点の SLO へ測定・分析方法の見直し 適切な SLO の例 ※ https://cloudplatform-jp.googleblog.com/2017/02/available-or-not-that-is-the-question-CRE-life-lessons.html ● 事象 : 翌日上司がサポートフォーラムを見ると、ユーザーが、 shakespeare.com で 検索しても何も結果が出てこないと言っているのです。問題が起こっていることは 明らか。しかし、可用性は昨日 99.7 % と報告を受けた ● 原因 : 設定ファイルのタイプミスで、フロントエンドとバックエンドに問題があった ● 修正 : ユーザーが感じる可用性を知りたい。 shakespeare.com が稼働していると ユーザーが感じるのはどんな場合なのでしょうか。システムが稼働しているという 状況は、ユーザーが shakespeare.com にやって来て、質問を入力し、 5 秒以内に 100 % その結果が返される状況 ● 再測定 : 探査機を 1 週間稼働させた後、1 日の最小の可用性を再計算。5 秒以内に結果を 返したのは 80 % 、18 % は 5 秒以上かかり、1 % はタイムアウトに、残り1 % はエラーと なっていました。 つまり、可用性の定義上、20 % ものクエリが完全に失敗。稼働率 80 % !
- 10. Cloud OnAir モニタリングの実態とこれから HW OS App Ping 監視、ポート監視など ステータスランプ監視など HTTP 監視、プロセス監視など やりすぎ、すくなすぎを無くして最適な運用を SLO を間接的に確認 (従来) SLO を直接的に確認 95% 100% 90% 85% 80%
- 11. Cloud OnAir 自分たちのサービスって どういう目標で 運用しているんだっけ？ Top Down Bottom Up こういうメトリクスを とって一緒にユーザー 体験を改善しましょう！ Hello World :)
- 12. Cloud OnAir Google が提唱する高信頼性で大規模システムを 運用するためのフレームワーク Site Reliability Engineering ※ https://landing.google.com/sre/books/
- 13. Cloud OnAir Cloud OnAir GCP を使った運用改善
- 14. Cloud OnAir Stackdriver サーバーレスの統合監視プラットフォーム Monitoring や Logging、APM など豊富な機能を一括で提供 高度な故障分析機能 アプリケーション動作環境にまで踏み込んだデバッグや サービス間のトレーシング 複数環境を統合的に管理 マルチクラウド、ハイブリッドクラウド、 オンプレミスといった様々な環境の情報を統合して管理可能
- 15. Cloud OnAir Stackdriver の主な機能 各種ログ取得 (Platform, System, App)、ログの検索/閲覧/フィルタ、 ログベース指標 レイテンシー情報取得、 レポーティング、サンプリング エラー通知、 エラーダッシュボード 本番環境のデバック用 スナップショットの取得、 条件によるスナップショット 取得、IDE 統合 Monitoring 各種メトリクス取得 (Platform, System, App)、ヘルスチェック、 ダッシュボード、アラート Logging Debugger Trace Error Reporting Profiler プロファイリング、 バージョンによる比較
- 16. Cloud OnAir Stackdriver のエコシステム splunk>enterprise bmc sumologic bluemedora netskope tenable (x)matterspagerdutyAtlassian HipChat OpsGenie
- 17. Cloud OnAir ● モニタリング ○ Stackdriver Monitoring ○ Stackdriver Logging ○ BigQuery ○ データポータル ● 問題対応 ○ Stackdriver Trace ○ Stackdriver Debugger ○ Stackdriver IRM ● 予防 ○ メンテナンス作業 (スケールアップ・ダウン、ディスク拡張等) サービスのマッピング
- 19. Cloud OnAir Stackdriver Service Monitoring Coming Soon
- 20. Cloud OnAir 問題対応のリファレンスアーキテクチャ Logging VM Container ログ Trace Profiler Debugger トレース情報 プロファイル情報 ← デバッグ情報 スナップショット ➝ 問題分析 New Style New Style New Style
- 25. Cloud OnAir Stackdriver Logging でのログ監視や、BigQuery を 駆使した分析・活用などにより、 SLO 99.95% を達成 お客様事例：株式会社エウレカ https://cloudplatform-jp.googleblog.com/2018/12/eureka-stackdriver-logging-bigquery.html
- 28. Cloud OnAir 管理対象増加による影響 オペレーション 管理対象の数(サーバー or アプリケーション) 理想的な形 回避したい形
- 29. Cloud OnAir 分散環境に適したモニタリング インフラ APPS インフラ APPS Enterprise オンプレミス Google Cloud Platform 他のパブリッククラウド クラスタ管理、 サービス管理、 ポリシーの自動化 Stackdriver
- 31. Cloud OnAir ● ユーザーに直接関係があるメトリクスのモニタリングを重要 ● GCP を活用して、改善の第一歩を踏み出そう モニタリングの見直しは改善のチャンス Monitoring Logging BigQuery アラート VM Container データポータル 廃棄 分析 Cloud Storage