OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介)
•
1 j'aime•562 vues
10/27 OSC 2018 Tokyo/Fallにて行った講演資料です。
![いけだ だいすけ
池田 大輔
[所属]
TIS株式会社 IT基盤エンジニアリング第1部
日本Zabbixユーザ会運営スタッフ
[興味・関心]
システム運用の効率化・改善
SRE,監視,ジョブ管理,構成管理 等
[技術要素]
Zabbix,JobScheduler,Ansible,fluentd,Neo4j
Elasticsearch,InfluxDB,Python,Golang等々
2
@ike_dai ikedai
ike-dai ike_dai](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介)
Similaire à OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介) (20)
Plus de Daisuke Ikeda
Plus de Daisuke Ikeda (20)
OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介)
- 1. 自律的運用に向けた第一歩 - 運用現場にあふれる情報をデータ化し機械的に学習できる状態に- 2018/10/27 オープンソースカンファレンス 2018 Tokyo/Fall TIS株式会社 池田 大輔
- 2. いけだ だいすけ 池田 大輔 [所属] TIS株式会社 IT基盤エンジニアリング第1部 日本Zabbixユーザ会運営スタッフ [興味・関心] システム運用の効率化・改善 SRE,監視,ジョブ管理,構成管理 等 [技術要素] Zabbix,JobScheduler,Ansible,fluentd,Neo4j Elasticsearch,InfluxDB,Python,Golang等々 2 @ike_dai ikedai ike-dai ike_dai
- 8. こんな状況、あなたならどうする？ ▫ とあるWebサービスの運用 ▫ とある時期を境に「応答が遅い」とのクレームが増加 ▫ 監視結果からも応答が遅くなっていることは明白 8
- 9. 確認フローの例 9 STEP 3 過去の類似事象の確認 ・その時はどういった現象が発生したか ・最終的に何が原因だったか ・その時の対処として何を行ったか STEP 1 リソース利用状況の 監視グラフ確認 ・各サーバ、各サービスの状態はどうか ・不足しているリソースはなにか CPU?Memory?DiskIO?NWIO？ STEP 2 異常発生時間帯直前の イベントを確認 ・なにか設定変更していないか ・リソース変更等構成変更がないか ・アクセス数に変化がないか ・プロモーション活動がなかったか 総合的に判断し... DBのディスクIOがボトルネックになっている状況であり、 DBのパラメータチューニングによりメモリ利用改善を試みる ・・・
- 10. 確認フローの例 10 STEP 3 過去の類似事象の確認 ・その時はどういった現象が発生したか ・最終的に何が原因だったか ・その時の対処として何を行ったか STEP 1 リソース利用状況の 監視グラフ確認 ・各サーバ、各サービスの状態はどうか ・不足しているリソースはなにか CPU?Memory?DiskIO?NWIO？ STEP 2 異常発生時間帯直前の イベントを確認 ・なにか設定変更していないか ・リソース変更等構成変更がないか ・アクセス数に変化がないか ・プロモーション活動がなかったか 総合的に判断し... DBのディスクIOがボトルネックになっている状況であり、 DBのパラメータチューニングによりメモリ利用改善を試みる ・・・ 過去に経験していて すぐに思い出せれば 対処もスムーズになるのでは？
- 11. 過去の発生事象をインシデント管理 ・KBとして過去事象を記録 ・チーム内で共有 再発防止&再発時の対処迅速化 極力わかりやすく状況を可視化 ・グラフを並べて表示したり ・NWマップ等でグラフィカルに提示したり すばやく根本原因に到達できるように 11 これまでのアプローチ例 Ex. Ex. ・Zabbixのグラフやスクリーン ・Grafanaダッシュボードの利用 ・Elasticsearch + Kibanaで可視化 等 ・Redmineで管理 ・Excelで管理 ・Wikiやesa.io, DocBase等の管理ツールを利用 等
- 12. 0 1 0 1 1 0 1 0 1 1 1 0 0 1 0 0 1 1 0 1 0 1 0 1 0 1 0 1 1 0 1 0 1 0 1 1 0 0 1 0 1 0 0 1 0 1 0 1 0 1 0 0 運用現場にデータ分析のPowerを取り込む 12 運用 データ 0 1 0 1 0 1
- 13. 13 定性的から定量的に
- 14. 14 定量化しきれていない
- 15. 15 定量化しきれていない サーバ構成 No ホスト名 IPアドレス OS 備考 1 web-server-01 192.168.111.11 RHEL7.3 web-server-02とのAct-Standby構成 2 web-server-02 192.168.111.12 RHEL7.3 web-server-01とのAct-Standby構成 3 db-server-01 192.168.111.31 RHEL7.3 db-server-02とのAct-Act(ReadReplica)構成 4 db-server-02 192.168.111.32 RHEL7.3 db-server-01とのAct-Act(ReadReplica)構成 5 db-lb-server-01 192.168.111.21 CentOS7 db-lb-server-02とのAct-Act構成 6 db-lb-server-02 192.168.111.22 CentOS7 db-lb-server-01とのAct-Act構成 SW/MW構成 No. ホスト SW/MW バージョン 備考 1 web-server-01 web-server-02 nginx 1.14.0 ※10/25 1.13.0からバージョンアップ実施 2 pacemaker 1.1.18 3 zabbix-agent 3.0.19 4 db-server-01 db-server-02 PostgreSQL 9.6.5 5 JobScheduler Agent 1.12.0
- 18. 定量化する方法例 -時系列ログデータ列- 18 Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3032, tty '/dev/tty1': '/sbin/getty 38400 tty1' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3033, tty '/dev/tty2': '/sbin/getty 38400 tty2' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3036, tty '/dev/tty3': '/sbin/getty 38400 tty3' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3039, tty '/dev/tty4': '/sbin/getty 38400 tty4' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3042, tty '/dev/tty5': '/sbin/getty 38400 tty5' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3045, tty '/dev/tty6': '/sbin/getty 38400 tty6' Oct 25 09:54:15 docker-host-alpine daemon.info init: starting pid 3048, tty '/dev/ttyS0': '/sbin/getty -L 115200 ttyS0 vt100' Oct 25 09:54:27 docker-host-alpine kern.info kernel: [ 26.938509] bridge: filtering via arp/ip/ip6tables is no longer available by default. Update your scripts to load br_netfilter if you need this. Oct 25 09:54:27 docker-host-alpine kern.notice kernel: [ 26.983302] Bridge firewalling registered Oct 25 09:54:27 docker-host-alpine kern.info kernel: [ 27.003598] nf_conntrack version 0.5.0 (65536 buckets, 262144 max) Oct 25 09:54:27 docker-host-alpine kern.info kernel: [ 27.432239] Netfilter messages via NETLINK v0.30. Oct 25 09:54:28 docker-host-alpine kern.info kernel: [ 27.443962] ctnetlink v0.93: registering with nfnetlink. Oct 25 09:54:28 docker-host-alpine kern.info kernel: [ 27.488759] IPv6: ADDRCONF(NETDEV_UP): br-5a.: link is not ready Oct 25 09:54:28 docker-host-alpine kern.info kernel: [ 27.508851] IPv6: ADDRCONF(NETDEV_UP): docker0: link is not ready Oct 25 09:54:45 docker-host-alpine auth.info sshd[3235]: Accepted password for root from 10.1.1.100 port 65468 ssh2 ログ出力パターンでクラスタリング クラスタ毎の時系列出力件数の推移に変換
- 19. 定量化する方法例 -構成情報- 19 Service Cの重要度が高そうだ グラフDBの活用 媒介中心性を求めるクエリ(Neo4j cypher) MATCH p = allShortestPaths((p1:Service)-[:connect*]-(p2:Service)) WHERE id(p1) < id(p2) AND length(p) > 1 UNWIND nodes(p)[1..-1] AS n RETURN n, count(*) AS betweeness ORDER BY betweeness DESC n betweeness Service C 5 Service B 3 Service A 3
- 20. 定量化する方法例 -構成情報- 20 diffからの変更箇所抽出 --- /tmp/sample.conf.old +++ /tmp/sample.conf @@ -3,7 +3,7 @@ ## # Param1 : test parameter 1 ## -Param1=12345 +Param1=100 Username=user1 { ‘file’: ‘/tmp/sample.conf’, ’param’: ’Param1’, ‘before’: 12345, ‘after’: 100 }
- 22. 22 状態変化 行動実績
- 23. 23 状態変化 行動実績 Next Action がわかる
- 24. Data Collector Data Analyzer データ収集基盤 データ分析基盤 24 ダッシュボード Operation Dashboard
- 26. Place your screenshot here 26 Prototype Image Display various events list
- 27. Place your screenshot here 27 Prototype Image Investigate time series monitoring data
- 28. Place your screenshot here 28 Prototype Image Display configuration diff
- 29. Place your screenshot here 29 Prototype Image Execute command with SSH connection
- 30. Place your screenshot here 30 Prototype Image Display recommendation results
- 31. 31