Zabbix監視運用業務の自動化事例

Zabbixだけじゃない！　
OSSを徹底活⽤用して運⽤用⾃自動化を実現
「Zabbix監視運⽤用業務の⾃自動化事例例」

2015/9/25
Open
Programmable
Infrastructure
Environment

1.  運⽤用と⾃自動化の意味
2.  運⽤用⾃自動化のアーキテクチャ
3.  運⽤用⾃自動化事例例
4.  ⾃自動化の鍵１
5.  ⾃自動化の鍵２
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
2

システム運⽤用の⽬目的
  「サービス」の継続的提供
ビジネスに価値のあるサービスを、
  より素早く ⇨計画〜～リリースの期間を短く
  ⽋欠陥を減らし ⇨性能低下、障害発⽣生の防⽌止
  効率率率を改善し ⇨サポートコストの削減
継続的に提供する
  障害対応
障害発⽣生時に
  迅速にサービスを復復旧し
  再発を防⽌止する
3

⼿手作業の運⽤用の問題
  撲滅できない操作ミス
  タイプミス
  ⼿手順書のタイポ
  エラー時のロールバック⼿手順不不備
  原因不不明の障害
  開発環境、検証環境、本番環境が微妙に異異なる（ライブラリやOS設定）
  環境によって操作⼿手順が異異なる
  そもそも⼿手作業なので、再現が困難
  秘伝のタレによる属⼈人化
  リリースサイクルの⻑⾧長期化
  変更更が適⽤用されるまでに、次の変更更要求が滞留留
  変更更頻度度が少ないため、変更更箇所が増え、変更更のリスクが増⼤大
  環境の複雑化への対応が困難
  仮想化、クラウド化によってシステム環境が複雑化し、動的な変更更／変化が発⽣生
  それに伴い作業⼿手順も複雑化し、メンテナンスが困難に
  ⾮非効率率率、⾮非⼈人間的な作業
  端末操作、⼿手順書読み上げ、作業確認の3⼈人体制
  ⻑⾧長時間にわたる操作の緊張と重圧
4

クラウドで求められる⾃自動化と可視化
情報量量の爆発
ガバナンス低下
クラウドで重要になる⾃自動化と可視化
5
仮想化による、論論理理構
成と物理理構成の複雑化
オンデマンドによる、
変更更の⾼高速⾼高頻度度化
動的構成管理理と関係マッピング
監視や変更更管理理との連携
運⽤用管理理の負担軽減
⾃自動情報収集とワークフロー
外部システムとの柔軟な連携
管理理内容の可視化
広がるパブリッククラウド
プライベートクラウドの活⽤用

運⽤用管理理を⾃自動化する効果
  構築〜～実装〜～サービス稼働までプログラム化
  コスト低減、ミスの削減、期間短縮
  「運⽤用でカバー」から、「設計で保証」
  運⽤用管理理の集中化と可視化
  作業は⾃自動化し、⼈人間は判断に集中
  ⼈人に依存しない標準化、品質向上
  定量量評価による投資対効果の明確化
  継続的デリバリーの実現
  リリースの多頻度度化により、リリースのリスクを低減
  ビジネスサイクルの⾼高速化に適応
  広域分散環境に対応
  AWS等のクラウドサービスから、オンプレミスの既存物理理サーバまで⼀一元管理理
  リソースの最適化
  ⽬目的に応じて最適なプラットフォームにアプリケーションを移動
  DR/BCPへ対応
  DR/BCPの⾃自動化
6

運⽤用管理理⾃自動化の役割
7
要件定
義
設計
コーディ
ング
テスト
継続的
インテ
グレーション
開発サイクルの高速化
ジョブ
管理
監視
検知
リカバ
リ
運用
サイクル
運用サイクルの自動化
運用引き継ぎの自動化
バージョン管理
構成管理
自動デプロイ
自動テスト
•  全てプログラム化
•  どの環境でも同じ手順
•  何度実行しても同じ結果を再現
•  作業結果をログに保存

構成管理理及びリリース管理理の成熟度度モデル
「継続的デリバリー　信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの⾃自動化」
David Farley (著), Jez Humble (著), 和智右桂 (翻訳), ⾼高⽊木正弘 (翻訳) アスキー・メディアワークス (2012/3/14)
8
　
レベル -1
レベル 0
レベル 1
レベル 2
レベル 3
プラクティス
リグレッションエラー多発： 
プロセスは繰返せず管理も
貧弱、そして対症療法を行っ
ている。
繰返し可能： 
プロセスは文書化され、一部
は自動化されている。
一貫している： 
自動化されたプロセスが、ア
プリケーションのライフサイク
ル全体に適用されている。
定量的な管理： 
プロセスが計測可能で制御さ
れている。
最適化： 
プロセスの改善に注力する。
ビルド管理及
び継続的イン
テグレーション
ソフトウェアのビルド手順が
手動である。成果物やビルド
結果の管理をしていない。
普段のビルドやテストを自動
化している。全てのビルドは
ソース管理システムを使って
自動化された手順で再現で
きる。
自動ビルドと自動テストのサ
イクルを、変更がコミットされ
るたびに実行する。依存関係
を管理する。スクリプトやツー
ルを再利用する。
ビルドメトリクスを収集して可
視化し、それに基づいて作業
する。ビルドを壊れたままに
しない。
チームで定期的に話し合い
の場を持ち、統合時の問題
やその自動化による解決、素
早いフィードバック、そしてよ
り良い可視化について議論
する。
環境及びデプ
ロイメント
ソフトウェアのデプロイ手順
が手動である。バイナリが環
境に依存する。環境の配布
が手動である。
一部の環境ではデプロイを自
動化している。新しい環境を
手軽に作成できる。全ての構
成情報を外に出してバージョ
ン管理する。
ソフトウェアのデプロイは完
全に自動化され、ボタンを押
すだけで完結する。全ての環
境に対して同じ手順でデプロ
イする。
統合したデプロイ管理、リ
リースやリリース取消の手順
もテストしている。
全ての環境がうまく管理され
ている。プロビジョニングは完
全に自動化、仮想化を適切
に活用する。
リリース管理及
びコンプライア
ンス
リリース頻度が低く、しかも信
頼できない。
面倒で頻度も低く、信頼でき
ないリリース、リリース要件に
関するトレーサビリティも限定
的。
変更管理とその承認プロセス
が定義され、それを守ってい
る。規約を遵守している。
環境はアプリケーションの健
康状態を監視し、能動的に管
理している。サイクルタイムを
監視している。
運用チームとデリバリーチー
ムが協力し、リスク管理やサ
イクルタイム削減を行う。
テスト
開発をした後に手作業でのテ
ストを実施する。
ストーリーの開発の一環とし
て自動テストを書く。
ユニットテストや受入テストを
自動化する。受入テストはテ
スターが書く。テストが開発プ
ロセスに組み込まれている。
品質のメトリクスとその傾向
を追跡する。非機能要件を定
義し、計測する。
本番環境への変更の取消は
滅多に発生しない。問題があ
ればすぐに見つかり、すぐに
修正される。
データ管理
データのマイグレーションは
バージョン管理されておらず、
手作業で操作する。
データベースへの変更は自
動化したスクリプトで行い、ス
クリプトはアプリケーションと
共にバージョン管理する。
データベースの変更はデプロ
イメントプロセスの一環として
自動的に行う。
データベースの更新やロー
ルバックはデプロイの度にテ
ストされる。データベースの
パフォーマンスを監視、最適
化する。
リリースのたびに、データ
ベースのパフォーマンスやデ
プロイメントプロセス自体につ
いてのフィードバックを得る。
構成管理
バージョン管理システムを
使っていない、あるいは使っ
ていても滅短チェックインしな
い。
バージョン管理システムを
使って、ソフトウェアの作成に
必要な物を全て管理する。
ソースコードや設定ファイル、
ビルドやデプロイ用スクリプト、
データのマイグレーション等。
ライブラリや依存関係を管理
する。バージョン管理システ
ムの利用ポリシーは、変更管
理プロセスで定義する。
開発者は、少なくとも1日1度
はメインラインにチェックイン
する。ブランチはリリース作業
のときだけ使う。
変更管理のポリシーを常に
検証し、効率的な共同作業
や素早いデプロイができてい
るかを確かめる。また、変更
管理プロセスの可監査性も
チェックする。

9

概念念アーキテクチャ
運用ポータル
ジョブモニタ
リソースモニタ
チケットモニタ
カレンダ
イベントモニタ
ニュース
監視／アラート
サービスデスク／
構成管理／変更管理
チケット作成
障害通知
プロジェクト管理
作業依頼
ソースコード管理
コード
作成／修正
デプロイツール
ジョブ管理
クラウドAPI
テスト
デバッグ
リリース
クラウド
プロバイダ
リソース
結果登録
オーケストレーシ
ョンレイヤ
イメージ置場
レポジトリ
CMDB
メール
10

ネットワーク管理
アプリケーション
フレームワーク
監視
資源管理
（クラウド／VM／実機／ストレージ）
OSインストール
初期設定／構成管理
アプリケーション構成
コマンド自動実行
openQRM
Docker
Kubernetes
GlusterFS
Ceph
XtreemFS
Puppet
Ansible
Nagios
Zabbix

Fabric
運⽤用管理理⾃自動化ツール
JobScheduler
Open Contrail
Etc.
ジョブ管理
11
サービスデスク／工程管理／リポジトリ
Redmine
Git/svn
OTRS

バージョン管理理
サービスデスク
Open Programmable
Infrastructure Environment
12
運⽤用
ポータル
ヒヤリン
グシート
設定シート
ミドルウェア／
アプリ
構成管理理
実⾏行行管理理
構築情報
変更更依頼
アラート
／イベント
API連携
インベントリ
／コンフィグ
／ステータス
ユーザ
オペレータ
SE
状態監視
vmware
構築/検証
Fabric
物理理サーバ
インベントリ収集
ログ管理理

運⽤用現場で最も使⽤用される
13

ヒヤリングシート／設定シート
14

Excelの何が問題か？
  タイポ
  コピペによるミスの再⽣生産
  乏しい変更更管理理、差分管理理機能
  結局印刷して、⼿手作業で設定ファイルや
コマンドを実⾏行行するため、ミスがなくせ
ない
15

16

CloudConf概要
ヒヤリング
シート
（記⼊入済み）
ヒヤリン
グシート
記⼊入
ヒヤリン
グシート
確認
設定シート
プロビ
実⾏行行コンフィグ
構成確認
コンフィグ
監視
設定ファイル
設定シート
ServerSpec
結果
引継ぎ
設定
コンバータ
CloudConf
vmware
物理理サーバ
実⾏行行管理理
17

Cloudconf導⼊入事例例
管理理サーバ
対象機器
sshログイン/WinRM
管理理マネージャ
顧客環境
対象機器
存在チェック
テキスト
ファイル
実⾏行行結果ログ
監視設定登録
18
監視サーバ
踏み台サーバ
Excelファイルアップロード
Snmp/Ssh
Zabbix 　API
エラー通知メール
ファイル検知⾃自動実⾏行行
種類／内容チェック
エージェント対象
状態確認
エージェント
インストール／
アップデート／
起動
CloudConf
(+Getinfo)
Ping

Getinfo導⼊入事例例
監視サーバ対象機器
ssh/telnet
ログイン
オペレータ
端末
顧客環境
Zabbixアラート検知
トリガーから
アクション実⾏行行
CMDBを検索索、ip/
user/pwd/機種
を取得
対象機器で
コマンド実⾏行行
対象機器に
Ssh/telnetログイン
テキスト
ファイル
MySQL
コマンド
実⾏行行結果
ファイル
CMDB
IP/ユーザー/パス
ワード/機種他
コマンドテーブル
コマンド実⾏行行結果を
テキストファイルに
保存
元情報との差分を
表⽰示
操作ログ /var/log/messages
19
バージョン管理理
踏み台
サーバ

20

⾃自動化の鍵：ワークフロー制御
  ⼈人間判断フロー：CMDBuild/Shark
  承認、指⽰示など各ステークホルダが⼊入⼒力力
  プログラム制御：JobScheduler
  エラー制御、分岐判断のロジックを記述
21

CMDBuild構成管理理システム
  2005年年プロジェクト開始
  伊Tecnoteca 社が開発、AGPLライセンス
  http://www.cmdbuild.org/
22
CMDB
ワークフロー
文書管理
地理情報
レポーティング
API
JSON/SOAP
APACHE
TOMCAT
アセット
コンピュータ
ライセンス
サーバ
デスクトップ
ユーザ
サプライヤ
ドキュメント
場所
保守契約
監視システム
ポータル

CMDBuildの特徴
  ⾃自由なデータモデル
  クラスとリレーションの設定で
⾃自由に設計可能
  組み込まれたワークフローエンジン
  Together Workﬂow (Shark)を使⽤用し、ワークフローを設計／実⾏行行
  他システムの連携
  SOAP API, Mail, SQL, LDAP/AD, CSV, etc.
  ITIL V3準拠
  組み込まれた⽂文書管理理機能
  多⾔言語対応
  ⽇日本語／英語／ドイツ語
スペイン／フランス／イタリア
ロシア／ポルトガル／セルビア
ブラジル
23
サービス戦略略サービス設計サービス移⾏行行サービス運⽤用継続的改善
財務管理理
サービスカタログ
管理理
変更更管理理イベント管理理 7ステップ改善
需要管理理
サービスレベル管
理理
資産構成管理理インシデント管理理サービス測定
ポートフォリオ管
理理
キャパシティ管理理ナレッジ管理理リクエスト対応サービスレポート
可⽤用性管理理移⾏行行計画／⽀支援アクセス管理理
サービス継続性管
理理
リリースデプロイ
管理理
問題管理理
セキュリティ管理理
サービスバリデー
ション／テスト
サービスデスク
サプライヤ管理理評価技術管理理
アプリケーション
管理理
オペレーション管
理理
アセット
コンピュータ
ライセンス
サーバ
デスクトップ
ユーザ
サプライヤ
ドキュメント
場所
保守契約
ロケーション
顧客
サービス
ネットワーク
保守契約
モデル

CMDBuild画⾯面例例
24

きめ細かい権限管理理
25
ロール毎クラス毎に権限設定可能
ロール毎に表⽰示メニューの設定可能

ワークフロー機能
26
  Together Workﬂow Editorで作成したワークフローを、インポート
http://www.together.at/prod/workﬂow/twe
Redmine'>)
Cmdbuild)
)
)
or
Redmine
Redmine
XRFC
X X X
)
)X
Redmine)
)
)
XX
X
RFC01 RFC02
RFC03
RFC04 RFC05
RFC00
RFC06
RFC07
RFC08
RFC09 RFC10
RFC11
RFC12
RFC13
RFC14
)

サーバ構築⾃自動化例例
サーバ構築依頼
受付
変更更依頼
チケット発⾏行行
影響調査
変更更承認
作業指⽰示
サーバ構築
Fabric
構築検証
監視設定作業結果承認
CMDB登録
チケット
クローズ
ヒヤリン
グシート
27

インシデント対応⾃自動化例例
アラート発報
受付
チケット発⾏行行
影響調査
変更更承認
作業指⽰示
バージョンアップ
Fabric
構築検証作業結果承認
⼀一次切切り分け
変更更依頼
CMDB登録
チケット
クローズ
28

セルフサービスポータル
  有償オプション
29

Zabbix-‐‑‒CMDBuild連携ポートレット
30
最新イベント情報の表⽰示
Zabbixイベント情報のホス
トをクリックすると、該当
ホストの構成管理理DBの内容
を表⽰示

⾃自動インベントリ収集
  エージェントレス型
  nmap, snmp, ssh, WMIによる、Linux/Windows/NW機器の情報収集
31

インベントリ収集フロー
32
Webから実⾏行行
Network Groupが
なければ作成
Nmapスクリプト
実⾏行行
ログ画⾯面にリダイ
レクト
Nmap実⾏行行結果
確認
Snmp?
Snmpスキャン
実⾏行行
デバイス
登録済?
デバイス追加
デバイス更更新
WMI?
VBSスクリプト
転送・実⾏行行
ssh?
shellスクリプト
転送・実⾏行行
スクリプト実
⾏行行結果を、
Open-‐‑‒Auditサ
ーバにhttp put
終了了
対象デバイス

33

ジョブ管理理：JobSchedulerの特⻑⾧長
  オープンソース（GNU Public License V.2）
  Linux/Windows版は、全ての機能が無料料で使⽤用可能。
  サポートライセンスを購⼊入すれば、HP-‐‑‒UX/Solaris/AIX版の利利⽤用に加えて、障害対応、
バグフィックス／ワークアラウンドの提供、新機能の早期提供、チケットシステム
(OTRS)、JIRAの利利⽤用が提供される。
  プログラマブル
  ジョブの中で、Java, Perl, JavaScript, VBScript, Powershell, javax.scriptの内部
APIを使ったロジックを記述可能
  外部API（XML形式）によりRESTまたはコマンドラインからジョブの実⾏行行制御、実⾏行行
状況の取得が可能
  エンタープライズ・グレード
  ファイル転送やログローテンション等豊富なテンプレート機能
  リモートジョブ実⾏行行、冗⻑⾧長化機能、ロードバランス、外部認証等、エンタープライズ
向け⼤大規模システム対応
  JasperReport（ジョブ実⾏行行レポート）やZabbix/Nagios（ジョブ実⾏行行監視）との連携
機能
  MySQLの他、PostgreSQL, Oracle, DB2, MS SQL Server, Firebirdに対応
  豊富な導⼊入実績15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved
34

35
JobSchedulerの導⼊入実績
ドイツ
eBankやカード決済サービス会社
イギリス
財務アプリケーションのプロバイダ
オーストリア
(イタリアの)⼤大⼿手⾦金金融グループ
アメリカノースカロライナ州
保健福祉サービス機関
ヨーロッパを中⼼心に⾦金金融・産業・政府・⼤大学
などの様々な機関で使⽤用されている
ドイツ
⼤大学図書館

ユニバーサル・エージェント
  最新版でリリース（V1.10）
  従来のエージェント（クラシック・エージェント）との違い
https://kb.sos-‐‑‒berlin.com/display/PKB/JobScheduler+Universal+Agent+-‐‑‒+Features
  Pure Java、シングルバイナリー
  次ページ「サポートプラットフォーム」を参照
  ゼロ・コンフィグレーション
  エージェント側での設定を廃⽌止、マスタ側からのリクエストに変更更
  リモート・ファイル監視
  エージェント側ホストのファイル監視が可能
  Docker サポート
  Dockerコンテナ内でのエージェント稼働、ジョブの起動／停⽌止
  Raspberry Pi サポート
  有償ライセンスのみのリリース（V1.10以降降）
  オープンソースライセンスは、SSHのみ
  尚、JobSchedulerのマスタ（エンジン）とエージェントは、異異なるバージョン
でも、使⽤用可能です。（マスタ／エージェント互換性情報を参照ください）
36

ユニバーサル・エージェント
サポートプラットフォーム
https://kb.sos-‐‑‒berlin.com/display/PKB/JobScheduler+Universal+Agent+-‐‑‒+Platform
+Support
37
は、未検証

導⼊入事例例１
  国内製造業A社
  流流通・⼩小売業向けの各種機器を製造
  機器導⼊入先のエンドユーザー企業で、機器の保守のほか、ネットワーク監視、運⽤用監視
サービスも併せて提供している
  監視システムのリプレースプロジェクト
  Nagiosを監視エンジンとして使⽤用したシステムを開発・導⼊入
  2012年年1⽉月開発開始、同年年9⽉月から本稼働
  フロントエンドはCakePHPで開発
  監視対象ノードは現在6,000を超える
  監視対象
  疎通やサーバの⽣生死等のネットワーク監視
  業務運⽤用系の監視　←これはNagiosだけでは難しい
  店舗レジの開閉店処理理の実施有無
  マスタファイルの送信処理理の成否
  監視規模
  1つのエンドユーザー企業で、数百店舗（＝ノード）の監視が必要となることも
38

新システム構成
39

JobSchedulerを採⽤用したメリット
  監視システムとのワンストップのフロントエンド
システムを開発できた
  JobSchedulerはAPIが提供されているので、フロントエ
ンドを独⾃自に開発できる
  既存の監視スクリプトを流流⽤用できた
  JobSchedulerは何でも実⾏行行できる
  Shell / Perl / Java / JavaScript ...
  Nagiosへの連携ジョブを共通化できた
  JobSchedulerはジョブチェーンが組めるので、共通ジョ
ブを開発しておけば便便利利
  オープンソース！
40

機器アップグレードでの活⽤用

導⼊入事例例２
  データセンタ事業者
  監視サービス設定の⾃自動化
  設定シートを読み込んで、監視対象へのZabbixエージェ
ントインストール／設定と、Zabbixサーバへの監視登録
を⾃自動化
  通信事業者
  社内設備テスト環境の⾃自動化
  数百パターンの試験項⽬目を⾃自動実⾏行行
42

HyClops JobMonitoring概要
43
ジョブをZabbix監視アイテムに⾃自動登録
  JobSchedulerにジョブを登録すると、⾃自動的にZabbixに
ジョブ監視アイテムを設定
Zabbixからジョブのアラート監視
  ジョブ定義で指定したアラート（開始遅延、実⾏行行失敗等）
を監視
Zabbixからジョブの実⾏行行時間監視
  各ジョブの実⾏行行時間履履歴を監視、傾向グラフを表⽰示
Zabbix監視閾値をジョブから⾃自動変更更
  特定のジョブを実⾏行行する際に、cpu loadやmemory free
の閾値を変更更し、実⾏行行完了了後元に戻す

Zabbixによるジョブ実⾏行行状況監視
  Hyclops Jobmonitoring
  http://tech-‐‑‒sketch.github.io/hyclops_̲jm/jp/
  Zabbix APIとJobScheduler APIを使った、連携モジュール
  実⾏行行モジュールはFabricで実装
  他のプログラムからも呼び出し可能
44
WEB APIpolling
ZabbixAPI

Zabbix画⾯面イメージ
45
ジョブ監視
アイテム
ジョブ実⾏行行
時間推移

CMDBuild情報
  ⽇日本語メーリングリスト（Google グループ）
  https://groups.google.com/forum/?hl=ja#!forum/
cmdbuild-‐‑‒ja
  CMDBuildの紹介（⽇日本語）
  http://www.ossl.co.jp/jpn/Products/infrastructure/
CMDBuild
  プロジェクト
  http://cmdbuild.org/en
  開発元
  http://tecnoteca.com
46

⽇日本JobSchedulerユーザーグループ
  2013/4発⾜足
  JobSchedulerいけるやん、という⼈人の集まり
  独SOSサイトにも掲載
“Company News : Japanese language JobScheduler user group on Facebook”
http://www.sos-‐‑‒berlin.com/modules/news/article.php?storyid=42
  会則／会費ありません
  会員資格ありません、Google Groupsに参加して下さい
https://groups.google.com/forum/?fromgroups#!forum/jobscheduler-‐‑‒ja
  JobSchedulerを使う上での疑問やノウハウの共有
  勉強会と⾔言う名の飲み会
15/09/24 Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved 47

活動内容
  グループサイトの運営
https://sites.google.com/site/jobschedulerja/home
  Wiki, tips, ドキュメントを掲載
  Facebookページ
http://ja-‐‑‒jp.facebook.com/pages/Jobscheduler-‐‑‒Japan-‐‑‒ユーザーグルー
プ/594469610565511
  各種告知
  いいね！をお願いします！！
  普及活動
  定期勉強会
15/09/24 48Copyright 2015(C) OSS Laboratories Inc. All Rights Reserved

Zabbix監視運用業務の自動化事例

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Zabbix監視運用業務の自動化事例

Similar to Zabbix監視運用業務の自動化事例 (20)

More from OSSラボ株式会社

More from OSSラボ株式会社 (20)

Zabbix監視運用業務の自動化事例