さくらのクラウド「kibana」スタートアップスクリプトのご紹介です。

1. Elasticsearch+Kibana
スタートアップスクリプト
仕様概要
さくらインターネット株式会社 クラウドチーム
2017年6月8日

2. 想定するお客さま
 Fluentd + ElasticSearch + Kibanaのインストールスクリプト
 ログの可視化は展開したサービスの利用状況を把握することに役立つ
 可観測ツールを用いることで、サーバの負荷傾向などを調査することも可能
 このスタックは、データ流し込む役、ログを保存する役、ログを見やすくする役の３役で
構成されている
 Fluentd、ElasticSearch、Kibanaそれぞれのインストールの難易度が高いわけではないが、
使い方がわからないと、いざという時に構築しようという気が中々起きない
 そういう方々にこそ使っていただきたいスクリプト
 オプション機能
 dstatの実行結果をFluentdにテストデータとして流し込ませることが可能
 これにより、「少し試したいな」という時にデータを他のところから引っ張ってこなくて
も良い

3. スタートアップスクリプトで行うこと
 Fluentd
 インストール
 Elasticsearchに受け取ったログを流す設定の反映
 (dstatを有効にする場合は、dstatのインストール及びdstatの実行結果をElasticsearchに流す設定
も反映する)
 td-agentデーモン実行
 Elasticsearch
 インストール
 Elasticsearchデーモン実行
 Kibana
 インストール
 Kibanaデーモン実行

4. Fluentdとは?
 一言で言うと、ログ集約ソフトウェア
 ログの入力方法や出力方法を/etc/td-agent/td-agent.confに定義することで、
td-agentデーモンが入力されたログを出力先に書き出す
dstat –cmdgnを実行した結果を入力とする
dstatが先頭につくタグ全てにマッチする。
http://localhost:9200の
Elasticsearchに
Logstash形式で
20秒インターバル転送

5. Elasticsearchとは?
 一言で言うと、ログの保存先
 Fluentdで送られてきたデータをJSONでストアする
 クエリ、照会結果のどちらもJSON形式でやり取りできる

6. Kibanaとは?
 Elasticsearchに保存されたJSON形式のログを受け取り、グラフ形式に可視化できる
 グラフは、利用者がx軸y軸にどの項目を適用するか設定することで作成していく

7. Dstatとは?
 CPU: ユーザ使用率、システム使用率、アイドル率、ハード割り込み、ソフト
割り込み
 Disk: 読み、書き
 Network: 受信、送信
 Paging: ページイン、ページアウト
 System: 割り込み、コンテキストスイッチ
 などなど。オプションがたくさんある。

8. 通常の動作フロー

9. Dstatによる計測有効時