2019年5月29日開催のニフクラ エンジニアミートアップ「令和初のクラウド監視超入門　監視ツール活用の基礎」における富士通クラウドテクノロジーズ株式会社仮想インフラサービス部徐家興氏のLT資料。

1. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ニフクラログ収集基盤を支える
Elasticsearchの紹介
2019/05/29
富士通クラウドテクノロジーズ 徐

2. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
自己紹介
◼名前：
• 徐 家興(じょ かこう)
◼履歴：
• 2015年3月 NAIST卒業
• 交通信号制御と経路案内最適化
• 2015年4月 FJCT新卒入社(5年目)
◼所属：
• クラウドインフラ本部仮想インフラ部
◼仕事：
• ニフクラ（IaaS）のインフラ運営（仮想基盤側）
• ストレージ・監視システム・ログ基盤

3. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
アジェンダ
◼ニフクラログ収集基盤について
◼Elasticsearch紹介
•特徴
•注意点
•課題解決

4. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ニフクラIaaSログ収集基盤イメージ
storage
network
ESXi
vCenter
データ
保存・検索
可視化
*異常検知
*リソース消費予測
現在消費量 未来消費予測
在庫量
0.02
0.03
0.04
0.05
0.06
0.07
0 50 100 150
ログを蓄積して、可視化分析、アラート検知に使用する
★ 全文検索
★ 大規模分散
★ 高可用性
★ 可視化までに実現簡単

5. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
ログ収集基盤アーキテクチャ
5Confidential
Storage & Network
Cluster

6. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearchとは
◼Elastic社が提供する「Lucene」ベースのオープンソース
分散型全文検索/分析エンジン
↓
大量のドキュメントから目的の単語を含むドキュメントを高
速に抽出することができます。
可視化
保存
分析
取り込み

7. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch特徴
◼ RESTfulAPI検索 、スコアによる検索、スキーマフリー
◼スケーラブル、大規模分散、高可用性
◼簡単にデータ分析システム構築可能
Data source
Data source
Hadoopなどの分析基盤

8. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch注意事項
◼マッピング更新の場合
Longへ変更する場合に
falseへ変更する場合に
index削除してデータ再登録必要

9. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch注意事項
◼スプリットブレイン対策が必要
Master-eligible node
(master-role)
Node1 Node2
master
Master Nodeが落ちた
Master Node2
1, 新masterを選出
Master Node2
２,ネットワーク障害より、ヘルスチェック失敗
３,Master Node落ちたと思い込み
Master Master
対策：最小のマスタノード数(半分以上)を決める設定.
計算式はn/2+1で設定する(3台構成の場合は3/2+1=2)
discovery.zen.minimum_master_nodes=2

10. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch運用中の課題解決
◼java.lang.OutOfMemoryError、[gc] overheadのエラーが出て、
ESノードが落ちた事象が頻発
• スワップしないように設定(bootsrap.mlockall:true)
• JVM heap size調整(物理メモリの半分までで32GBを超えない)
• field data cacheに上限を与え(indices.fielddata.cache.size: 80%)
• JVM Garbage Collectionを監視したい
◼クエリが重い
• SlowQueryのロギングを有効して活用する
• Query(スコア検索)とfilter(完全一致やrangeなど)を使い分ける
• 必要ないフィールドは検索の際に取得しない
• ES設定チューニング、ノード増強
• ES性能監視したい
• クラスタのステータス、ノードの可用性
• Index、検索のパフォマンス

11. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
Elasticsearch運用中の課題解決
◼ES Clusterを監視する
• チューニング効果確認
• ノード死活の検知
• 増強判断
• …
CPU,MEM,DISKだけは不十分！

12. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED
elasticsearch運用中の課題
〇 一つのパッケージで万能
▲ DBチューニング難しい、DBの監
視も必要、slack連携、アラート設定
に手間がかかる（2系、3系）
＆
＆
〇 構築・アラート設定簡単、時系列DB
Exporter種類多い(ES,kafka,linux server)、
コンテナー監視が得意(k8s,dockter)
×データの長期保存ができない
〇 ES監視とアラートができる
× ES以外(kafkaなど)が監視できない
ElastAlert
＆
Zabbix 4.2新機能を期待！！

13. Copyright 2017 FUJITSU CLOUD TECHNOLOGIES LIMITED