Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) 講師：大谷 純 (Elastic) アジェンダ： - Elastic stack紹介 --- Logstash - Log収集 --- Elasticsearch - 検索・解析 --- Kibana - 可視化 • 事例紹介 - Searchlight

1. ‹#›
2016/05/26
Evangelist at Elastic
Jun Ohtani @johtani
Elastic Stackの紹介と
OpenStackでの活用事例
（Searchlightなど）

2. ‹#›

3. アジェンダ
• Elastic stack紹介
• Logstash - Log収集
• Elasticsearch - 検索・解析
• Kibana - 可視化
• 事例紹介
• Searchlight
3

4. about
• Me, Jun Ohtani / Technical Adovocate
‒ lucene-gosenコミッター
‒ ElasticSearch Server日本語版の翻訳
‒ elasticsearch-extended-analysisの開発
‒ http://blog.johtani.info
• Elasticsearch, founded in 2012
‒ Products: Elasticsearch, Logstash, Kibana, Marvel, Sheild
Professional services: Support & development subscriptions
‒ Trainings
4

5. 検索から解析まで
5
Elastic Stack

6. 6
Elasticは分散アプリケーションの構築を簡単にします
データ
複雑/多種多様
開発者要件を満たすことが可能
ユースケース
多数のユーザー / ユースケース
リアルタイムの
利⽤可能性
迅速な
クエリ実⾏
柔軟な
データモデル
スキーマレス
⽔平的な
スケーリング
洗練された
クエリ⾔語
バリュー/ビジネス影響
短期/中期/⻑期
位置情報
マシン/ログファイル
ユーザーアクティビティ
ドキュメント
ソーシャル 収益の増加
新しいアプリや、収益化サービ
スを開始：ユーザーエクスペリ
エンスのパーソナライズ
コスト削減/リスク管理
アプリ
検索
組み込み型
の検索
ログ分析
セキュリティ
分析
運⽤の分析 その他
次世代アーキテクチャ、既存シ
ステムの再ツール化、リスクお
よびコンプライアンスの管理

7. 7
Elastic Cloud
セキュリティ
監視
アラート
グラフ
X-Pack
Kibanaユーザー
インターフェイス
Elasticsearch
保存、インデック
ス、分析
取り込み Logstash Beats
+
Elastic
スタック
Elastic社の製品ポートフォリオ

8. 8
IT運⽤
アプリケーション管理
セキュリティ分析
マーケティング洞察
ビジネス配備
顧客センチメント分析
Webサイト検索
内部/イントラネット検索
URL検索
内部システム / アプリケーション 外部システム / アプリケーション
開発者 IT / 運⽤ ビジネスユーザー
あらゆる業種で多数のユースケースを解決
ログ分析 アナリティクス 検索セキュリティ

9. 9

10. 10
保存、インデックス、分析
• 弾⼒性のある、スケールアウ
トを考慮した設計
• ⾼可⽤性、マルチテナンシー
• 構造化/⾮構造化データに対
応
分散型かつ
スケーラブル
開発者にとって
親しみやすい
検索と分析
• スキーマレス
• ネイティブなJSON
• クライアントライブラリ
• Apache Lucene
• リアルタイム
• 全⽂検索
• 集計
• 地理空間データ
• 多⾔語データ

11. 11
Elasticsearchとは？

12. 12
フリーワード検索

13. 13
絞り込み

14. 14
ハイライト

15. 15
ソート

16. 16
ページング

17. 17
集計

18. 18
サジェスト
17

19. 19
簡単なCRUD

20. 20
データ登録
curl -XPUT localhost:9200/books/book/1 -d '
{
"title" : "Elasticsearch - The definitive guide",
"authors" : "Clinton Gormley",
"started" : "2013-02-04",
"pages" : 230
}'

21. 21
データ更新
curl -XPUT localhost:9200/books/book/1 -d '
{
"title" : "Elasticsearch - The definitive guide",
"authors" : [ "Clinton Gormley", "Zachary Tong" ],
"started" : "2013-02-04",
"pages" : 230
}'

22. 22
データ削除
curl -X DELETE localhost:9200/books/book/1
データの取得
curl -X GET localhost:9200/books/book/1
curl -X GET localhost:9200/books/book/1/_source

23. 23
検索
curl -XGET localhost:9200/books/_search?q=elasticsearch
{
"took" : 2, "timed_out" : false,
"_shards" : { "total" : 5, "successful" : 5, "failed" : 0 },
"hits" : {
"total" : 1, "max_score" : 0.076713204,
"hits" : [ {
"_index" : “books", "_type" : “book", "_id" : "1",
"_score" : 0.076713204, "_source" : {
"title" : "Elasticsearch - The definitive guide",
"authors" : [ "Clinton Gormley", "Zachary Tong" ],
"started" : “2013-02-04", "pages" : 230
}
} ]
}
}

24. 24
検索 - Query DSL
curl -XGET ‘localhost:9200/books/book/_search' -d '{
"query": {
"filtered" : {
"query" : {
"match": {
"text" : {
"query" : “To Be Or Not To Be", "cutoff_frequency"
: 0.01
}
}
},
"filter" : {
"range": {
"price": {
"gte": 20.0
"lte": 50.0
...
}
}'

25. 25

26. 26
可視化と探索
• データ内に存在するパターン
の探索と分析：任意のレベル
へのドリルダウンが可能
• Elasticsearchの強⼒な
分析機能を活⽤
洞察の発⾒ カスタマイズと
共有
アプリ構築向け
UXプラット
フォーム
• 棒グラフ、折れ線グラフや
散布図、マップ、ヒストグ
ラムの作成
• ダッシュボードを共有し、
運⽤ワークフローに組み込
み
• 組込み可能なアーキテク
チャ：ダッシュボードや可
視化をアプリとして作成
• セッション管理、ユーザー
ロール、セキュリティ統合

27. 27
Kibana 4

28. 28
取り込み

29. 29
取り込み
• データ収集とリッチ化：200
種類以上のプラグイン
• 次世代データパイプライン：
マイクロバッチ。イベントの
グループを処理
ES-Hadoop
• 軽量型データシッパーを構
築するためのプラット
フォーム
• ホストベースの数値指標や
あらゆるデータを
Elasticsearchに転送
• HDFS、Spark、
MapReduceなどとの統合
を⾏う双⽅向型のコネク
タ
• Hadoopデータに関するリ
アルタイムの検索クエリ
を実現

30. 30
収集、リッチ化、転送
ログおよび数値指標データ
センサーおよびデバイスデータ
Webおよびソーシャルデータ
データストアおよびストリーム
分析
Elasticsearch + 任意のデータストア
アラート
Watcher+任意の通知ツール
監視
Marvel+任意の監視ツール
アーカイブ
Hadoop+任意のクラウドストレージプラットフ
ォーム

31. 31
軽量型データシッパー
ホストベースの数値指標を
Elasticsearchに転送するためのラ
イブラリ
Libbeat Packetbeat Topbeat
Web、データベース、任意のネッ
トワークプロトコルに関するリア
ルタイムのネットワークパケット
分析
CPUやメモリなどのリソース利
⽤率に関するデータを収集
ログファイルの収集、前処理、転
送を⾏う次世代のLogstashフォ
ワーダー
Filebeat Winlogbeat {Future}beats
Windowsイベントログからシステ
ム、アプリケーション、セキュリ
ティに関する情報を収集
http、Redis、Nginx、Docker、
Twitterなどのデータを収集する
beatsがコミュニティにより多数作
成されている

32. Elastic stackによるデータ分析
32
データ Import/Parse
/Export
Store/Search Visualize

33. elasticsearch-hadoop
33
-
• D E H
• PD ecd
ER
• g D
•
CH
• Ca M DMS
D FERC

34. cloud

35. Elastic Cloud
• Elasticsearch as a Service
• Elasticsearchの機能が利用可能
• プラグインの利用も可能
• アップグレードも簡単
• カスタム辞書、プラグインも利用可能
• 14日間のお試し期間あり
• SLAベースのサブスクリプション+商用プラグイン
が利用可能なサービスも
35

36. 36
活用事例

37. ‹#›
Searchlight

38. 38
Searchlightとは？
• OpenStackの様々な情報を検索可能にするためのプロジェクト
• バックエンドにElasticsearchを使用
• 様々なOpenStackのデータを検索可能に
• Novaのインスタンス
• Glanceイメージ、スナップショット
• Cinderのボリュームとスナップショット
• Neutronネットワーク、ポートサブネットなど

39. 39
構成

40. 40
Searchlight API
• Elasticsearchの前面にロールベースの認証機能を追加したAPI
• Keystoneの認証トークンを利用して認証可能
• 検索クエリ、検索結果のJSON構造についてはElasticsearchのDSLを利用

41. 41
Searchlight Indexing
• 各種データをElasticsearchにindexing
• Bulk indexingとIncremental update
• Search pluginとしてインストール

42. 42
リソース
• プロジェクト：https://wiki.openstack.org/wiki/Searchlight
• Demonstration of Searchlight Horizon integration
• https://www.youtube.com/watch?v=2feC1njvZe0

43. 43
ログ収集と解析

44. 44
対象となるログ
• OpenStack上で動作しているサービスのログ
• 参考： https://hirokiaramaki.com/author/hirokiaramaki/
• OpenStack自体のログ
• Searchlight？
• Monasca
• https://www.openstack.org/summit/tokyo-2015/videos/
presentation/elk-and-monasca-crossing-logging-as-an-openstack-
service

45. 参考文献
• Elasticsearch - The Definitive guide
‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/index.html
• 書籍（日本語）
‒ ElasticSearchServer日本語版
サーバ/インフラエンジニア
養成読本 ログ収集
45

46. 参考サイト
• ユースケース
• https://www.elastic.co/use-cases
• Discuss（Webフォーラム）
• https://discuss.elastic.co
• Elastic{ON}のビデオと資料
• https://www.elastic.co/elasticon/videos
• サポートメニュー
• https://www.elastic.co/subscriptions
46

47. Thanks for listening!
Q & A
47
We’re hiring!
https://www.elastic.co/about/careers/
We’re helping!
https://www.elastic.co/subscriptions
http://training.elastic.co