2020年8月20日 Elasticsearchを用いて、 社内のナレッジやデータを賢く活用する手法とは？ ～NRIとElastic社が解説～ での講演

1. AzureとElasticSearchを利用して、
流通業界の商品情報を検索API化した際のコツをお話します
2020/08/20
野村総合研究所 畠中 翔

2. 1Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
はたなか しょう
畠中 翔
マルチクラウドインテグレーション事業本部
プラットフォームサービス開発部
テクニカルエンジニア
2008年 NRI入社
2017年 電気通信大学情報理工学研究科 情報工学専攻
国立情報学研究所 連携大学院生
2015年 TopSE修了

3. 2Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
本日お伝えしたいこと
狙い  商品情報をAPI化するビジネス上の狙い

4. 3Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
本日お伝えしたいこと
狙い  商品情報をAPI化するビジネス上の狙い
コツ  API化を進めるにあたってのシステム観点での要点
 システムの構成や方式を中心にご紹介

5. 4Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
本日お伝えしたいこと
狙い  商品情報をAPI化するビジネス上の狙い
コツ  API化を進めるにあたってのシステム観点での要点
 システムの構成や方式を中心にご紹介
現状と
これから
 サービスイン直後の利用状況
 APIサービスの拡張について

6. 5Copyright （C） Nomura Research Institute, Ltd. All rights reserved.

7. 6Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
商品の種類や数の増大

8. 7Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
商品の種類や数の増大 商品の販売方法の拡大

9. 8Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
商品の運用負荷の増加

10. 9Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
商品の運用負荷の増加
ビジネスニーズに対する変化対応力の低下

11. 10Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
商品マスタ

12. 11Copyright （C） Nomura Research Institute, Ltd. All rights reserved.

13. 12Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
NRI クラウド Azure
共有データリソースグループ サービスリソースグループ
HP向けサービス
サービス共通
ExR
NRIクラウド連携
リソースグループ
プロキシ
サービスデータ
収集
マスタIF用
ストレージ
画像IF用
ストレージ
マスタデータ
連携
画像データ連携
ステータス
管理
画像ストレージ
画像ファイル
画像ストレージ
共有データDB
ユーザ
参照先
管理
公開用
マスタ
全文検索
辞書
商品
Index
HP向けサービスDB
サービス公開API
商品ジャンル取得
商品詳細取得
新商品検索 など
マスタデータ連携
参照先切替
Index加工
辞書作成
Index作成
商品マスタ共通
リソースグループ
商品マスタ用
APIM
HP向けAPI
検索API
辞書IF用
ストレージ
バックアップ
用ストレージ
全文検索
API(APIM)
画像公開用CDN
Application
Insights
全文検索
向けLB
商品マスタ用
Application
Insights
障害確認
アクセス分析
商品マスタ
用DNS
バッチ
商品マスタ
マスタ作成/転送
画像作成/転送
全文検索情報
作成/転送
Index IF用
ストレージ

14. 13Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
GlobalPublic
Azure
DNS
CDN
ExR
Private
Application
Gateway
WAF
API
Management
Blob
Storage
Functions
辞書
商品マスタ
プロキシ
Logstash
Web
Elasticsearch httpd
辞書
Elasticsearch httpd
辞書
Elasticsearch httpd
商品マスタLogstash
東日本リージョン

15. 14Copyright （C） Nomura Research Institute, Ltd. All rights reserved.

16. 15Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
No 分類 比較項目 Elasticsearch Solr Cloud Azure Search Splunk
1 機能 検索 ○ ○ ○ △
（当時はあいまい検索など利
用不可だった）
2 辞書 ○ ○ ✕
（当時はユーザ辞書利用不
可）
✕
（当時はユーザ辞書、トークナ
イザ利用不可だった）
3 ログ ○ ○ ○ ○
4 非機能 検索性能 ○ △
（当時はElasticSearchの方
が速かった）
-
（未実施）
-
（未実施）
5 インデックス性能 △
（当時はSolr Cloudの方が
速かった）
○ -
（未実施）
-
（未実施）
6 セキュリティ ○ ○ ○ ○
7 サポート ○ △
（当時はクラスタ管理用途の
Zookeeperのサポートを考慮
すると高くなる傾向だった）
✕
（当時は日本リージョン
で未サポート）
△
（当時は比較的費用が高い
傾向だった）

17. 16Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
GlobalPublic
Azure
DNS
CDN
ExR
Private
Application
Gateway
WAF
API
Management
Blob
Storage
Functions
辞書
商品マスタ
プロキシ
Logstash
Web
Elasticsearch httpd
辞書
Elasticsearch httpd
辞書
Elasticsearch httpd
商品マスタLogstash
東日本リージョン

18. 17Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
1. アプリケーション処理方式
1.1 オンライン処理方式
1.1.1 全体アーキテクチャ
1.1.2 処理フロー
1.1.3 HTTP接続方式
1.1.4 トランザクション制御方式
1.1.5 キャッシュ・コンテンツ変換方式
1.1.6 負荷分散方式
1.1.7 タイマー制御方式
1.1.8 流量制御方式
1.2 バッチ処理方式
1.2.1 全体アーキテクチャ
1.2.2 処理フロー
1.2.3 トランザクション制御方式
1.2.4 負荷分散方式
1.2.5 タイマー制御方式
1.2.6 流量制御方式
1.2.7 jsonパース方式
1.3 閉塞制御方式
1.4 ログ出力方式
1.5 文字コード方式
2. 耐障害方式
2.1 基本的な考え方
2.2 障害発生のシナリオ
2.3 サーバ別の耐障害性方式
2.3.1 全文検索サーバ
2.3.2 Index加工サーバ
3. 拡張方式
3.1 基本的な考え方
3.2 拡張検討のシナリオ
3.3 個別拡張方式
3.3.1 Elasitcsearch
3.3.2 Logstash
4. セキュリティ方式
4.1 基本的な考え方
4.2 認証・認可
4.3 通信制御
5. 運用方式
5.1 基本的な考え方
5.2 監視方式
5.2.1 生死監視
5.2.2 ログ監視
5.3 起動・停止運用方式
5.4 設定管理方式
5.4.1 設定ファイル
5.4.2 運用スクリプト/リストファイル
5.5 バックアップ/リストア方式
5.5.1 Elasticsearchスナップショット取得
5.5.2 Elasticsearchスナップショット復元
5.5.3 辞書データのバックアップ
5.5.4 辞書データの復元
5.5.5 全文検索サーバのリストア
5.5.6 Index加工サーバのリストア
5.6 Elastic製品のバ―ジョンアップ方式
5.7 リリース方式
5.7.1 Elasticsearchのバージョンアップ
5.7.2 Logstashのバージョンアップ

19. 18Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
GlobalPublic
Azure
DNS
CDN
ExR
Private
Application
Gateway
WAF
API
Management
Blob
Storage
Functions
辞書
商品マスタ
プロキシ
Logstash
Web
Elasticsearch httpd
辞書
Elasticsearch httpd
辞書
Elasticsearch httpd
商品マスタLogstash
東日本リージョン
システム
停止

20. 19Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
1. アプリケーション処理方式
1.1 オンライン処理方式
1.1.1 全体アーキテクチャ
1.1.2 処理フロー
1.1.3 HTTP接続方式
1.1.4 トランザクション制御方式
1.1.5 キャッシュ・コンテンツ変換方式
1.1.6 負荷分散方式
1.1.7 タイマー制御方式
1.1.8 流量制御方式
1.2 バッチ処理方式
1.2.1 全体アーキテクチャ
1.2.2 処理フロー
1.2.3 トランザクション制御方式
1.2.4 負荷分散方式
1.2.5 タイマー制御方式
1.2.6 流量制御方式
1.2.7 jsonパース方式
1.3 閉塞制御方式
1.4 ログ出力方式
1.5 文字コード方式
2. 耐障害方式
2.1 基本的な考え方
2.2 障害発生のシナリオ
2.3 サーバ別の耐障害性方式
2.3.1 全文検索サーバ
2.3.2 Index加工サーバ
3. 拡張方式
3.1 基本的な考え方
3.2 拡張検討のシナリオ
3.3 個別拡張方式
3.3.1 Elasitcsearch
3.3.2 Logstash
4. セキュリティ方式
4.1 基本的な考え方
4.2 認証・認可
4.3 通信制御
5. 運用方式
5.1 基本的な考え方
5.2 監視方式
5.2.1 生死監視
5.2.2 ログ監視
5.3 起動・停止運用方式
5.4 設定管理方式
5.4.1 設定ファイル
5.4.2 運用スクリプト/リストファイル
5.5 バックアップ/リストア方式
5.5.1 Elasticsearchスナップショット取得
5.5.2 Elasticsearchスナップショット復元
5.5.3 辞書データのバックアップ
5.5.4 辞書データの復元
5.5.5 全文検索サーバのリストア
5.5.6 Index加工サーバのリストア
5.6 Elastic製品のバ―ジョンアップ方式
5.7 リリース方式
5.7.1 Elasticsearchのバージョンアップ
5.7.2 Logstashのバージョンアップ

21. 20Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
検索
クライアント
プライマリシャード
レプリカシャード
レプリカシャード

22. 21Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
シャード種類 本システムの
設定値
初期
設定値
プライマリ
（主データ）
1 5
レプリカ
（複製データ）
2 1
検索
クライアント
プライマリシャード
レプリカシャード
レプリカシャード

23. 22Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
Azure
Load Balancer
Apache Elasticsearch
全文検索サーバ
1号機
Apache Elasticsearch
全文検索サーバ
2号機
Apache Elasticsearch
全文検索サーバ
3号機
トラフィック
正常性プローブ（HTTP）
Elasticsearchクラスタ監視API“/_cluster/health”を
静止チェック（正常性プローブのパス）に指定
正常系プローブが２回失敗すると、
負荷分散対象から外れるように設定

24. 23Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
Azure
Load Balancer
Apache Elasticsearch
全文検索サーバ
1号機
Apache Elasticsearch
全文検索サーバ
2号機
Apache Elasticsearch
AzureSnapshot
から複製した
全文検索サーバ
3号機
クラスタに参加
インデックスは空
の状態にしておく

25. 24Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
1. アプリケーション処理方式
1.1 オンライン処理方式
1.1.1 全体アーキテクチャ
1.1.2 処理フロー
1.1.3 HTTP接続方式
1.1.4 トランザクション制御方式
1.1.5 キャッシュ・コンテンツ変換方式
1.1.6 負荷分散方式
1.1.7 タイマー制御方式
1.1.8 流量制御方式
1.2 バッチ処理方式
1.2.1 全体アーキテクチャ
1.2.2 処理フロー
1.2.3 トランザクション制御方式
1.2.4 負荷分散方式
1.2.5 タイマー制御方式
1.2.6 流量制御方式
1.2.7 jsonパース方式
1.3 閉塞制御方式
1.4 ログ出力方式
1.5 文字コード方式
2. 耐障害方式
2.1 基本的な考え方
2.2 障害発生のシナリオ
2.3 サーバ別の耐障害性方式
2.3.1 全文検索サーバ
2.3.2 Index加工サーバ
3. 拡張方式
3.1 基本的な考え方
3.2 拡張検討のシナリオ
3.3 個別拡張方式
3.3.1 Elasitcsearch
3.3.2 Logstash
4. セキュリティ方式
4.1 基本的な考え方
4.2 認証・認可
4.3 通信制御
5. 運用方式
5.1 基本的な考え方
5.2 監視方式
5.2.1 生死監視
5.2.2 ログ監視
5.3 起動・停止運用方式
5.4 設定管理方式
5.4.1 設定ファイル
5.4.2 運用スクリプト/リストファイル
5.5 バックアップ/リストア方式
5.5.1 Elasticsearchスナップショット取得
5.5.2 Elasticsearchスナップショット復元
5.5.3 辞書データのバックアップ
5.5.4 辞書データの復元
5.5.5 全文検索サーバのリストア
5.5.6 Index加工サーバのリストア
5.6 Elastic製品のバ―ジョンアップ方式
5.7 リリース方式
5.7.1 Elasticsearchのバージョンアップ
5.7.2 Logstashのバージョンアップ

26. 25Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
サービスイン直後の１ヶ月程度たった状況
サービス利用  ピーク時１時間で４万件程度
 通常は１０秒に５件程度でAPIがコールされている
システム保守
 人手が必要なシステム障害対応を要することは一度もない
 システム監視の情報
 API Managementで１日数件エラーになることも（SLAの範囲内）
 DB通信の瞬断

27. 26Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
現状とこれから
現状
 利用状況
 ピーク時１時間で４万件程度
 通常は１０秒に５件程度でAPIがコールされている
 検索は１分間に２件程度。１単語の検索が多い
 サービスインして１ヶ月程度
 コール情報
 APIMで１日数件がエラーになる（SLAの範囲内）
 DBへの瞬断
 人手が必要な対応は一度もない
これから  特定の業務シーンでAPIを利用できるようにしようとしている（サービスが追加されそう）
 検索システムとしては
 多言語対応
 検索ソリューションをどうしていこうとしているか など

28. 27Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
まとめ
狙い  商品情報をAPI化し、消費者志向のサービスを素早くつくれるようにすること
コツ
 商品情報をAPI化するシステムの全体像やシステム方式の一部をご紹介
 様々な業務シーンを元に、システムの各構成がうまく整合するようにしていくことがポイント
 検索APIを作成する際に、ElasticSearchの採用は一つの有力な手段
現状と
これから
 多いときで１時間に4万リクエスト
 人手が必要なシステム障害対応を要することは一度もない
 さらなる消費者志向のサービスを作っていく予定
 ARでの商品情報表示や多言語対応など

29. 28Copyright （C） Nomura Research Institute, Ltd. All rights reserved.
生産性向上を目的とした、検索API化のご相談や
検索技術等の活用についての意見交換など、
お気軽にご連絡下さい
aslead@nri.co.jp