リクルートライフスタイルの全サービス横断で、ログデータ（システム系ログやユーザ行動ログなど）をリアルタイムに収集・可視化・分析する基盤を構築するプロジェクトのご紹介 JAWS-UG Meguro #2 ( http://jawsug-meguro.connpass.com/event/18162/ )にて発表

1. CET – Capture EveryThing
全サービス横断リアルタイムログ収集・可視化・分析基盤
2015/9/25
吉田 啓二
ネットビジネス本部
ディベロップメントデザインユニット
アーキテクト2グループ
0

2. • 2007年4月〜：Webアプリケーション開発に従事
– 前職 & 前々職
• 地方銀行向け融資/営業支援システム
• クラウドファンディングASP
– リクルートグループ入社後
• サンカク https://sankak.jp/
• ホットペッパーグルメ http://www.hotpepper.jp/
• 2015年6月〜：リクルートライフスタイル全サービ
ス横断のリアルタイムログ収集・可視化・分析基盤
の構築プロジェクト（CETプロジェクト）へ参画
1
自己紹介

3. • 概要
– リクルートライフスタイルの全サービス横断で、ログ
データ（システム系ログやユーザ行動ログなど）をリ
アルタイムに収集・可視化・分析する基盤を構築する
• 目的
– サービスの利用状況・実績に基づく機能改善
– サービスの利用状況のリアルタイム可視化による、
ユーザサポート品質の向上
– リアルタイムデータ分析を活用した新機能の提供
– ログ管理一元化による、全社的なログ管理・運用・調
査コストの削減
2
プロジェクトの概要・目的

4. 3
（参考）リクルートライフスタイルのサービス

5. • フェーズ1：ログのリアルタイム収集・可視化
– 2015年6月〜8月
– 基盤構築および数サービスへの装着が完了し、稼働・
運用中
• フェーズ2：ログのリアルタイム集計・分析
– 2015年9月〜
– 業務系メンバ、エンジニア、データサイエンティスト
で協業しながら進行中
4
スケジュール

6. CET – Capture EveryThing
5
システム構成 – ph.1. リアルタイム収集・可視化
サービス サービス
管理者等
ELB Fluentd
Elasticsearch
Kibana
BigQuery
S3
Fluentd
Fluentd
Fluentd
Fluentd

7. • コールセンタでリアルタイムにログをモニタリング
• アプリケーションのスローダウンやユーザの操作の戸惑
いなど、ユーザビリティに関する情報を迅速に検知し、
顧客サポート品質の向上に努める
6
取り組み事例 - Airレジ
＊イメージ

8. CET – Capture EveryThing
7
システム構成 – ph.2. リアルタイム集計・分析
サービス サービス
管理者等
ELB Fluentd
Elasticsearch
Kibana
BigQuery
S3
KinesisSpark,EMRDynamoDBAPIELB
Fluentd
Fluentd
Fluentd
Fluentd

9. • ユーザ行動のリアルタイム集計・分析
• システム系ログのリアルタイム集計・異常検知
8
現在の取り組み

10. CET – Capture EveryThing
9
システム構成 – ストリーム処理部分
Fluentd S3Kinesis Spark
EMR
DynamoDB API
Fluentd SES
Spark
EMR

11. • SparkRをEC2上で動かして分散処理してみる |
Tech Blog | リクルートライフスタイル RECRUIT
LIFESTYLEhttp://engineer.recruit-
lifestyle.co.jp/techblog/2015-08-19-sparkr/
• 第4回 ［データ分析編］“制約なし”で大規模デー
タ分析基盤を構築：リクルートライフスタイルの技
術力を追え！｜gihyo.jp … 技術評論社
http://gihyo.jp/dev/serial/01/recruit-
lifestyle/0004
10
（補足）関連資料