11. Total size
M
on
th
-Y
Ju ear
– 2年で2倍
De n- 9
c 7
Ju - 97
De n- 9
c 8
Ju - 98
n
De - 99
c
Ju - 99
n
Ja - 00
n
Ju -0 0
n
De - 01
c
– 会員は1ヶ月で20万増える
Ju - 01
De n- 0
c 2
データは指数関数的に増加
Ju - 02
De n- 0
c 3
レコード10億ごえDBなんてのも
Ju - 03
De n- 0
c 4
Ju - 04
n
De - 05
c
Ju - 05
n
De - 06
c
Ju - 06
n
De - 07
c
Ju - 07
De n- 0
c 8
Big Data Problem in Rakuten
Ju - 08
De n- 0
c 9
Ju - 09
2 years
n
De - 1
c- 0
10
x2
は一苦労
分析・利活用
11
14. ログ分析プラットフォーム:
ログ分析プラットフォーム Mebius
分析プラットフォーム
様々なサービスのアクセスログ・検索ログを統合的に解析するプラットフォーム
ユーザーの傾向分析をしたり、レコメンド・サービス改善に活用
user Services
Rakuten Service
Services
Mebius
Load, Transform, Classify
tables Log Analysis Platform
Various API Web UI
Data Cooperate Ad Hoc Query
Staff
Rakuten APPs 14
16. 検索での関連語提示や辞書構築での活用
検索での関連語提示や辞書構築での活用
での関連語提示 での
クラスターから検索解析用のHiveにつなげ
関連語の提示や辞書構築等での活用
月 250GBのデータを解析
suggest batch
server
Suggest
Index
sync analyzed update search index
data
Shared Hadoop
Cluster NGS Hive dictionary batch 検索エンジン
Server
NGS common
Dictionary
platform for hive Index
update search index
16