1. ソーシャルゲームの
データ分析環境としてのAWS
2013-03-09 JAWS-UG三都物語
KLab株式会社 開発制作本部 データ分析グループ
越智 修司
13年3月10日日曜日

2. 自己紹介
•越智 修司(神戸市長田区在住)
•開発制作本部 データ分析グループ所属
• Felica/Edy,ガラケサイト,銀行アプリ,きせかえ
• アプリ・サービスのプロトタイピング
• 有名アーティスト・アイドルのファンクラブアプリ開発
• 最近はデータ解析
• python,Rなど
@ponpoko1968
13年3月10日日曜日

3. はじめに
• この発表は個人の見解であり、所属す
る組織の公式見解ではありません。
13年3月10日日曜日

4. 作ったもの
「クリップリーダー」
電子書籍リーダー
iPad版
（85円）
• 自炊PDFに特化
• evernote連携
iPhone版 • 段組書籍
（無料）
「勤怠くん」
勤怠メールを素早く送信
13年3月10日日曜日

5. KLabのソーシャルゲーム
21タイトル
44サイト
数千万PV/日/タイトル
13年3月10日日曜日

6. データ分析グループ
横断的にデータの面倒を見る技術者集団
13年3月10日日曜日

7. お知らせ
ブログ始めました
http://analysis.blog.jp.klab.com/
スタッフ募集中！！
13年3月10日日曜日

8. データ分析グループの
提供するサービス
• Webサイト
• 各種データのグラフが閲覧できま
す
• 速報メール
• 前日のkpi速報値がメールで送信
されます。
• データのダウンローダ
ー
• 各種データのダウンロード機能
13年3月10日日曜日

9. システム構成
コンテンツ側システム 分析システム
Web
server
S3 Sales
Log RDS
Log Log 010010010001
Log 110011001110
010010010001
111110111111
110011001110
11 111110111111
11
Sales
EC2
MySQL
Contents
master
EMR
13年3月10日日曜日

10. 使っている要素技術
• Python
• 運用に用いる
• 豊富なライブラリ
• 可読性・保守性
•R
• 探索的な分析
13年3月10日日曜日

11. 工夫していること
• ログファイルのmsgpack化
• 一旦msgpack化することで検索・処理
時間を軽減
msgpack web site (msgpack.org) より
13年3月10日日曜日

12. システム構成
コンテンツ側システム 分析システム
Web
server
S3 Sales
Log RDS
Log Log 010010010001
Log 110011001110
010010010001
111110111111
110011001110
11 111110111111
11
Sales
EC2
MySQL
Contents
master
EMR
13年3月10日日曜日

13. msgpack(2)
• EMR(Elastic Map-Reduce)で変換
• <app>.app.<Y-m-d>_hh.<dd>
• <dd>=hash(user_id) % 100
時刻 user_id URL(path) GET/POST param
13年3月10日日曜日

14. 使用例:PVベースのヒートマップ
0
1
2
3
4
5
• 全アクセスから
6
7
8
9
10
1/100をサンプリ
(0:23)
11
12
13
14
15
16
17
18
ング
19
20
21
22
23
Mon Tue Wed Thu Fri Sat Sun
(0:7)
13年3月10日日曜日

15. 課題
• ゲームの高度化・市場の成熟化
• 競争激化
• データ分析のニーズが高まる
• インタラクティブなデータ分析のニーズ
• さらなる高速処理
• データ分析用DB Redshiftを検討中
13年3月10日日曜日

16. ご清聴ありがとうご
ざいました
13年3月10日日曜日