dots.女子部勉強会 vol.5の資料です。

1. dots.女子部勉強会 vol.5
機械学習ハンズオン
～ 協調フィルタリング ～
2016/01/19 ＠dots.

2. 自己紹介
杉山 隆（Takashi Sugiyama）
Pythonista, PHPer
2008/04～2013/03 : ヤフー株式会社
2013/04～2015/03 : 株式会社アイ・エム・ジェイ
2015/04～ : 株式会社インテリジェンス
dots. 開発リーダー（兼PM）

3. アジェンダ
1. レコメンデーションの種類
2. 協調フィルタリングとは
3. Pythonインストール
4. 実装1 - 基本的な処理 -
5. 実装2 - 実データを使う -
6. 実装3 - Apache Spark -

4. 1. レコメンデーションの種類
内容ベース（コンテンツベース）フィルタリング
内容やタグの類似度でレコメンドを行う。
協調フィルタリング
今回説明。
cf.
http://qiita.com/haminiku/items/f5008a57a870
e0188f63

5. 2. 協調フィルタリングとは
ユーザのコミュニティや過去の振る舞いを利用し
て、ユーザの好みや興味を持つ情報を予測する方
法論
使用事例
Amazon: 「この商品を買った人はこんな商品も
買っています」
Yahoo!ニュース: 「こんな記事も読まれていま
す」

6. 2. 協調フィルタリングとは
Jaccard指数を使って計算するのが一般的
Item Aに対するItem Bの類似度 ・・・ 0.4
Item Aに対するItem Cの類似度 ・・・ 0.2
User A User
B
User C User
D
User
E
計算式 類似度
Item A 1 1 1
Item B 1 1 1 2/5 0.4
Item C 1 1 1 1/5 0.2
※UserがItemに興味（購入や閲覧等）を示していれば1が入る

7. 3. Pythonインストール
PyEnv、及びPythonのインストール
http://qiita.com/a_yasui/items/8cdc9be7a410e
9529687
※最新のバージョンと2.7.9をインストールしてくだ
さい。
redisインストール
$ brew install redis
redisの自動起動
http://qiita.com/marqs/items/05cec2b1a305b5
0ee7b2

8. 4. 実装1 - 基本的な処理 -
以下のページに書いてあるソースをコピペして、拡
張子.pyで保存してください。
http://qiita.com/haminiku/items/cdbf8eb488e0
cf6a62fe
以下のコマンドで実行します。
$ python ファイル名

9. 5. 実装2 - 実データを使う -
dots.のアクセスログ（ユーザーIDフィルタリング済
み）を使用します。アクセスログの置き場所は別途
説明します。
実装1.のプログラムをコピーし、以下の赤字部分を
修正ください。
実装1.と同様に、以下のコマンドで実行します。
$ python ファイル名

10. 5. 実装2 - 実データを使う -
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
from __future__ import absolute_import
from __future__ import unicode_literals
import csv
import redis
import re
CSV_PATH = 'アクセスログファイルパス'
def jaccard(e1, e2):
"""
ジャッカード指数を計算する
:param e1: list of int
:param e2: list of int
:rtype: float
"""
set_e1 = set(e1)
set_e2 = set(e2)
return float(len(set_e1 & set_e2)) / float(len(set_e1 | set_e2))

11. 5. 実装2 - 実データを使う -
def get_key(k):
return 'JACCARD:PRODUCT:{}'.format(k)
page_view = {}
f = open(CSV_PATH, 'rb')
dataReader = csv.reader(f)
for row in dataReader:
match = re.match(r'/event/(d+).*$', row[0])
if match:
key = match.group(1)
if page_view.has_key(key):
page_view[key].append(row[1])
else:
page_view[key] = [row[1]]
r = redis.Redis(host='localhost', port=6379)

12. 5. 実装2 - 実データを使う -
for key in page_view:
base_customers = page_view[key]
for key2 in page_view:
if key == key2:
continue
target_customers = page_view[key2]
j = jaccard(base_customers, target_customers)
r.zadd(get_key(key), key2, j)
print r.zrevrange(get_key(577776), 0, 2)
print r.zrevrange(get_key(577777), 0, 2)

13. 5. 実装2 - 実データを使う -
実行して見て分かったと思いますが、たった3万弱の
データ数でも処理に5分も掛かります・・・。
↓
機械学習でやりましょう！
（もしくはライブラリ使う。）

14. 次回、Apache Spark編
お楽しみに！！