緑色の部分は公開できない情報なので伏せています。

1. Apache Mahout
お手軽レコメンド
Yoshiyuki MIYAGI
dwango mobile

2. 自己紹介
宮城良征 (Yoshiyuki MIYAGI)
tw: yosshi1202
github: yosshi
ドワンゴモバイル
アプリケーション開発第一セクション

3. 週末プロジェクト
2日でがんばってみた

4. Apache Mahout
http://mahout.apache.org
象 = Hadoop, 象使い = Mahout
Hadoop を簡単に使えるやつ
大規模分散処理
Hadoopというより HDFS を使っている
レコメンデーションやデータマイニングを簡単に。
機械学習ライブラリ集

5. Hadoop って何?
http://hadoop.apache.org
大規模分散処理フレームワーク
象
Hadoop の上で何を動かすかが重要

6. 今日のやりたいこと。
この商品を買った人は
こんな商品も買ってます
http://www.amazon.co.jp/dp/4873115841

7. 購入ログからのレコメンド

8. とある購入ログ
ユーザーIDと商品IDの組み合わせ
データは2012年2月頃
レーティング無し
ユーザー数 数万人
商品数 数万件
購入ログ 数十万件

9. かんたんレコメンド
がんばれ Mahout & Hadoop
試しにコサイン関数を使う
商品Aを購入した人は他に何を購入したか？
hadoop jar /usr/local/mahout/examples/target/mahout-
examples-0.7-job.jar
org.apache.mahout.cf.taste.hadoop.similarity.item.ItemSimilarity
Job
-tempDir=temp
-Dmapred.input.dir=data
-Dmapred.output.dir=output
--similarityClassname SIMILARITY_COSINE

10. 【結果】
レコメンドデータ: ログの2倍ぐらいの件数
2分で処理が終わった。
出力される値
商品ID, レコメンド商品ID, スコア
一度でもダウンロードされる必要
スコアが高いほどオススメ

11. 某アニメの主題歌
アニメA この商品に対してレコメンド
1期 購入ユーザー: 数千人
OP レコメンド: 数千件
上位 4 商品 数値はスコア
アニメA アニメA アニメ系 アニメ系
1期 2期 歌手A 歌手B
ED OP 楽曲C 楽曲D
0.49486 0.24577 0.244036 0.178809

12. 某女性アイドルグループの楽曲
アイドル この商品に対してレコメンド
グループ 購入ユーザー: 数千人
楽曲A レコメンド: 数百件
上位 4 商品 数値はスコア
アイドル アイドル アイドル 男性
グループ グループ グループ グループ
楽曲B 楽曲C 楽曲D 楽曲E
0.195868 0.161146 0.0939014 0.0924845
それなりにできてますね。

13. それっぽいのはできた。

14. まだまだ続くよ・・・
実データ いじるの楽しすぎる
他アルゴリズムを試す
問題点
Hadoop の操作に慣れていない
Mahout 本が欲しい

15. 今回挫けたところ
Hadoop の 0.23 系が手元で動かなかった
Hadoop 1.0 系を homebrew で入れてごまかす
Mahout 実行後に再実行しようとしたら temp
ファイルが残って再実行出来ない=慣れていない
【タイムアップ】

16. 付録

17. spec
Macbook Pro 13
プロセッサ 2.7 GHz Intel Core i7
メモリ 8 GB 1333 MHz DDR3
Hadoop 1.0.4
Mahout 0.7

18. 機械学習って何？
http://ja.wikipedia.org/wiki/機械学習
応用分野
自然言語処理
検索エンジン
レコメンデーション