京都OSC 2015 でライトニングトークで発表した内容です。 2015 OSC京都　特有のネタ満載

1. 1
秋葉原IT戦略研究所
http://akibalab.info/
野田純一
2015.8.8 京都OSC
Apache Sparkでつぶやきビッグデータ
クローンをつくってみた

2. 1. 自己紹介 野田純一
2
Github:
https://github.com/AKB428
Twitter:
https://twitter.com/n428dev
Qiita:
http://qiita.com/AKB428
Hatena:
http://akb428.hatenablog.com/
Junichi Noda Larry Wall

3. 3
↓これが作りたい
2014 7月22日 NHK

4. Sparkについて
• HadoopのMapReduceとは別アプローチ(DAG)での並列分散集計処理を行う
• インメモリー処理
• 2015年6月11日に 1.4.0 がリリース。
https://spark.apache.org/releases/spark-release-1-4-0.html
• 1.4.0でSparkRが追加(R言語でSparkを利用できる）
• APIを利用できる言語はScala, Java, Python
4
SparkR

5. 5

6. • Twitterストリームからデータを取得する。
• Twitter Streaming APIを使う。
• 400の検索キーワードが指定可能。
• Spark Streamingでリアルタイム集計を行う。
6

7. 7
• 日本語文章を単語にわけて分解して集計
• 日本語を分解するため形態素解析ライブラリ
kuromojiを使う。
• アニメ作品など標準辞書にない単語はユーザー辞
書(CSV)を用意。

8. 形態素解析ライブラリの必要性について
8

9. ユーザー辞書の必要性について
9

10. 10

11. 画面デモ（直近5分を毎分集計）
(F1)2015年3期 TVアニメ http://tv-anime.xyz/5/
(F1)ラブライブ http://tv-anime.biz/5/
(F2)ラブライブ http://lovelive-net.com/5/
(F2)秋葉原 http://akiba-net.com/5/
(F2)関東TV番組 http://telev.net/5/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計
11

12. 12
画面デモ（直近60分を毎分集計）
(F1)2015年3期 TVアニメ http://tv-anime.xyz/60/
(F1)ラブライブ http://tv-anime.biz/60/
(F2)ラブライブ http://lovelive-net.com/60/
(F2)秋葉原 http://akiba-net.com/60/
(F2)関東TV番組 http://telev.net/60/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計

13. 2015年7月22日
7月22日 ラブライブ 矢澤にこ 誕生日
13

14. 14
２０１５年７月２２日

15. 過去のキャプチャ 今期(2015/夏期)のアニメ
15

16. デモ：リコメンドTwitterボット
https://twitter.com/Akihabaara_itso
https://twitter.com/AuctionMadoka
16

17. 実際の売上
17

18. 18
京都OSC用 つぶやきビックデータ
検索ハッシュタグ 「#osckansai」
http://2045.tokyo/5/
http://2045.tokyo/60/
※URLの内容は8/8当日のみ
京都OSC用になります

19. 8/8 〜12:00
19

20. 8/8 12:24〜
20

21. 8/8 13:20
21

22. 8/8 15:10
22

23. 8/8 15:20
23

24. 8/8 15:40
24

25. 8/8 16:10
25

26. 26
女子大生好きおっさんしかいない・・・
（呆れ）

27. 似たような感じでIT系のイベントの当日に
SNSの盛り上がりを視覚的に計測表示する
ことが簡単にできます。
是非次回以降のOSCや他のITイベント、オ
タク系イベントでイベント展示の液晶モニ
タなどに表示して有効活用してください。
勿論OSSです。
27

28. Mikasaインストールについて
インストールマニュアル
https://gist.github.com/AKB428/c30bc6a979e05fa3a022
• TwitterAPIとAmazonAPIのアカウントがあれば1時間でセット
アップ完了。
• AmazonAPIアカウントはリコメンドしない場合は不要。
• TwitterAPIのアカウント取得も10分程度で可能。
Mikasa OL
https://github.com/AKB428/mikasa_ol
Mikasa RS
https://github.com/AKB428/mikasa_rs
28

29. Sparkについて〜最近の情勢
• 2015年6月15日 IBMが開発者と研究者を3500人Spark関連プロ
ジェクトに投入 http://japan.zdnet.com/article/35065964/
• 2015年 6月15〜17日 Spark summit 2015 開催 (サンフランシスコ)
• NTTデータ社が定期的に勉強会を実施
• 国内のサービス実例は少ない
• 2大Hadoopディストリビューション CDHとHDPにはSparkが搭
載
• Spark1.4からはUIでモニタリングも行えるようになった。
http://qiita.com/AKB428/items/71900eecdf2350e1e45f
29

30. 参考文献紹介-1
「Scala逆引きレシピ」
• 他言語経験者でScalaが初心者の方にお奨め、情
報も新しく、PlayフレームワークやSBTの説明も
豊富。
30

31. 参考文献紹介-2
「Learning Spark」
• Sparkのコーディングはこれを読めば理解可能。
• 英語初心者でもかなり読みやすい本なのでお奨
め。今年日本語化されるらしい。
31

32. 32
ご清聴ありがとうございました