ニコニコデータセット分析環境作ってみた-ニコニコデータデータ分析研究会

ニコニコデータセット
分析環境作ってみた
13年7月27日土曜日

自己紹介
芝尾幸一郎 @shibacow
ソフトウェアエンジニア
データアナリスト
趣味でランキングサイト
作ってます。
http://nico-ran.jp/

今日のアジェンダ
データセット解析環境の作り方
もっと楽にする方法
データ分析をもっと楽しく
宣伝

データ分析環境
Amazon - Hadoop環境
Hiveで分析
対話的に分析できる
環境を作る。
hive> SELECT smid,count(*) as cnt FROM
nicodata.comment_data_sampling100 WHERE comment_string LIKE
"%wwwwww%" GROUP BY smid ORDER BY cnt DESC limit 10;

コメント情報加工
コメント情報にsmid追加
{"date":1175712661,"no":2,"vpos":3208,"comment":"u30d0u30fcu30edu30fcu30fbu30fb
u30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fbu30fb
u30fbu30fbu30fbu30fbu30fbu30fb","command":""}
smid追加
{"vpos":3208,"no":2,"command":"","filename":"comment_src/0011/
sm110003.dat","video_id":"sm110003","comment":"バーロー・・
・・・・・・・・・・・・・・・・・・・・","date":1175712661}
GitHubで公開
https://github.com/shibacow/
niconico_dataset_add_smid

amazon EMRを使う
Amazon EC2を利用した簡
単Hadoop環境
従量課金で使った分だけ
お金を払う。

データセットの準備
S3データ整形 HadoopFS
Hive取り込
み
Jsonデータ
取り出し
データ分析

サンプリング
分析はなるだけサンプリングで行う
CPUと時間の節約
正しい判断に必要な最少十分なデータ
hive> insert overwrite table videoinfo_sampling1 select * from videoinfo
where cast(substr(smid,3) as int) % 100 = 0;

あまりに複雑
今までの内容はあまりに複雑なので、ちょっとずるを
します。

(内容をまとめた)夏コミ出します
夏コミ原稿書きました
今までしゃべった内容がまとまっ
てます。
88888の多い動画は!? ニコニコ動画
のデータを分析してみよう
新刊「ななかInside PRESS vol.3」
8/12 月曜日(3日目) 東ぺ-15a「第7
開発セクション」

改めて考えてみる
皆がやりたいのは分析環境「構築」ではな
く「分析」そのもの
＿＿＿_
／＼（ ;;;;(
／＿ノヽ__＼) ;;;;)
／（─）（─ /;;／
| （__人__） l;;,´ 構築メンドくせ…
/ ∩ ノ)━・'／
( ＼／＿ノ´.| |
.＼ " ／＿＿| |
＼／＿＿＿／

閃いた
Webで出来ればいいんじゃね
|
＼ __ ／
＿（ｍ）＿
|ミ|
／｀´ ＼
＿＿＿_
／͡ ͡＼
／（ ●）（●）＼
／::::::͡（__人__）͡::::: ＼
| |r┬-| |
/ `ー'´ ∩ノ ⊃
( ＼／＿ノ
.＼ “ ＿＿＿＿ノ／
＼_ ＿＿＿＿／

ニコニコデータセット分析環境
作ってみた(Webに)

これは何
ニコニコ動画データセットをweb経由で分析出来る
Webアプリケーション

DEMO
wwwを多く含む動画を探してみよう
8888コメントはいつくらいからどのくらい使われ
るようになったか？

wwwwを多く含む動画
wwwwwを含むコメントを抜き出し、smid単位で集約し
て、その数を数え、多い順に並べよ
SELECT smid,count(*) as cnt FROM
nicodata.comment_data_sampling100 WHERE
comment_string LIKE "%wwwwww%" GROUP BY smid
ORDER BY cnt DESC LIMIT 100

結果
sm6102000!6298
sm12846600! 5032
sm13005200! 3592
sm12297700! 3376
sm1773000!3203
sm11756100! 3161
sm179700!3028
sm9440300!2984
sm16683900! 2745
sm18365300! 2738
sm5123700!2690
クソゲーオブザイヤー2008

88888の発生
8888はいつくらいから使われ始めたか？
88888を含むコメントを抽出し、コメント投稿月で集
約後カウントせよ。
SELECT substr(from_unixtime(`date`),1,7) as
ymd,count(*) FROM
nicodata.comment_data_sampling100 WHERE
`comment_string` LIKE "%88888888%" GROUP BY
substr(from_unixtime(`date`),1,7) ORDER BY ymd

8888コメント数推移

なぜ作ったし
webで誰でも手軽に解析を始められる
他の人と分析結果を共有できる。
とにかくやって見て解析の面白さに気づける

仕組み
Shib by
tagomoris
Hive
Hadoop
(AmazonEMR)
Amazon EC2
Web
Nodejs

バックエンド
m1.medeum m1.large
m1.large
m1.large
m1.large
マスター
スレーブ x 4

休日だけ運用
利用者が多そうな土日だけ運用。毎週土日スポットイ
ンスタンス利用で月5000円くらい。何とかなる金額。

カンパ募集
とはいえ、良いサーバに変えたり、土日以外も運用す
ればお金がかかる。
と言うわけでカンパ希望

不具合
実験プロジェクトなのでまだ不具合たくさん
日本語が通らない(致命的)。
SQLにスキーマ名(niconicodata)が必要

URL
http://nicodata.info/
サーバ台数少ないので優しく使って
サンプリングテーブルを使って

協力者募集
デザイナー
Nodejs詳しい人。
面白がって使ってくれる人。

文化的な話

Make文化隆盛
何故Make(個人のDIY)文化が流行ったか？
二つの要因
Arduino(手軽な開発環境)
インターネット (知識の共有)

今までの大規模データ
研究者や企業内の専門家中心
野生の研究者の二つの壁
面白いデータは、企業か大学の中
大規模データ分析に必要なCPUパワーを個人では用
意出来ない。

(野生)大規模データの隆盛
野生の人がオープンデータに興味を持つために、
面白いデータ(ニコニコ動画データセット)
安価で手軽なCPUパワー(AWS)
の両輪が必要

ドワンゴへの要望・謝意
データを定期的にアップデートしてほしい。
太っ腹なデータ公開ありがとうございました。

宣伝
夏コミ原稿書きました
88888の多い動画は!? ニコニコ動画
のデータを分析してみよう
新刊「ななかInside PRESS vol.3」
8/12 月曜日(3日目) 東ぺ-15a「第7
開発セクション」

宣伝2
岐阜県大垣市でデータ分析のレクチャーします。
8/30-9/1
参加費無料
http://www.softopia.or.jp/new-service/datavisual/

宣伝3
データ分析研究会 Googleグループやってます。
https://groups.google.com/forum/#!forum/niconico-data-
analyser

宣伝4
最後に、ニコニコデータビューアーのURLをもう一度
http://nicodata.info/
(土曜日曜のみ開けます)
@shibacowでした

ニコニコデータセット分析環境作ってみた-ニコニコデータデータ分析研究会

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à ニコニコデータセット分析環境作ってみた-ニコニコデータデータ分析研究会

Similaire à ニコニコデータセット分析環境作ってみた-ニコニコデータデータ分析研究会 (20)

Plus de (shibao)芝尾 (kouichiro)幸一郎

Plus de (shibao)芝尾 (kouichiro)幸一郎 (16)