Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
ニコニコデータ 
ビューア・改 
@shibacow
芝尾幸一郎 
• 株式会社Aiming所属 
• データ分析を担当 
• ニコニコ動画のランキングサイ 
トを作っている 
• follow me: @shibacow
ニコニコデータ 
ビューア
ニコニコデータセット
• ニコニコ動画の情報を配布 
• 2007-2012の 
• 動画情報800万件 
• タグ情報40000万件 
• コメント情報24億件 
• 無料で公開中
ニコニコデータ 
ビューア
• web上で 
• 手軽に無料で 
• ニコニコデータセットの 
• 分析 
• ができる。
不満 
• 集計が遅い(21分) 
• 土日しか開けられない(お 
金が高い)-土日だけで 
8000円
作り直し中
データセットビューア・改 
• 特徴 
• 集計が早い 
• だいぶ安い
DEMO
早い 
• 23億件の集計 
• 21分 -> 10秒以内 
126倍
MySQLとの比較 
• 数億件だと、MySQLの 
集計は、厳しい。 
• 3億円でオラクル買う世 
界
早いので 
• トライアンドエラーがや 
りやすい 
• 集中が長続きする
安い 
• 土日だけではなく 
• 連日開放 
• 今までで6ドル 
• (従量制だが、だいぶ安い)
なぜ早くて安い?
グーグル製データ分析 
ツール
何故早い 
カラム指向 
ツリー 
アーキテクチャ
本当の所
力技の勝利 
• 3台で集計(21分) 
• 5000台で集計(10秒)
力技なので 
• 中間一致に強い 
• 5000台使ってgrepして 
いる。
データセット 
ビューア・改
改善点 
• 集計が早い 
• いつでも使える 
• 無料
新機能
• お手軽グラフツール 
• 集計結果の保存と拡散 
• smidの自動展開
お願い
協力者募集:主にUI 
詳しくは芝尾 
(@shibacow)まで
お願い2 
ドワンゴさん、 
そろそろデータセット 
更新して
ThankYou 
• @shibacow 
• http://nicodata.info/
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
Prochain SlideShare
Chargement dans…5
×

ニコニコデータビューアー・改

3 403 vues

Publié le

ニコニコ学会β第五回データ分析研究会で発表した。
今まで、21分かかった物が、10秒で集計が出来る。

Publié dans : Environnement
  • Soyez le premier à commenter

ニコニコデータビューアー・改

  1. 1. ニコニコデータ ビューア・改 @shibacow
  2. 2. 芝尾幸一郎 • 株式会社Aiming所属 • データ分析を担当 • ニコニコ動画のランキングサイ トを作っている • follow me: @shibacow
  3. 3. ニコニコデータ ビューア
  4. 4. ニコニコデータセット
  5. 5. • ニコニコ動画の情報を配布 • 2007-2012の • 動画情報800万件 • タグ情報40000万件 • コメント情報24億件 • 無料で公開中
  6. 6. ニコニコデータ ビューア
  7. 7. • web上で • 手軽に無料で • ニコニコデータセットの • 分析 • ができる。
  8. 8. 不満 • 集計が遅い(21分) • 土日しか開けられない(お 金が高い)-土日だけで 8000円
  9. 9. 作り直し中
  10. 10. データセットビューア・改 • 特徴 • 集計が早い • だいぶ安い
  11. 11. DEMO
  12. 12. 早い • 23億件の集計 • 21分 -> 10秒以内 126倍
  13. 13. MySQLとの比較 • 数億件だと、MySQLの 集計は、厳しい。 • 3億円でオラクル買う世 界
  14. 14. 早いので • トライアンドエラーがや りやすい • 集中が長続きする
  15. 15. 安い • 土日だけではなく • 連日開放 • 今までで6ドル • (従量制だが、だいぶ安い)
  16. 16. なぜ早くて安い?
  17. 17. グーグル製データ分析 ツール
  18. 18. 何故早い カラム指向 ツリー アーキテクチャ
  19. 19. 本当の所
  20. 20. 力技の勝利 • 3台で集計(21分) • 5000台で集計(10秒)
  21. 21. 力技なので • 中間一致に強い • 5000台使ってgrepして いる。
  22. 22. データセット ビューア・改
  23. 23. 改善点 • 集計が早い • いつでも使える • 無料
  24. 24. 新機能
  25. 25. • お手軽グラフツール • 集計結果の保存と拡散 • smidの自動展開
  26. 26. お願い
  27. 27. 協力者募集:主にUI 詳しくは芝尾 (@shibacow)まで
  28. 28. お願い2 ドワンゴさん、 そろそろデータセット 更新して
  29. 29. ThankYou • @shibacow • http://nicodata.info/

×