Contenu connexe
Similaire à Hadoop Conference Japan 2009 #1 (20)
Plus de Rakuten Group, Inc. (20)
Hadoop Conference Japan 2009 #1
- 1. 楽天の Hadoop 利用事例 (Hadoop Conference Japan 2009) 楽天株式会社 開発部 河村圭介|2009年11月13日
- 3. Agenda 1 楽天の紹介 2 楽天のシステムのもつ課題 3 楽天の Hadoop 環境 4 利用事例をいくつか紹介 5 まとめと今後の展開
- 4. 1 楽天の紹介 2 楽天のシステムのもつ課題 3 楽天の Hadoop 環境 4 利用事例をいくつか紹介 5 まとめと今後の展開
- 6. 流通総額に見る成長 流通総額推移 ( 単位:億 ) 178 707 1124 1899 3009 4236 5369 0 1000 2000 3000 4000 5000 6000 00 01 02 03 04 05 06 07 6638 457 08
- 9. 3 楽天の Hadoop 環境 4 利用事例をいくつか紹介 5 まとめと今後の課題 1 楽天の紹介 2 楽天のシステムのもつ課題
- 13. 1 楽天の紹介 2 楽天のシステムのもつ課題 4 利用事例をいくつか紹介 5 まとめと今後の課題 3 楽天の Hadoop 環境
- 16. 1 楽天の紹介 2 楽天のシステムのもつ課題 3 楽天の Hadoop 環境 5 まとめと今後の課題 4 利用事例をいくつか紹介
- 22. 利用事例1:広告ユニークユーザー分析 Hadoop 導入の効果 そのスケーラビリティを手に入れた。 導入前に、占有 Batch サーバーで 稼動していた perl スクリプトと、 複数サービスでシェアしているクラスタ上で 稼動している map/reduce を比較すると、 処理速度が約 580% 向上した。 約 26 時間が、およそ 4 時間半程度に短縮された。
- 28. 1 楽天の紹介 2 楽天のシステムのもつ課題 3 楽天の Hadoop 環境 4 利用事例をいくつか紹介 5 まとめと今後の課題
Notes de l'éditeur
- こちらは楽天市場のシステムでやり取りされたお金の総額です。流通総額、という名前の経営指標になっております。 ごらんのとおり、年々と楽天市場での購入金額というのは増えておりまして
- 昨年では6638億円にも達しました。 会員数も、年間の受注件数も年々伸びております。
- Hadoop の環境といえば大規模なものを想像されるかもしれませんが、数台でも効果は現れますし、必要な処理に応じた環境を用意すれば、
- Perl 2 コア1 CPU マシン上で、 2 スレで稼動 メモリ・ CPU ともに、ほぼ 100% 使い切ってフル回転していた map/reduce 3 サービスでクラスタをシェアしている 配信ログが増加するほど、 perl と map/reduce の処理速度の差は広がる傾向にある
- 独自実装したプロトタイプでは数日間以上かかっていた処理が 4,5 時間でできるようになりました。