Contenu connexe
Similaire à Hadoop ~Yahoo! JAPANの活用について~ (20)
Plus de Yahoo!デベロッパーネットワーク (20)
Hadoop ~Yahoo! JAPANの活用について~
- 6. 有名なネットサービス Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 月間 485 億 3100 万 PV 1 日 5000 万 のつぶやき 商品数 6400 万 月間ユーザ数 5 億 人 各サービスとも日々成長を続けています
- 13. Hadoop とは Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大きく MapReduce と HDFS ( 分散ファイルシステム ) に分かれる
- 15. Hadoop HDFS Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ・巨大なファイルを複数台に分割 ・複数サーバの各 HDD を 1 つの HDD のように扱える
- 16. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大規模データ処理用スクリプト言語 Pig Hive Facebook が開発 扱いが一般データベースに似ている A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo FROM pokes a;
- 17. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop 上に構築された列指向データベース Google BigTable のクローン HBase 機械学習ライブラリ Hadoop でスケール可 Mahout 複数の MapReduce ジョブなどを 実行制御するワークフロー Oozie
- 24. Yahoo! Inc. での事例紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 29. Yahoo! JAPAN での事例 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 51. Hadoop を運用してきた中で 得られた知見 ~ Yahoo! JAPAN の場合~ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 57. まとめ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 59. TechBlog Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 http://techblog.yahoo.co.jp/
- 60. Hadoop Hack Night Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2010 年 3 月、 8 月に開催
Notes de l'éditeur
- 実際のサービスでないものもある、まだ開発中のものもある