Hadoop scr第7回 hw2011フィードバック

Hadoop World 2011
NYC
フィードバック
～インフラとしての～

Acroquest Technology
阪本雄一郎、落合雄介
2011/11/28
Hadoopソースコードリーディング第7回発表資料

© Acroquest Technology Co., Ltd. All rights reserved.

目次
1. 自己紹介
2. Hadoop Worldセッション内容の変化
3. セッション紹介
4. インフラとしてのHadoop

会場のSheraton New York Hotel & Towers

© Acroquest Technology Co., Ltd. All rights reserved. 2

1. 自己紹介
 阪本雄一郎 Acroquest Technology
 プロジェクトリーダーとして
サービスオーダシステムを開発
 Flumeによる
ログ収集プラットフォーム構築を実施
 HBase検証案件実施
 落合雄介 Acroquest Technology
 Hadoop 関連案件に従事
– MapReduceによるログデータ整形・解析
– HBase検証案件
– ログ分析Hadoopインフラ構築


2. Hadoop Worldセッション内容の変化

昨年（Hadoop World 2010）今年（Hadoop World 2011）
Hadoop
検証
Hadoop 5セッション
Hadoop 検証
5セッション Hadoop
コンポーネントコンポーネント Hadoop
Hadoop
利用事例連携利用事例連携
5セッション
30セッション 30セッション 15セッション

Hadoop
コアセッシ
Hadoop（＋周辺プロダクト）を単に使うだけでなく、ョン
5セッション
OSSや独自FWを組み合わせて利用する事例が増えて
きた
→Hadoop＋αの組み合わせ事例をいくつか紹介します


3. セッション紹介
I. RとHadoopの融合
II. Hadoopを使った衛星画像解析
III. Hadoopをクラウド上に展開


The Powerful Marriage of R and Hadoop
注目のセッションで、
I. RとHadoopの融合 200人の会場がいっぱいでした


【I. The Powerful Marriage of R and Hadoop】
I-1. 発表者概要

 Revolution Analytics
 Founded in 2007
 R言語の商用利用に特化
 David Champagne
 Principal Architect/Engineer for SPSS
– SPSS：統計パッケージソフト開発、
2009年IBMが12億ドルで買収


I-2. R言語とは

 統計解析向けプログラミング言語
 統計解析に適した命令体系を持つ
 開発実行環境も含む
- R console ： CUI
- R Commander ： GUI
 世界中のRユーザが
「CRAN（Comprehensive R Archive Network）」
でライブラリを提供
 オープンソース


I-3. R言語との連携の動機

 R言語は200万人以上のユーザを持つ
オープンソース統計言語
 Rプログラマが簡単にHadoop上の
データを扱い、MapReduceで
処理できるようにしたい
 Rを、Hadoop上で、Hadoopの中身を
意識せずとも動かせるようにしたい


I-4. アーキテクチャ

作っ
た
部分
rhdfs rhbase

rmr


I-5. rmrの特徴

 Javaを書くよりシンプル
 Hive, Pigほどシンプルではなく、
より汎用的
 プロトタイピングをしやすい


I-6. Hiveとrmrの記述の違い
単純な集計ではHive の方が
コード量は少ない
・Map Reduce の処理を
明示的に記せること
・Map, Reduce で、R言語の
関数を呼び出せることが特
徴
男女のユニークユーザ数を
それぞれ求める処理


k-means ：
I-7. rmrにおける記述量クラスタリングのアルゴリズムの一つ
クラスタリング：
複数のデータを持つ要素を、
特徴別のグループに分類する
（購買意欲の高いユーザと
それ以外のユーザを分類する、など）

rmr で大幅に
コード量=実装の手間
を削減！
R言語に備わっている
k-means のライブラリを使用可能なた
め


I-8. 大量データ統計処理の今後

 RとHadoopが組み合わさることで、
Big Dataの柔軟な解析への期待が高まる
 k-means クラスタリングの例のように、
統計的分析を簡易な記述で実現可能になる
 統計処理の理論に慣れていないエンジニアにも
Big Data の分析が容易になる


How many planes
in this image?

Indexing the Earth –
Large Scale Satellite Image Processing Using Hadoop

II. Hadoopを使った衛星画像解析


【II. Indexing the Earth – Large Scale Satellite Image Processing Using Hadoop】
II-1. 発表者概要

 Skybox Imaging
 衛星画像をもとに、映像解析・監視を
行う

 Oliver Guinan
 Ground Systems部の副部長
 世界最大級のコンシューマ向け
インターネットアプリケーションを開 © Acroquest Technology Co., Ltd. All rights reserved. 16

II-2. 概要

端的に言うと・・・

Hadoopをそのまま使っても遅いので、
を呼び出せるようにしまし
た！


II-3. フレームワーク作成の動機

 大量データの映像解析をしたい
 衛星画像から送られてくるデータは1TB/日
 大量データを分散させて保持させたい
→Hadoopが使える。
 画像解析ライブラリをそのまま使いたい
 しかし、Hadoop、Javaには弱点あり
 ジョブ起動が遅い
 科学計算ライブラリが不十分

画像解析ライブラリが使える
ネイティブコードを呼び出した
い！ © Acroquest Technology Co., Ltd. All rights reserved. 18

II-4. アーキテクチャ

 タスクの中でネイティブコード（C言語）を
呼び出す仕組みを構築

コ
コ

Busboy（バズボーイ）：
飲食店で、食器を下げた
り皿洗いをしたりする人


II-5. 業務特化の1つの解

 Hadoopと自社フレームワークを組み合わせ
て、
高速処理＋ネイティブライブラリ呼び出
し
を実現
 既存の処理をJavaで再実装することなく、
C言語などの既存の資産を使う

→Hadoop はあくまでインフラとして使う


Hadoop as a Service in Cloud

III. Hadoopをクラウド上に展開


【III. Hadoop as a Service in Cloud】
III-1. 仮想化の要請

しかし、Hadoopは
一般的に仮想化と
相性が悪いと
言われている：
ディスクの分散、
ラックアウェアネ
ス、
・・・

オペレーション、
ニーズに応じた
メンテナンスのコスト低減
素早い対応
単純化


III-2. Big Data への対応で必要なのはHadoopだけではな
い

・Big Data のトレンドは、
Hadoop だけではない
・Hadoop は他の技術と併用され
る：
Big SQL, NoSQL, etc,…
・全てのインフラを統一したい

Big Data 対応のための
統合された基盤が
求められている

・共通のハードウェア基盤
・ハードウェア、ドライバの
テストフェーズをなくしたい
・すでにあるチーム内で、制御、
診断、キャパシティマネジメン
トを
こなしたい


III-3. 参考：Disney のData Management Platform
Advancing Disney’s Data
Infrastructure with Hadoop
Matt Estes, Disney
より

Disney は、
2008年から仮想化、
2009年からHadoop
に取り組んでいる。

2010年には、
Cloud Platform を
構築し、全サービスのう
ち60%のサーバイメー
ジを
仮想環境に移行した

Hadoop 環境は Disney Cloud Services とは別


III-4. 参考：Disney のData Management Platform

2011年の取り組みで、
Hadoop クラスタを
Data Management
Platform として統一

Hadoop を使った
サービスを大規模に
展開する企業も、
仮想化に注目してい
る


III-5. ディスクの構成

ローカルディスクを
使うことで、
扱いやすい HDFSの特性を生かす

NW IO が
ネックに


III-6. vSphere を通したラックアウェアネス

Rack awareness：
Hadoopは大量のネッ
トワーク通信を行うた
め、通信量を減らせる
ようマシンの物理的配
置を設定する。

ラックアウェアネスの考慮が必要な点
は、
仮想化を行う際の、 Rack script を自動生成
「どの物理ノードに乗っているか気することで、問題を解決
にしなくて良い」
という利点に矛盾する


III-7. Muti-tenant への対応

巨大クラスタを占有
するのと、クラスタ
を共有するのと、用
途によって使い分け
る

顧客の要請に応じた
使いわけ

Multi-tenant：
1つのクラスタの中で
複数のシステムを
構築・動作させる


III-8. クラウド上のHadoop構築で、柔軟な対応が可能に

 Hadoopを仮想環境で動作させる仕組みが
できた
 「Hadoopだけは特別」ではない。
他のプラットフォームと同様に、
「クラウドにHadoopを展開して利用する」
というユースケースもあり得る


4. インフラとしてのHadoop

 Hadoopはインフラとなりつつある
 MapReduceで計算して終わり！な時代は過ぎた
 HadoopをベースにOSS／フレームワークを組み
合わせて、新たな仕組みを構築する動きが出てき
た
 「目的」ではなく「手段」としてHadoopを使
う
 「大量データだからHadoopをとりあえず使おう
」だと、Hadoopのメリットは少ない
 大量データを分析し役立てたいからHadoopを使
う、と考えると、Hadoopを最大限に生かすこと
ができる © Acroquest Technology Co., Ltd. All rights reserved. 30

ぜひ日本でも事例を増やしましょ
う！


Hadoop scr第7回 hw2011フィードバック

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (11)

Similaire à Hadoop scr第7回 hw2011フィードバック

Similaire à Hadoop scr第7回 hw2011フィードバック (20)

Plus de AdvancedTechNight

Plus de AdvancedTechNight (20)

Hadoop scr第7回 hw2011フィードバック