Contenu connexe
Similaire à Cloudera Manager 5 (hadoop運用) #cwt2013 (20)
Plus de Cloudera Japan (20)
Cloudera Manager 5 (hadoop運用) #cwt2013
- 2. 自己紹介
嶋内 翔(しまうち しょう)
• 2011年4月にClouderaの最初の日本人社員として入
社
• テクニカルサポート業務をメインに、日本における技
術に関係する業務全般を担当
• email:
sho@cloudera.com
• twi@er:
@shiumachi
•
2
- 5. 本日のアジェンダ
Cloudera
Manager
の背景
• Cloudera
Manager
の基本
•
•
Hadoop
クラスタを構築する
•
•
Hadoop
クラスタを運用する
•
•
起動・停止、監視、バックアップ・リカバリなど
Hadoop
クラスタの障害解析
•
5
インストールと設定
ログ検索やチャート
- 7. Hadoop
クラスタの問題
(1)
構築が大変
•
インストール手順が複雑
•
•
•
SSHの設定
ネットワークの設定
Hadoop自体の設定
•
•
•
•
RDBMSの設定
Javaのインストール
サーバの数がとにかく多い
•
7
xmlファイルの編集
100ノードの構築は手作業では無理
- 8. Hadoop
クラスタの問題(2)
運用が大変
•
起動・停止の順序
•
•
•
設定ファイルの管理
•
•
•
あるノードだけ変更し忘れ
複数のハードウェアスペックがあると非常に大変
監視
•
8
HBase
→
MapReduce
→
HDFS
の順に停止
他のコンポーネントがあるとさらに複雑に
監視項目をきちんと網羅できるか?
- 9. Hadoop
クラスタの問題(3)
障害解析が大変
•
全部のログを調査はできない
•
•
•
9
スレーブ:
1ノードあたりGB単位のログ
マスター:
1000ノード級になると、1分間にGB単位のログ
ハードウェア障害は特定が容易、しかし遅延の特定
は極めて困難
- 10. Cloudera
Manager
なら…
•
簡単に構築ができます
•
•
簡単に運用できます
•
•
•
設定のバージョン管理が可能
Hadoopサービスの監視や、ジョブ監視が可能
簡単に障害解析ができます
•
•
10
100ノードへのインストールもたった1時間
管理画面から何百ノードのログファイルを検索可能
障害ノードをグラフィカルに表示
- 11. Cloudera
Managerは2種類
•
Cloudera
Standard
•
•
•
•
Cloudera
Enterprise
•
•
•
•
•
•
•
11
無償利用可能
サービス管理
サービス監視
サブスクリプションご購入者向け
ローリングリスタート・アップデート
LDAP連携
設定の履歴管理とロールバック
バックアップ・ディザスタリカバリ機能(アドオン)
アクセス監査(アドオン)
サポートシステム連携
- 12. Cloudera
Managerの
基本用語
デプロイメント:
CMサーバーと
全管理対象ホストの設定
クラスタ:
同じバージョンのソフト
を動作させるホストのグループ。
HDFSは同一クラスタ内に一つまで
デプロイメント
クラスタ
“Prod
(CDH4)”
ホスト:
CMエージェントを稼働さ
せるマシン(通常は物理サーバ)
ラック:
通常は同じスイッチによっ
ホスト
“a001”
ラック
“/r1”
ホスト
“b001”
ラック
“/r2”
12
サービス
“HDFS”
て管理される、同一ラック内のマシ
ン群
サービス:
クラスタ上のシステム。
ロール
ロール設定
グループ
“datanodes”
分散するもの(例:HDFS)もあれば、
分散しないものもある(例:Oozie)
ロール:
特定のホストにひもづけ
られた、システムの参加者(例:特
定のデータノード)
ロール設定:
ロールの集合(全て
ロール
ロール設定
グループ
“namenodes”
同一タイプ)。これらは同一の設定
を用いる
設定:
特スコープに関連する、
キーと値のペア
- 13. Cloudera
Manager
5
での新機能
•
リソース管理機能
•
サービス単位だけでなく、ロール単位でのリソース配分が
可能になった
YARN対応(監視含む)
• HDFS
/
HBase
スナップショットの管理
• チャート機能の強化
• サポート対象CDH
•
•
•
13
CM5
/
CDH5
CDH5
/
CDH4
CDH3
はサポート対象外
- 15. Cloudera
Manager
によるクラスタ構築
ネットワーク内のノードを識別し、必要なパッケージを
インストール
• 必要なサーバ設定は2つだけ
•
•
•
OSのインストール
SSHの設定
デモビデオ (CM4)
h@ps://www.youtube.com/watch?v=DuBYXhB_IyA
15
- 16. パーセル
(Parcel)
CM4.5から導入された新し
いパッケージングシステム
• root権限は不要
• rpmでなくtar.gzで管理
• ダウングレードも可能
• パッケージの単位は「パー
セル」
パーセルが
リポジトリにある
•
•
16
「◯◯のrpmパッケージ」と
同じように、「◯◯のパーセ
ル」と表現する
完全削除
ダウンロード
パーセルが
CMサーバにある
削除
配布
パーセルが
ホストに配布済み
デアクティベート
アクティベート
パーセルが
アクティベート済み
- 42. リソース管理
•
CM5
/
CDH5
ロールベースでのリソース管理機能が追加
•
IT部門:
20%、マーケティング部門:
30%
サービスベースのリソース管理もUIが大幅に強化
• 当然YARNもリソース管理対象
• Impalaのリソース管理にYARNが使えるようになった
• スケジューラもGUIで設定可能
•
42
- 45. Backup
and
Disaster
Recovery
(BDR)
Enterprise
Cloudera
Enterprise
のアドオン機能の一つ
• クラスタ間でデータ転送を行い、バックアップ機能を
提供する
• 機能
•
•
•
45
レプリケーション
スナップショット
CM5
/
CDH5
- 50. Cloudera
Navigator
Enterprise
コンテンツ管理用のCloudera
Manager
アドオン
• 現在は監査ログの取得ができる
• 実装予定の機能
•
•
•
50
data
linage
(データの出力元や変換処理の内容などを追
跡調査できるようにする機能)
ライフサイクルマネジメント
- 53. ログ検索
クラスタ全体のログを高速に検索可能
• 以下のようなクエリで検索できる
•
•
•
•
•
53
「7月6日
20:00から21:00の間に」
「ホストa,b,c,dにおいて」
「サービスmapreduce1で発生した」
「WARN以上のログ」
- 64. Cloudera
Manager
構築・運用が大変なHadoopの管理を楽にします
• 100ノードのクラスタを1時間で構築可能
• Enterprise
Edieon
なら監視やアラートなども搭載
•
Hadoopを使うなら
Cloudera
Manager
5
を選びましょう
ダウンロードはこちら
h@ps://ccp.cloudera.com/display/SUPPORT/Downloads
65
- 65. CDHコミュニティ・MLの紹介
CDH
ユーザ メーリングリスト(日本語)
cdh-‐user-‐jp@cloudera.org
CDH
の質問についてはこちら
Cloudera
ニュースレター
h@p://www.cloudera.co.jp/newsle@er
Cloudera
に関するニュースをお届けします
CDH/CMの最新情報・使い方なども紹介します
66
- 66. We
are
Hiring!
•
Clouderaは貴方を求めています!!
•
ソリューションアーキテクト
•
•
カスタマーオペレーションエンジニア(サポート)
•
•
•
•
Hadoopを使ったコンサルティングやモデリング
世界中のお客様のHadoopを守る!
インストラクター
システムエンジニア(技術営業)
セールス
興味のある方は
info-‐jp@cloudera.com
まで
ご連絡下さい!
67