世界征服を目指すAmbariだからこそ期待する5つのポイント（AmbariMeetup Tokyo #1 発表資料）

Copyright © 2016 NTT DATA Corporation
2016/4/18
株式会社NTTデータ OSSプロフェッショナルサービス
鯵坂明
世界征服を目指すAmbariだからこそ
期待する5つのポイント
Ambari Meetup Tokyo #1

2Copyright © 2016 NTT DATA Corporation
自己紹介 - 鯵坂明
 鯵坂明 (@ajis_ka)
 NTTデータシステム技術本部
 Apache Hadoopなどのサポート業務を主に担当
 Apache Hadoop committer & PMC member
 ドキュメント
 バグ修正
 リリース管理など
 Apache Ambari contributor
 使ってみて困ったことをいくつかフィードバック

はじめに
 タイトルの由来

SIerの立場から
 多種多様な環境への対応
 多種多様なお客様
 SLAも様々
 要件に応じてカスタマイズできることが重要
 メンテナンス性
 これまでのツール(Puppet/Chef + Ganglia +
Nagios/Zabbix)できていたことが全てできるのか?
 扱うツールの数を、なるべく減らしたい
 ベンダ中立
 ロックインはなるべく排除したい

世界征服を目指すAmbariだからこそ期待する
5つのポイント
1. 任意のパラメータを設定したい
2. Hadoop以外も設定したい
3. Ambari Server HA
4. ベンダ中立性
5. ドキュメントのさらなる充実

 パラメータのvalidationが厳しい
 必須のパラメータを外せない
 通常は、良い方向に働く
 AMBARI-13373 のようなバグを踏むと大変
 HA環境だと不要なパラメータが必須扱いだったため、HA
環境でHDFSのバランサーが動作しない (2.2.0で解決済)
 参考: -confオプションでconfigを差し替えてコマンドラ
インからバランサーを起動すれば回避できる

 現状のAmbariでできない設定
 OS
 Ambari Server
 Ambari Agent
 OS や Ambari Agentの設定を自動化するため、やはり
Puppet/Chefなどのツールが必要
 ツールが増えるとメンテナンスコストがかさむ
 ツール間の境界を決めるのも面倒
 Kickstart + Ambari で構築を終わらせたい

3. Ambari Server HA
 Ambari Alertは便利なツール
 監視に失敗すると、メール/SNMP通知する
 最初から数十の項目が用意されている
 だが、Ambari Serverが止まると監視が全て止まる
 割り切って、スタンバイしていたAmbari Serverを起動
 割り切れない場合は ...?

 デフォルトだとHDPしかインストールできない
 コミュニティ版のApache Ambariなんだから、コミュニ
ティ版のApache XXXがインストールされるべき
 Apache Bigtopでビルドされているrpmやdebを簡単に
インストールできるとうれしい
 HDPにないコンポーネントもインストールしたい
 Impala
 Presto
 Hue
 etc...

 運用手順
 マスタサーバ故障時の復旧
 どこにもない！
 Ambari Server 故障時の復旧
 Ambari Agent, Ambari Serverのログ設定方法
 APIs
 REST API は充実
 Custom Service を作る場合、現状ソースコードを読ま
ざるを得ない

5つのポイント
3. Ambari Server HA

5つのポイント
3. Ambari Server HA
Custom Ambari Service

Custom Ambari Serviceとは?

何をするのか?
 各種設定ファイルの配布
 /etc/hosts
 ラックアウェアネススクリプト
 logrotate設定
 Ambari Server, Ambari Agentの設定
 etc...
 OSのユーザ・グループを追加
 NTPの設定
 THP (Transparent Huge Pages) の無効化
 Hot fixes
 and more...

どうやって実装するのか?
 公式ドキュメントに実装方法が記載されている
 中身はこんな感じのPythonスクリプト群
 実物はもっと綺麗
from resource_management.libraries.script import Script
config = Script.get_config()
hostname = config['hostname']
hosts = config['clusterHostInfo']
if hostname in hosts['namenode_host']
# NameNodeに対する設定
if hostname in hosts['journalnode_hosts']
# JournalNodeに対する設定
...

どうやって実装するのか?
 configの実体はjsonファイルをパースしたもの
 ClientConfigResourceProviderから読むとよさそう
Map<String, Object> jsonContent = new TreeMap<String, Object>();
jsonContent.put("configurations", configurations);
jsonContent.put("configuration_attributes", configurationAttributes);
jsonContent.put("commandParams", commandParams);
jsonContent.put("clusterHostInfo", clusterHostInfo);
jsonContent.put("hostLevelParams", hostLevelParams);
jsonContent.put("hostname", hostName);
jsonContent.put("clusterName", cluster.getClusterName());
jsonConfigurations = gson.toJson(jsonContent);

FAQ
 オープンソース化されるのか?
 No
 秘伝のタレが入っているから (特にOSの設定)
 とてもシンプルなロジック
 作るのはそれほど難しくないと思う
 Hot fixとは?
 AmbariやHadoopの起動スクリプトを修正
 同じ内容をコミュニティへフィードバック
 AMBARI-14945 (JVMの設定が想定どおりにならない)
 AMBARI-15588 (.out への書き込みにappendフラグを
入れる)

まとめ
 Apache Ambariは、Hadoopを使う上で便利なツール
 ただし、Ambariだけで完結しない部分も多い
 何らかの方法でギャップを埋める必要がある
 他のツールに頼る
 パッチを書く
 Custom Ambari Serviceを使ってみる
 Apache Ambariの更なる発展を期待しています！

世界征服を目指すAmbariだからこそ期待する5つのポイント（AmbariMeetup Tokyo #1 発表資料）

Recommandé

Recommandé

Contenu connexe

Plus de NTT DATA OSS Professional Services

Plus de NTT DATA OSS Professional Services (20)

Dernier

Dernier (9)