More Related Content
Similar to Apache Ambari Overview -- Hadoop for Everyone (20)
More from Yifeng Jiang (16)
Apache Ambari Overview -- Hadoop for Everyone
- 1. Page 1 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Apache Ambari
Hadoop全てのユーザーのために
March 10, 2015
Hadoopのことなら、Hortonworksに
左居有作 (Yusaku Sako)
Hortonworks
- 2. Page 2 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
アジェンダ
概要
オープンソース活動
クラスタ運用機能
拡張性
今後の計画と展望
Q&A
- 3. Page 3 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Apache Ambariとは?
Hadoopクラスタの運用・
使用を簡単にする、
100%オープンソースの
プラットフォーム
- 4. Page 4 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Apache Ambariのミッション
大スケールでの
運用を簡単に
大スケールでクラスタのインストール、管理、監視
コミュニティーに
よる拡張を簡単に
コミュニティーによるイノベーションを推進
既存Enterprise
So,wareとの統合
新しい機能の導入と提供の加速
Hadoop全ての一元
アクセス
クラスタ管理だけでなく、
全てのHadoopのユーザのアクセスポイト
使いやすさの徹底追及
- 5. Page 5 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
100%オープンソース == 速いイノベーション
オープンソースコミュニティ @Apache Software Foundation
• 貢献者 100人以上 / コッミター 50人以上
• Ambari ユーザーグループのメンバー 280人以上
Ambari 1.6.0
May 2014
321 課題解決
Ambari 1.5.1
Apr 2014
252 課題解決
Ambari 1.5.0
Apr 2014
968 課題解決
Ambari 1.6.1
Jul 2014
586 課題解決
Ambari 1.7.0
Dec 2014
1620 課題解決
Ambari 2.0.0
Mar 2015 (予定)
1700+ 課題解決
現在の最新バージョン
- 6. Page 6 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Core Features
クラスタ運用機能
- 7. Page 7 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
インストール・ウィザード
- 8. Page 8 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
クラスタ・ダッシュボード
- 9. Page 9 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
サービス・ダッシュボード
- 10. Page 10 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
サービス管理 (例:HDFS)
- 11. Page 11 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ホスト管理
- 12. Page 12 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
設定変更
- 13. Page 13 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
設定バージョンの比較
- 14. Page 14 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
監視・通知
Email
SNMP
通知方法
- 15. Page 15 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari Extensibility
Stacks | Views | Blueprints
Ambariの拡張性
スタック|ビュー | ブループリント
- 16. Page 16 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
拡張機能
スタック
Stacks
ブループリント
Blueprints
ビュー
Views
プラガブルな拡張
• Ambariのコードを変えることなく、新しい機能の追加や統合を可能にする
• コミュニティーからの貢献が簡単に
- 17. Page 17 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari スタック
主な目的:
まだAmbariで提供されていない新サービスの管理機能の追加
既存サービスの新機能の導入
AMBARI
{REST}
<ambari-web>
Stacks
HDFS
YARN
MR2
Hive
Pig
Oozie
HBase
Storm
Falcon
Stack
Advisor
Ka@a
Knox
+ Ranger
Spark
Slider
- 18. Page 18 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
スタックの構成
スタックはサービスとレポを定義
• スタックは何のサービスで構成されているか、パッケージのダウンロード元はどこか(レポ)
各サービスの定義
• サービスはどんなコンポーネントで構成されているか、これらをどうやって管理するのか
• start, stop, status, install, configureなどのコマンドはコマンドスクリプトで定義
設定の推奨・警告
• 静的・動的制約や依存性のチェック
AMBARI
SERVER
スタック
コマンド
スクリプト
サービス定義
AMBARI
AGENT/S
AMBARI
AGENT/S
AMBARI
AGENTS
pythonxml
レポ定義
- 19. Page 19 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
スタックのInheritance(継承)サポート
HDP 2.0 スタック
HDP 2.1 スタック
HDFS,YARN, MR2, ZOOKEEPER, HBASE, HIVE,
OOZIE, PIG, FLUME, SQOOP
HDP 2.2 スタック
STORM, FALCON, TEZを追加
KAFKA, SPARK, KNOX, SLIDER, RANGERを追加
目的:再利用でスタックの定義の「てま」を最小限に
- 20. Page 20 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari ビュー
目的:
• Ambari Web UI内で様々なビュー(アプリ)を提供
• ビューはクラスタ管理者/開発者/データアナリスト用などと多目的
• ビューの開発は普通のWebアプリを開発する感覚
• 開発するにあったてAmbariのコアコードの理解や変更を必要としないのでコミュニティーにとって
貢献がしやすい
- 21. Page 21 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ビューの例(管理者向け)
Capacity Scheduler
Queue Manager
- 22. Page 22 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ビューの例(一般ユーザー向け)
HDFS File Browser
- 23. Page 23 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ビューの例(開発者向け)
TezのジョブのトラブルシューティングHiveクエリをTezで走らせた場合の
トラブルシューティング
- 24. Page 24 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ビューの例(データアナリスト向け)
Hiveクエリの作成・編集・実行 Pig スクリプトの作成・編集・実行
- 25. Page 25 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
クラスタがAmbariの管理上にない場合でもOK
• Ambariの管理上にない既存クラスタに対してもビューの使用は可能
• 複数のクラスタに対してのビューの使用も可能
Ambari
Server
Ambariでインストールされた
クラスタ
Ambari
Server 「スタンドアローン・モード」
または
「ビュー・オンリー・モード」
Ambariでインストールされてない
クラスタ
クラスタ管理
ビューの使用
ビューの使用
ビューの使用
- 26. Page 26 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Blueprints
ブループリント
- 27. Page 27 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari ブループリント
目的:
• クラスタ・インストールを自動化(特にクラウド環境で役に立つ)
• 実例:Microsoft Azureポータル内でのHDPクラスタインストール
• クラスタのスケールアップ/ダウンを簡素化
- 28. Page 28 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ブループリントとブループリントAPI
ブループリントとはクラスタの設定状態をJSONで表したもの
ブループリントAPIに入力してクラスタをインストール
Blueprint
ブループリント
Ambari
Server
Blueprint
API
ブループリントAPI
IMPORT
インポート
CLUSTER
クラスタ
INSTANTIATE
作成
- 29. Page 29 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
例:100台クラスタのインストール
{
"configurations" : [
{
”hdfs-site" : {
"dfs.datanode.data.dir" : ”/hadoop/1,/hadoop/2,/hadoop/3"
}
}
],
"host_groups" : [
{
"name" : ”master-host",
"components" : [
{ "name" : "NAMENODE” },
{ "name" : "RESOURCEMANAGER” },
…
],
"cardinality" : "1"
},
{
"name" : ”worker-host",
"components" : [
{ "name" : ”DATANODE” },
{ "name" : ”NODEMANAGER” },
…
],
"cardinality" : "1+"
},
],
"Blueprints" : {
"blueprint_name" : ”multi-node-hdfs-yarn",
"stack_name" : "HDP",
"stack_version" : "2.0"
}
}
{
"blueprint" : ”multi-node-hdfs-yarn",
"host_groups" :[
{
"name" : ”master-host",
"hosts" : [
{
"fqdn" : ”master001.ambari.apache.org”
}
]
},
{
"name" : ”worker-host",
"hosts" : [
{
"fqdn" : ”worker001.ambari.apache.org”
},
{
"fqdn" : ”worker002.ambari.apache.org”
},
…
{
"fqdn" : ”worker099.ambari.apache.org”
}
]
}
]
}
1. POST /blueprints/my-blueprint 2. POST /clusters/MyCluster
- 30. Page 30 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
実行中のクラスタの復元
実行中のクラスタからブループリントをエクスポートが可能
設定が同じまたはほぼ同じクラスタの復元に役立つ
CLUSTER
クラスタ
EXPORT
エクスポート
Blueprint
ブループリント
GET /api/v1/clusters/mycluster?format=blueprint
- 31. Page 31 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Supported Platforms
プラットフォーム・サポート
- 32. Page 32 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
OS/JDKサポート(Ambari 1.7時点)
OS:
• RedHat, CentOS, Oracle Linux 5 / 6
• SUSE / SLES 11
• Ubuntu 12
JDK:
• Oracle/Open JDK 6 / 7
- 33. Page 33 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Databaseサポート
Ambari Database Oozie Hive Metastore
MySQL 5
Oracle 11g
PostgreSQL 8, 9
Default MySQLPostgreSQL Derby
- 34. Page 34 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
ユーザー認証サポート
LDAP Server/Active Directoryとの統合 (オプション)
デフォルトはAmbari Database
LDAP Server
Active Directory
Ambari
Database
Ambari Server
ユーザー認証
- 35. Page 35 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Futures
今後の計画と展望
- 36. Page 36 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari 2.0.0の主な新機能
コア機能
+自動アップグレード(ダウンタイムゼロ)
+Ambari Alerts 新監視/通知システム
+Ambari Metrics 新メトリックスシステム
+Kerberosの統合自動化 (セキュリティ)
- 37. Page 37 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambari 2.1.0の主な新機能(予定)
コア機能
使いやすさに焦点
+サービスの設定をより簡単・直感的に
+ダッシュボードのフルカスタマイズ
プラットフォーム
+OS・JDK・Databaseサポートの拡張
• RedHat / CentOS / Oracle Linux 7
• Debian 7
• Windows (ベータ)
• JDK 8
• Oracle 12c
- 38. Page 38 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
- 39. Page 39 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Hadoopの「顔」としてのビジョン
今までのHadoopはエキスパート用
これからはHadoopの管理者だけでなく、Hadoopの全てのユーザーがAmbari
のビューを使ってクラスタを使用する
• Hadoopを全てのユーザーにとって身近なものに
• コミュニティーよってのイノベーションが鍵を握っている
- 40. Page 40 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
お試しください
Quick Start Guideでどうぞ
ラップトップで3台クラスタが簡単に立ち上げられます
https://cwiki.apache.org/confluence/display/AMBARI/Quick+Start+Guide
- 41. Page 41 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
Ambariについての情報はこちらで
Resource Location
Apache Ambari プロジェクトサイト http://ambari.apache.org
Ambari Project Wiki https://cwiki.apache.org/confluence/display/AMBARI
Ambari Project JIRA https://issues.apache.org/jira/browse/AMBARI
Ambari ユーザーメーリングリスト user@ambari.apache.org (登録はuser-subscribe@ambari.apache.org)
Ambari 開発者メーリングリスト dev@ambari.apache.org (登録はdev-subscribe@ambari.apache.org)
- 42. Page 42 © Hortonworks Inc. 2011 – 2015. All Rights Reserved
拡張ポイントの詳しくはこちらで
Capability Link
Stacks
スタック
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=38571133
https://github.com/apache/ambari/tree/trunk/ambari-server/src/main/resources/
stacks/HDP/
Blueprints
ブループリント
https://cwiki.apache.org/confluence/display/AMBARI/Blueprints
Views
ビュー
https://cwiki.apache.org/confluence/display/AMBARI/Views
https://github.com/apache/ambari/blob/trunk/ambari-views/docs/index.md
https://github.com/apache/ambari/tree/trunk/ambari-views/examples
https://github.com/apache/ambari/tree/trunk/contrib/views