Contenu connexe Similaire à OpenStack, Hadoop -- OSSクラウドの最新動向 (20) Plus de Masanori Itoh (16) OpenStack, Hadoop -- OSSクラウドの最新動向2. 00 自己紹介
氏名
伊藤 雅典 (いとう まさのり)
所属
株式会社NTTデータ 技術開発本部 ITアーキテクチャ&セキュリティ技術センタ
担当業務
NTTデータの総合クラウドサービス BizXaaS™ (http://bizxaas.net/)の、
Copyright © 2010 NTT DATA CORPORATION 1
「フルOSSクラウド構築ソリューション」 の開発ほかに従事
http://www.nttdata.co.jp/release/2010/040801.html
OpenStackやクラウドストレージ技術などに注力中
その他、活動領域
金沢大学出身(在籍していたのは、兼六園キャンパスから角間へ引っ越しした頃)
Open Cloud Campus、日本OpenStackユーザ会(JOSUG)、JEUG、
VIOPS InterCloud SIG、GICTF等でも活動中
3. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 2
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
5. クラウドのサービス形態
PaaS
種類 解説
SaaS
Software
as a Service
CRM・ERPなどの業務アアアア
プリケーションプリケーションプリケーションプリケーションを提供
中中中中
柔軟性
低低低低
•アプリケーションとして
サービスが完成している
ため、変更には改修が
伴う
ユーザはハードを意識せずに
アプリケーションを利用可能
SaaS基盤(テナント管理・認証等)
AP AP
ユーザはハードを意識せずに
Copyright © 2010 NTT DATA CORPORATION 4
ミドルウェア・フレーム
ワーク等アプリケーション
実行環境実行環境実行環境実行環境を提供
CPU・メモリ・ネットワー
ク・ストレージなどのリリリリ
ソースソースソースソースを提供
PaaS
Platform
as a Service
中中中中
•アプリケーション開発を行
うための基盤であるため、
仕様変更等は比較的反
映し易い
高高高高
•アプリケーションを動作
させるインフラであるた
め、サービスの要求ス
ペックにあわせて自由に
変更が可能
ユーザはハードを意識せずに
アプリケーションを開発可能
開発環境 開発ツール
IaaS
Infrastructure as a
Service
ユーザはハードを意識せずに
リソースを利用可能
仮想サーバ
ミドルウェア
メモリ
CPU
メモリ
CPU
リソース
4
7. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 6
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
9. 本日のセッションでは
以下の2つのトピックについてご紹介します。
1. IaaS レイヤ
03節 OSSクラウド基盤の次世代スタンダード:OpenStack
04節 NTTデータの取り組み:フルOSSクラウド構築ソリューション
http://www.nttdata.co.jp/release/2010/040801.html
2. PaaS レイヤ
05節 OSSによる大規模データ処理基盤:Hadoop
06節 NTTデータの取り組み: Hadoop構築・運用ソリューション
http://www.nttdata.co.jp/release/2010/070101.html
Copyright © 2010 NTT DATA CORPORATION
10. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 9
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
11. OpenStackプロジェクトとは
オープンなクラウドインフラ構築ソフトウェアを開発するプロジェクト
• 米国RackSpace社が主催
• 後援:NASA
• 日本からはNTTデータやミドクラ等が参加
AMD
ANSO
Autonomic Resources
Intalio
Intel
InterNap
Rackspace
RightScale
Riptano
業界第2位のユーザ数をもつ
IaaSクラウドサービス事業者
Copyright © 2010 NTT DATA CORPORATION 10
協賛企業 (アルファベット順、http://openstack.org/community/より)
Autonomic Resources
Cirrascale
Citrix
Cloud Central
Cloud.com
Cloudkick
Cloudscaling
CloudSwitch
Dell
enStratus
FathomDB
InterNap
iomart Group
Limelight
MidoKura
Morphlabs
NASA
Nicira
NTT Data
Opscode
PEER 1
Puppet Labs
Riptano
rPath
Scalr
SoftLayer
Sonian
Spiceworks
Vyatta
Zenoss
Zuora
12. OpenStackプロジェクトの背景とポリシー
Rackspace社とNASAがOpenStackプロジェクトを
立ち上げた理由
• スケーラビリティ(膨大なノード数とデータ量)
• 開発のオープン性
• ユーザベースの拡大
「今日の科学技術計算では、ますます
大量のストレージと強力な処理能力
をオンデマンドで提供することが求め
られている」
-NASA CTOのChris Kemp
http://www.itmedia.co.jp/enterprise/
articles/1007/21/news023.html
“as his (Chris Kemp’s) engineers
Copyright © 2010 NTT DATA CORPORATION 11
OpenStackにおける“Open”
• コミュニティや開発プロセスをすべて公開する
• OSI承認オープンソースライセンスである
Apache License 2.0を採用
• Open Core 戦略は採らず、
エンタープライズ版を作らない
(http://wiki.openstack.org/Openより)
“as his (Chris Kemp’s) engineers
attempted to contribute additional
Eucalyptus code to improve its
ability to scale, they were unable
to do so because some of the
platform's code is open and some
isn't.”
http://www.theregister.co.uk/2010/07
/20/why_nasa_is_dropping_eucalyptus_fr
om_its_nebula_cloud/
14. OpenStackの構成
OpenStackプロジェクトは、主に二つのコンポーネントから構成される
• OpenStack Compute
• 開発コードネーム: Nova
• Amazon EC2に相当(計算機資源の提供と管理を行う)
• Amazon EC2モデルに加えて、RackSpaceモデルのサポートや、運
Copyright © 2010 NTT DATA CORPORATION 13
• Amazon EC2モデルに加えて、RackSpaceモデルのサポートや、運
用系の機能追加等を目指し、活発な開発活動が続いている
• OpenStack Object Storage
• 開発コードネーム: Swift
• Amazon S3に相当(分散オブジェクトストレージ≒PUTとGETのみ)
• Novaに比べると新規機能追加の提案は少なく、相対的に枯れてい
ると言える
15. OpenStackの構成
その他の主要コンポーネント
• Glance
• VMのイメージのキャッシングを行うための proxy コンポーネント
• Swiftだけでなく、Amazon S3等も扱えるになっている
• Bexar Network Service
• 現状(Austin)、NW管理機構はNovaの一部として存在するが、
Copyright © 2010 NTT DATA CORPORATION 14
• 現状(Austin)、NW管理機構はNovaの一部として存在するが、
Bexar以降に向けて、仮想化Networkを管理する独立コンポーネン
トを起こすことが検討されている
• 実装
• 実装言語はPython
• ライブラリの標準化が進んでいることが採用理由
• バージョン2.6以上必須
16. OpenStackプロジェクト関連の情報源
• OpenStack公式サイト
• http://openstack.org/
• OpenStack Blog http://openstack.org/blog/
• OpenStack Wiki
• http://wiki.openstack.org/
• ドキュメント
• リリースミーティングのIRCログ
Copyright © 2010 NTT DATA CORPORATION 15
• リリースミーティングのIRCログ
• Launchpad
• https://launchpad.net/~openstack
• リポジトリ、メーリングリスト(OpenStack/Nova/Swift)、
blueprint (簡素な機能仕様書)
• Twitter
• @openstack http://twitter.com/openstack
• 他にも @opnstk_com_mgr (コミュニティマネージャ) や
@openstackjapan (OpenStack Japan)など
17. Novaのアーキテクチャ
Volume Node
• Amazon EC2 API
• OpenStack API
メッセージメッセージ
API Server
永続データ構成を提供
Amazon EBSに相当
Network Node
Scheduler Node
仮想マシン/インスタンス
要求に対する処理
AMQP
(実装はRabbitMQ)
Advanced
Message
Queuing
Protocol
Copyright © 2010 NTT DATA CORPORATION 16
nova-manageコマンド
キューキュー
API Server Network Node
Compute Node
仮想マシンインスタンスを配置
種々のハイパーバイザをサポート
Object Storage
Server
プロジェクトへのVLAN割り当て
パブリックIPアドレスの払い出し
独立した複数のコンポーネントから構成されている
メッセージキューを介してコンポーネント同士が連携
仮想マシンイメージの管理
19. OpenStackのこれから
• コミュニティとしてのスケジュール感
• Austin Release (1st) 2010/10/21
• First Public Release
• Bexar Design Summit 2010/11/09-11/12
• Bexar Release (2nd) 2011/02/03
• Production Ready
Copyright © 2010 NTT DATA CORPORATION 18
• Production Ready
• Cactus Release (3rd)2011/05/? #GW中だと思われます
• Service Provide Scale Ready
• 主要なDriving Force
• NASAの Nebula Cloudからの要件
• RackSpace社のホスティング環境からの要件
• 日本からの contribute
• Live Migration、ネットワークサービス拡張、IPv6、国際化、 etc.
20. 日本のコミュニティの状況
日本OpenStackユーザ会
• 10月22日に設立プレスリリース
• 公式サイト http://openstack.jp/
• ML http://groups.google.com/group/openstack-ja/
• 11/19に都内で
日本OpenStackユーザ会
Copyright © 2010 NTT DATA CORPORATION 19
日本OpenStackユーザ会 公式サイト
カンファレンス2010を開催
• OpenStack コミュニティから
Jim Curry氏と
Jonathan Bryce氏を
招き講演
21. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 20
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
34. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 33
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
41. 利用事例: facebook
4TBのデータが
毎日新規に生成される
135TBのデータを
毎日処理している
Hive & Hadoop Usage @ Facebook
Statistics per day:
– 4 TB of compressed new data added per day
– 135TB of compressed data scanned per day
– 7500+ Hive jobs on per day
– 80K compute hours per day
Hive simplifies Hadoop:
40
Hadoopで処理したデータを
Oracle RACやMySQLに格納して
利用しているものもある
(出典: Hadoop World:NYC)
– New engineers go though a Hive training session
– ~200 people/month run jobs on Hadoop/Hive
– Analysts (non-engineers) use Hadoop through Hive
– 95% of jobs are Hive Jobs
43. 利用事例: China Mobile
対象: CDR (Calling Data Recode) データ
ユーザー5億人のデータ
CMCC: 5~8TB/日
商用のDB製品、DWH製品を利用していたがHadoopに移行
スケーラビリティを確保
• 商用製品のスケーラビリティに限界を感じていた
42
汎用ハードウェアとHadoopによりローコストを実現
• 商用製品のライセンス費用が肥大化していた
柔軟性を確保
• 様々なアプリケーションを適宜追加できる
(出典: Hadoop World:NYC)
47. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
Copyright © 2010 NTT DATA CORPORATION 46
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
53. R&D:自動構築・環境一元管理
・スケーラブルな運用手法の実現: (1)大量機器への対応、(2)機器種別混在への対応、(3)機器故障の効率的な
復旧・再構築
■得られた成果
■課題
・効率的な環境構築手法を開発: 100台規模の環境構築を90分、 環境変更は3分
・実装した手法は、大量のサーバを設定する初期構築や構成変更・維持管理、故障サーバの回復処理、サーバ群の
増設などに際して一元的・共通して利用可能
開発した環境構築手法の特徴
完全自動化
・ 「電源を押すだけ」で構築完了(90分で100台)
・ Kickstart+Puppet
また壊れた
このCPUでの
設定に時間
がかかる
52
スレーブサーバ
種別・スペック等
が混在
頻繁な故障と
再構築
大量にサーバが
存在
運用担当者
クラウド基盤の環境
構築手法の開発・整
備
構成管理サーバ
自動構築
設定の配布
一括操作
クラウドでは、スレーブサーバは交代可能な部品。
本手法により、構築も増設も、故障回復も同一手順で、実施
可能、スレーブサーバを部品として容易扱える。
混在性の隠蔽
・ 「機器ごとの最適設定」を自動生成、配布
・ Puppetを軸にHadoopモジュール、factorを開発
動的な環境構成
・ IP管理・名前管理不要⇒設置後すぐに増設可
・ 構築直後から、即クラスタメンバに組み込まれる
・ Kickstart+PuppetこのCPUでの
最適設定は…
54. R&D: Hadoop基盤における信頼性
・信頼性向上のため、Hadoop基盤における単一故障点を排除したい
■得られた成果
■課題
ジョブジョブジョブジョブ停止停止停止停止マスタサーバ
スレーブサーバ
ラック内
L2スイッチ
コアL3スイッチ ジョブジョブジョブジョブ停止停止停止停止
縮退
縮退
SPOF
Domain0 Domain0
完全完全完全完全
仮想化仮想化仮想化仮想化
ゲストゲストゲストゲスト
Kemariプロセスプロセスプロセスプロセス
xc_kemari_save
Kemariプロセスプロセスプロセスプロセス
xc_kemari_restore
Heartbeat
DRBD
Heartbeat
DRBD
ノードノードノードノード監視監視監視監視
ディスクディスクディスクディスク同期同期同期同期
VM状態同期状態同期状態同期状態同期
Kemariによるによるによるによる
同期同期同期同期
仮想的仮想的仮想的仮想的なななな
FTマシンマシンマシンマシン
仮想的仮想的仮想的仮想的なななな
FTマシンマシンマシンマシン
完全完全完全完全
仮想化仮想化仮想化仮想化
ゲストゲストゲストゲスト
Hadoop基盤の信頼性調査を実施 ソフトウェアFT (Kemari)適用
運用系サーバは対象外
53
•スレーブサーバやネットワークトポロジの故障に対して、HDFSのレプリ
ケーションやMapReduceのジョブ再割り当てで信頼性を確保している
ことが確認できた
•Reduceタスク中に故障が発生すると、Shuffleのタイムアウトが発生し
ジョブが遅延する
SPOF
Xen HypervisorXen Hypervisor
Kemari
ゲストゲストゲストゲスト領域領域領域領域 ゲストゲストゲストゲスト領域領域領域領域DRBDによるによるによるによる
同期同期同期同期
物理物理物理物理ノードノードノードノード1111 (ACT) 物理物理物理物理ノードノードノードノード2 (SBY)
•ソフトウェアFT技術をKemari/Heartbeat/DRBDという、IAサーバ
とOSSの組み合わせを追求して実現
•マスタサーバ故障時に無停止で処理が継続できることを確認で
きた
Kemariの性能への影響
スレーブサーバ台数
3台
25台
93台
Kemariなし Kemariあり
180秒 256秒
249秒 485秒
258秒 553秒
59. INDEX
01 イントロ:クラウドとは
02 NTTデータのクラウドに対する取り組み
03 OSSクラウド基盤の次世代スタンダード:OpenStack
04 NTTデータの取り組み:フルOSSクラウド構築ソリューション
05 OSSによる大規模データ処理基盤:Hadoop
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
Copyright © 2010 NTT DATA CORPORATION 58
06 NTTデータの取り組み: Hadoop構築・運用ソリューション
07 まとめ
65. References : IaaS基盤
オープンソース
OpenStack http://www.openstack.org/
Eucalyptus http://www.eucalyptus.com/
OpenNebula http://www.opennebula.org/
Nimbus http://www.nimbusproject.org/
Wakame-vdc http://wakame.axsh.jp/vdc.html
Karesansui http://karesansui.sourceforge.jp/
Copyright © 2010 NTT DATA CORPORATION 64
Karesansui http://karesansui.sourceforge.jp/
CloudStack http://cloud.com/community
Hail https://hail.wiki.kernel.org/index.php/Main_Page
商用
Morph http://www.mor.ph/ja/
Enomaly http://www.enomaly.com/
Nimbula http://www.nimbula.com/
66. References : IaaS基盤
その他
NASA Nebulaクラウド http://nebula.nasa.gov/
NII edubaseクラウド http://grace-center.jp/prj_educloud.html
国立情報学研究所(NII)プレスリリースより
NASA Nebula とNII edubaseクラウドが連携
http://www.nii.ac.jp/index.php?action=pages_view_main&page_id=1106
WIDEクラウド http://www.wide.ad.jp/project/wg/wide-cloud-j.html
Copyright © 2010 NTT DATA CORPORATION 65
WIDEクラウド http://www.wide.ad.jp/project/wg/wide-cloud-j.html
国プロ系の取り組み
総務省 H21年度情報通信に関わる研究開発
「セキュアクラウドネットワーキングの研究開発」
http://www.idg.co.jp/expo/cns/ (クラウドネットワーキングシンポジウム)
67. References : 関連コンポーネント
ストレージ系
SheepDog http://www.osrg.net/sheepdog/
Ceph/RADOS http://ceph.newdream.net/
Vastsky http://sourceforge.net/projects/vastsky/
HC2 Project http://www.tierracloud.com/technology/HC2.html
etc.
NW系
Copyright © 2010 NTT DATA CORPORATION 66
NW系
Vyatta http://www.vyatta.com/
http://www.vyatta-users.jp/
Open vSwitch http://openvswitch.org/
Nox http://noxrepo.org/wp/
CloudSwitch http://www.cloudswitch.com/
etc.
68. References : PaaS基盤
PaaS系
Hadoop http://hadoop.apache.org/
Heroku http://heroku.com/
Ruby on RailsベースのPaaS (「Heroku最強伝説」 by @nabehiro_ さん)
FluxFlex http://www.fluxflex.com/
第4回JAWS-UG勉強会LT
AppScale http://appscale.cs.ucsb.edu/
Copyright © 2010 NTT DATA CORPORATION 67
AppScale http://appscale.cs.ucsb.edu/
OSSなGAEクローン
etc.
69. References : そのほか
ユーザ会
Open Cloud Campus まだHPがありません…
OpenStack http://openstack.org/
Eucalyptus http://eucalyptus-users.jp/
Copyright © 2010 NTT DATA CORPORATION 68
JAWSUG http://jaws-ug.jp/
JAZUG http://jazug.jp/