Osc2013 spring OpenStackで実現する分散ストレージ「Swift」とプライベートクラウド

OpenStackで実現する
分散ストレージ「Swift」と
プライベートクラウド
2013/02/22
日本ヒューレット・パッカード株式会社
テクノロジーコンサルティング統括本部
ソリューション開発本部コアテクノロジー部
石田精一郎
© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Agenda
• OpenStack概要

• Swift概要

• OpenStack/Swiftデモ

• Q&A

2 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

OpenStack概要


OpenStackが注目される背景
仮想化からクラウドへのIT基盤の進化
仮想化によるIT基盤統合 IT基盤のクラウドサービス化

VM
VM
VM

VM VM

サイロ型IT基盤 IT基盤統合から標準化へ IT基盤のクラウドサービス化

• ITサービスを迅速に提供
• リソース稼働率の向上
• システム提供をサービスメニュー化
得られる効果 • 運用作業の標準化
• セルフポータルの提供による管理業
• システムコストの最適化
務の自動化

4 クラウドIT基盤を構築できるソフトウェアのニーズが拡大

クラウドIT基盤とは
• おおよそ「サービス化」＋「標準化」＋「自動化」
− 実装手段として「仮想化」技術を利用することが多いが「仮想化」は必須ではない

サービス化 IT基盤の利用者のメリット
• 利用者はIT基盤の内部構造を意識しない
• 使いたいときに使いたい分を利用する • オンデマンドで指定したスペック
• 使い終わった後に資産、在庫として残らないの仮想サーバやストレージをす
ぐに利用できる
標準化
• 次のような条件を共通メニューとして揃える
 マシンリソース要件(OSイメージ、CPU、
メモリ、ストレージ、ネットワーク等)
 利用条件(SLA、セキュリティ等) IT基盤の管理者のメリット
 申請方法、運用管理等のプロセス • 利用者ごとの個別対応が不要
• 運用の効率化と管理の向上
自動化 • ヘルプデスクの負荷軽減
• 利用申請やリソース払い出しなどの管理タ • 統合によるコスト削減効果
スクをポータルやAPIで自動化


オーダー・メイドからレディ・メイドへ
クラウドを利用するのは、「ユニクロ」で服を買うようなもの
HWから調達クラウドサービス利用

梅： CPU2コア、4GBメモリ…
このHWに合う竹： CPU4コア、8GBメモリ…
ドライバは？松： CPU8コア、16GBメモリ…
インストールす
るサービスは？サービスメニュー

CPUはどれ VM VM
にしよう？
OSは？

DBパラメータ
はどうする？

HWのパーツからすべてをカスタマイズ可能。事前に定められたメニューから構成を選択。
自分のシステムにぴったり合うものを作れる。迅速にサーバを用意できるが、HWのカスタマイ
ただし、コンポーネントごとの個別検討が必要。ズの幅はあらかじめ決まっている。
サービスの裏には高度な自動化の仕組み。

OpenStackとは
OpenStackは誰でも使える、誰でも開発に参加できるクラウド基盤ソフトウェア

OpenStackとは運営体制
• クラウド基盤ソフトウェアを開発する • 非営利団体であるOpenStack
OSSプロジェクト Foundationが運営
• 仕様は全てコミュニティの議論 • HP、Redhat、SUSE、Canonical、AT&T、
で決定される Cisco、IBM、DELL、RackSpace、NEC、
• ITインフラのライフサイクルを管理 Intel、VMware、EMC、Yahoo!などが
• サーバ、ストレージ、ネットワー参加
クリソースの生成、割当、返却、 • Linux Foundationモデルに類似
再利用
• APIによるハードウェアのソフト
ウェア化
• ユーザ、グループの分離 (マル
チテナント化)
• クラウド基盤の標準を目指す


OpenStack開発の経緯

NASA 2009年
独自のクラウドプ
ラットフォームを
開発・運営
Nebula
(IaaS基盤)
2010/7 OpenStack
RackSpace 2008年
独自のクラウドファイル
Cloud Files ホスティングサービスを
開発・運営
(ファイルホスティング)
ロードマップ

Austin Bexar Cactus Diablo Essex Folsom Grizzly

2010/10 2011/2 2011/4 2011/10 2012/4 2012/9 2013/4

商用で活用されているOpenStack
HPが提供しているパブリッククラウドのHP Cloud Services （www.hpcloud.com）にて利用
数千台の物理マシンとPbyteクラスストレージシステムが複数DCにて稼働

Swift Nova

Cinder

Keystone


OpenStackのアーキテクチャ
• キューを介して各コンポーネントが協調動作する volume
volume
• 各コンポーネントがVMにリソース割り当て volume

auth network ボリューム割当
network
認証
network
IPアドレス払い出し
APIリクエスト
Controller compute
・要求受付 compute
OR ・起動処理 compute

GUIリクエスト VM VM

PortaI

VM起動イメージファイル

file storage
ファイルファイル
格納・取得格納・取得
（※利用は任意）（※利用は任意）

OpenStackのアーキテクチャ
ブロックストレージ管理
• 独立性の高いモジュール型アーキテクチャ
volume
Cinder
volume
volume
認証基盤
仮想ネットワーク管理
KeyStone
auth ボリューム割当
network
network
Quantum
認証
network

APIリクエストネットワーク割当
controller compute
OR
Nova compute
compute
仮想マシンイメージ管理
GUIリクエスト
image VM VM
Glance
仮想マシンコントロール基盤
PortaI
Horizon
VM起動イメージ取得
ダッシュボード
ファイルストア
file storage

11
格納・取得
（※利用は任意）
Swift
格納・取得

Amazon Web Servicesとの対比
• AWSのサービスとのマッピング
volume
Cinder
volume
volume
EBS
KeyStone
auth ボリューム割当
network
network
Quantum
認証
network
VPC
APIリクエストネットワーク割当
controller compute
OR
Nova compute
compute

GUIリクエスト
image VM VM
Glance

PortaI
Horizon
AMI VM起動イメージ取得 EC2
AWSコンソール S3
file storage

12
格納・取得
Swift
格納・取得

OpenStack コンポーネントの内部動作
OpenStackは、いろいろな素材を組み合わせてクラウド基盤を作っている

Nova ■ハイパーバイザーにKVMを使う場合の動作
• APIを通じて、OpenStackの各コンポーネント
を連携させる。 Nova libvirtd
• KVM等のハイパーバイザーをコントロールし、
仮想マシンを作成。 libvirtを使ってKVMを操作 KVM
• KVMのコントロールには「libvirt」を使用。

Cinder ■ディスク切り出しにLVMを使った構成での動作
• iSCSIストレージにアクセスして、ボリュームを作成。
• 作成したボリュームをNovaが作成した仮想マシン LVM
に提供。 Cinder
• LVMとiSCSI Target（tgt）を使ってiSCSIストレージを構
築し、Cinderから利用することができる。 iSCSI Target
LVMで切り出したディ
スクをiSCSIディスクと
して仮想マシンに提供 lvcreate にて論理
ボリュームを作成

© Copyright 2012 Hewlett-Packard Development Company, LP
13
13HP Confidential. The information contained herein is subject toCompany, L.P. notice.
© Copyright 2013 Hewlett-Packard Development change without The information contained herein is subject to change without notice.

Swift概要


Swiftとは
• HTTPでアクセスする低コスト・高可用性の分散ファイルストレージ
• Amazon S3のような、ネットワーク上のファイル置き場
• 仮想マシンイメージや写真、動画、バックアップファイル等の静的なファイルをオブ
ジェクトとして管理・保存
HTTP ネットワーク

• Swiftの主な機能 HTTP

• REST API
− HTTP経由でファイル操作（アップロード、ダウンロード、削除、リストなど）を行います。
• NFSやCIFSでのアクセスなど、NASのような使い方はできません。

• 可用性
− 自動的にファイルの複製を3台のストレージ用ノード上に作成します。

• スケールアウト
− ストレージ用ノードの追加により、ストレージ容量を増やしていくことができます。


ファイル（オブジェクト）の論理配置の特徴
• ファイル（オブジェクト）はユーザが作成する「コンテナ」の
中に保存される。
• コンテナは階層構造にすることはできない。

• 保存するファイル（オブジェクト）の指定は以下のパスで指 root
定する。
• /ユーザ/コンテナ名/オブジェクト名ユーザ

コンテナ1 コンテナ2

これ以上の階層構造
をつくれない

※ このようなフラットな論理構造になっているのは、REST API
でアクセスする際のURLを簡単にするための工夫

クラウドデータストア比較
• データストアの３つの方式の比較

クライアントアクセス保存・アク特徴製品
プロトコルセス単位
分散オブジェクトストレージ HTTP HTTP/REST ファイル低コストで可用性が高 Swift(OpenStack)
クライアントいが、ファイル内の一 Amazon S3
部のデータ更新など
ランダムアクセス処理
はできない

分散ファイルストレージ OS NFS/CIFS ファイル NASとして利用可能。 GlusterFS
ファイルシステム経由
でPosix準拠のシステ
ムコール(open(),
read(),write()等)が実
行可能
ブロックストレージ OS iSCSI ブロッククライアントとなるOS Cinder(OpenStack)
からローカルディスク
をマウントするのと同
じような操作が可能
ファイルシステムの種
類はクライアント側で
指定できる

Swiftの構成と特徴
• プロキシノード
• クライアント要求を後段のストレージノードに振り分ける

• ストレージノード
• アカウント情報の管理、オブジェクト情報の管理、オブジェクト実体の管理を行う

プロキシノードストレージノード

HTTP/REST
HTTP/REST ストレージノード
プロキシノード

クライアントアプリ LBでアクセスストレージノード
・・・

分散可能
ストレージノード

・・・
特徴① 拡張性特徴② 可用性
ノード追加により動的なプロキシノード格納オブジェクトは複数ノー
容量拡張が可能ド間（デフォルト３）でレプリ
ケーションストレージ
18 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. ノード

Swiftのオブジェクト配置方式
• オブジェクトのリソース名のハッシュ値から配置先のストレージノードのディスクを一意
に決定

• 「Ring」と呼ばれるファイルが配置先の対応表の情報を保持

リソース名（ユーザ/コンテナ名/オブジェクト名） /ユーザ/container05/object08

MD5ハッシュ値 1F054025255FB1….
ハッシュ値の上位Nビットを参照して配置先を決定
Ring情報（この例ではN=16）

#1 #2 #3 #4 #7941 #(2^16)

レプリカ#1 disk1 disk4 disk7 disk5 ・・・ disk6 ・・・ diskX
レプリカ#2 disk5 disk1 disk6 disk4 ・・・ disk2 ・・・ diskY

レプリカ#3 disk9 disk8 disk1 disk8 ・・・ disk3 ・・・ diskZ

disk1 disk2 disk3 disk4 disk5 disk6 ・・・・ diskY diskZ

ストレージノード#1 ストレージノード#2 ストレージノード#3 ストレージノード#X

Swiftのデータ管理
SPOFをなくし、性能と容量のスケールアウトを実現
• 全てのプロキシノード、ストレージノードに同じ「Ring」データを配置
• プロキシノードの追加でスループットの向上が可能
• ストレージノードの追加でストレージ容量の向上が可能
• ストレージノード追加時には全ノードが保持している「Ring」に新しいノードの情報を追加する必要あり。

「Ring」を見て
複製先を決定

プロキシノードストレージノード Ring
Ring HTTP/REST
HTTP/REST ストレージノード Ring
プロキシノード
Ring
クライアントアプリ
どのプロキシノードにアストレージノード Ring
・・・

クセスしても同じデータ
「Ring」を見て配置
にアクセス可能ストレージノード
先・取得先を決定

・・・
Ring

プロキシノードの追加の
際には「Ring」更新不要ストレージノード追加時
プロキシノードには「Ring」に新しい
ノードの情報を追加
ストレージ
20 © Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. ノード

Swiftのユースケース例
SWIFTのREST APIに対応したクライアントアプリケーションから利用する

• プライベートDropbox
• 動画や写真など、個人用のファイル置き場としての利用
• 社内の電子書類、ログファイル、イメージファイル等のファイル置き場としての利用
• クライアント：
− REST APIを利用したSwiftとの同期機能を持つクライアント REST API
Swift
Proxy
− WebブラウザからSwiftと接続するWebアプリケーション Storage
にアクセス Swift対応ネットワーク
アプリ Swift

REST API
• OpenStackでのイメージファイル管理
• OpenStackにデプロイする仮想マシン用OSインストールイメージ置き場としての利用
• 利用休止中の仮想マシンのディスクイメージ置き場としての利用

• Swiftに向かない例：
• 頻繁に更新されるファイル（DBのデータファイルなど）の格納
• NAS のようなNFSやCIFSを使ったアクセスが求められるシステム


OpenStack/Swiftデモ


デモ環境(ネットワーク構成)

Nova
#01 Glance
Keystone
Cinder
Procurve2810-48G Gigabit Ethernet Switch Horizon

#02
Swift Proxy

#03
■共通HW/OS情報
HW: ProLiant DL160G6 #04
OS: Ubuntu12.04 LTS(x86_64) Swift Object Server
CPU：Xeon 2.4GHz 2P12C
メモリ：96GB #05
ディスク容量：2TB

■OpenStackバージョン
Folsom(Canonical Folsomリポジト
23 リ版)

デモ環境(コンポーネント構成)
OpenStack
Cinder

Horizon

Keystone

Glance Swift
NOVA Swift Proxy Swift Swift Swift
api/scheduler/console/cert/compute/network
(account/ (account (account/
container/ /container container/
Rabbit memcache object) /object) object)
MySQL KVM QEMU LVM
MQ d

Ubuntu Ubuntu Ubuntu Ubuntu
Ubuntu 12.04LTS
12.04LTS 12.04LTS 12.04LTS 12.04LTS

HW #01 HW #02 HW #03 HW #04 HW #05


OpenStackデモ解説
仮想マシン作成時のコンポーネントとバックエンドの動作
volume
volume
ログイン、各種認証 volume

データディスク作成・管
理(LVM,iSCSI target)
仮想マシン（インスタンス） network
作成・管理
認証
network ネットワーキング、セキュ
リティグループ設定
IPアドレス払い出し (iptables)
APIリクエスト
Controller compute


PortaI
GUIダッシュボード
仮想マシン基盤
file storage (libvert,KVM)
仮想マシンイメージ管理
格納・取得
(VMイメージファイル) 格納・取得
（※利用は任意）本デモでは未使用（※利用は任意）

Swiftデモ解説
ファイルアクセス時のコンポーネントとバックエンドの動作
volume
volume
ログイン、各種認証 volume

認証
network
認証
network
本デモでは未使用
IPアドレス払い出し
APIリクエスト
Controller compute


PortaI 本デモでは未使用
GUIダッシュボード
ファイルの格納・取得
file storage
格納・取得格納・取得
（※利用は任意）（※利用は任意）

Swiftデモ解説
ファイルのアップロード時の動作

ファイルのレプリカを
作成し、各Storage
ノードに配布


プロキシノード#1 #1
HTTP/REST
HTTP/REST
クライアント #2

#3


Swiftデモ解説
ファイルのダウンロード時の動作

レプリカを持つStorage
ノード群の1台からファ
イルをダウンロード

プロキシノード#1 #1
HTTP/REST
HTTP/REST
クライアント #2

#3


Q&A
注：会場でいただいた質問への回答をセミナー資料に追記して掲載しています。

Q. Swiftにファイルを入れるときに、例えば、/usr/local/foo/bar.txtのようなフォルダを作って、そこにファイルを入れ
ることはできるのか？
A. Swiftの「コンテナ」自体は1階層ですが、通常のフォルダ構造のような階層構造を作るために「疑似フォルダ」と
いう機能があります。この機能を使った場合では「/usr/local/foo/bar.txt」という名前を持った「オブジェクト」を登
録し、「オブジェクト」名の中の「/」をフォルダ区切りと見なして扱うようにすることで、フォルダ構造があるかのよ
うなファイル操作を行うことができます。

Q. Swiftのファイル属性にはどのようなものがあるのか、バージョニング等の情報を入れることができるのか。
A. Swiftのファイル属性としては、アカウント情報、コンテナ情報、オブジェクト情報のほかACL、タイムスタンプ等が
あり、任意のものを追加可能です。最新のSwiftではオブジェクトのバージョニングも可能になっています。

Q. Swiftに接続できるようなクライアントにはどのようなものがあるのか。
A. 「Cloudberry」というクライアントがあり、これを使うとSwiftに接続しファイル転送をすることが出来ます。有償版も
あるが、無償版もあります。（URL: http://www.cloudberrylab.com/free-openstack-storage-explorer.aspx）

Q. Ringによってデータ配置が決まると言うことは、ノード追加後にRingの内容を更新して各ノードに配布した場合、
それに基づいて元からあったファイルも移動するのか。
A. その通り。更新されたRingが配布されると、元からあったデータもそれに応じて再配置されます。ただし、徐々に
配置変更を行い、性能面の影響が出ないようになっています。


補足資料


OpenStack 構成要素と特長
• Nova
• 役割
• 仮想マシンコントロール基盤

• 動作概要
• APIを通じて、OpenStackの各コ
ンポーネントを連携させる。
• KVM等のハイパーバイザーをコ
ントロールし、仮想マシンを作成。
• Glance、Cinder、Quantum等から
取得したリソース（OSイメージ、 ■ハイパーバイザーにVMを使う場合の動作

ブロックデバイス、ネットワーク）
Nova libvirtd
を仮想マシンにアタッチ。
libvirtを使ってKVMを操作 KVM

31

• Swift
• 役割
• 高可用性ファイルストア

• 動作概要
• HTTP経由でアクセスする分散
ファイルストレージを提供。

32


• Glance
• 役割
• 仮想マシンイメージ管理

• 動作概要
• Novaが作成した仮想マシンに
ブートイメージを提供する。
• データ保存場所としてローカル
ファイルシステムに加え、Swiftを
利用可能。

33

• Keystone
• 役割
• 統合認証基盤

• 動作概要
• OpenStackの各コンポーネント
に共通の認証基盤を提供。
• 各コンポーネントはKeystoneが
発行したTokenを元にユーザ認
証を行う。

34


• Cinder
• 役割
• ブロックストレージ管理

• 動作概要
• iSCSIストレージにアクセスして、
ボリュームを作成。
• 作成したボリュームをNovaが作
■ディスク切り出しにLVMを使った構成での動作
成した仮想マシンに提供する。
LVM
Cinder

iSCSI Target
LVMで切り出したディ
スクをiSCSIディスクと
して仮想マシンに提供 lvcreate にて論理
ボリュームを作成

35

• Quantum
• 役割
• 仮想マシンネットワーク管理

• 動作概要
• iptables, Network Namespace
等を用いて仮想ネットワークを
構築し、それを仮想マシンに割
り当てる。

36

• Horizon
• 役割
• OpenStackの標準ダッシュボード
• ブラウザからのOpenStack操作

• 動作概要
• 各コンポーネントの管理GUI提供
• 仮想マシン
• ブロックストレージ
• オブジェクトストレージ
• ネットワーク
• ユーザ認証など。
• リソース使用状況の把握。

37

OpenStackを”OS”としたデータセンター
HPのCloud OS構想を例に

従来型OS例 : Windows / Linux OpenStack based Data Center OS

…

Advanced
Composite Workload Metering
Windows Applications Chargeback
Provisioning Management Collection
User

Windows Subsystems HP Cloud OS Base Services API

…

Base
Hybrid Organization Operations
System Interface Cloud Support Management Dashboard

HP Cloud OS Services API
System Services
Keystone
I/O File Virtual Process/ Security Win32
Cache Memory Threads and Quantum Nova Glance Swift
(Controller) (Scheduler)
Graphics

Kernel
Kernel

File Object Device CI
Systems OS Kernel Subsystems
Management Interface Quantum/
Nova Network
HP Cloud OS Kernel Subsystems
Cinder/
Nova Volume
Nova
Compute API
(GDI)
Open Stack Resource Abstraction Layer
Device Drivers Microkernel
OpenStack Plug-ins (Drivers)
Hardware Abstraction Layer (HAL)

Hardware Infrastructure HP CI
Compute Storage Network Storage
(Differentiated
Resources (Resource Pools)
Resources Resources Resource Cloud Recourses)


Thank you


Osc2013 spring OpenStackで実現する分散ストレージ「Swift」とプライベートクラウド

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Osc2013 spring OpenStackで実現する分散ストレージ「Swift」とプライベートクラウド

Similaire à Osc2013 spring OpenStackで実現する分散ストレージ「Swift」とプライベートクラウド (20)

Plus de Seiichiro Ishida

Plus de Seiichiro Ishida (17)

Osc2013 spring OpenStackで実現する分散ストレージ「Swift」とプライベートクラウド