SlideShare une entreprise Scribd logo
1  sur  39
Télécharger pour lire hors ligne
Ceph をベンチマークしてみました
2014/6/5
Open Programmable Infrastructure Environment	
14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 1
仮想ストレージとは
l  仮想ストレージの階層
l  Disk Virtualization (ディスクの仮想化) :論理ブロック(LBA)
l  Block Virtualization (ブロックの仮想化) :LVM/RAID
l  File Virtualization (ファイルの仮想化) :VFS
l  File System Virtualization (ファイルシステムの仮想化)
(SNIA(Storage Network Industry Association)が作成したストレージ仮想化技術の分類)
l  ファイルシステムの仮想化:
l  クラスタ/グリッドファイルシステム/仮想ストレージ/Software Defined Storage, etc.
l  ユーザからはサーバや記憶装置の多様性と分散が隠蔽され、単なるボリュームや
ファイルとして扱える透過性を持つ。
l  商⽤用製品例
l  EMC ViPR
l  VMware VSAN
l  Datacore SANSymphony-V
l  NexentaStor
l  Cleversafe/Amplidata
l  分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化
を⽬目指したもの、並列化による性能強化を⽬目指したもの、両⽅方を同時に実現しよ
うと設計されたものがある。
214/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
クラウドストレージとは
l  クラウド上のストレージサービス
l  ユーザは物理的にどのデータセンタ/サーバ/ストレージ/ディスクに⾃自分
のデータが格納されているのか、全く意識しなくて良い
l  バックアップもオプション指定するだけで、⾃自動的に地理的分散を保証して
くれる
3
オブジェクトストレージ
(REST)のS3と、ブロック
デバイスのEBSを提供
オブジェクトストレージ(REST,
JSON/XML etc.)のCloud Storage
と、ブロックデバイスの
Persistent Diskを提供
オブジェクトストレージ
(REST, NTFS)のBLob
Storage(Azure Drive)と、ブ
ロックデバイスのLocal
Storageを提供
異なるサービス間、またはオンプレミス環境の
ストレージと互換性/可搬性がない
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
クラウド透過なクラウドストレージが理想
4
オンプレミス
(物理・仮想マシン) プライベートクラウド
パブリッククラウドサービス
(仮想マシン)
VMware, OpenStack, etc.
POSIX
(FUSE)
⾃自動
レプリケーション
ブロック
デバイス	
オブジェクト
ストレージ	
共有ファイル
VMイメージ
REST API
(S3, SWIFT互換)
ハイブリッド・クラウド
仮想マシン群
オンプレミス
(物理・仮想マシン) プライベートクラウド
パブリッククラウドサービス
(仮想マシン)
⾃自動
レプリケーション
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
分散ファイルシステムの種類
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 5
分類	
 概要	
 例	
分散ファイルシステム	
 複数のホストがコンピュータネットワークを経由して
共有しつつファイルにアクセスすることを可能にする。
複数のサーバ上に配置されたファイルを、論理的に
構造化された 1つ以上の名前空間で透過的にアク
セスできる。	
Amazon S3
Andrew File System
(AFS) etc.	
分散フォールト	
トレラント
ファイルシステム	
データを複製する事により、分散ファイルシステムを
構成する要素に障害が発生しても、データ喪失する
事なくアクセスが継続できる。	
Microsoft DFS
Moose FS, etc.	
分散並列	
ファイルシステム	
データを細かく分割し、分散ファイルシステム上の各
ホストに分散配置する事により、性能をスケールア
ウトできる。	
FraunhoferFS
(FhGFS)
PVFS/OrangeFS
etc.	
分散並列フォールト	
トレラント
ファイルシステム	
上記全ての機能を備えたファイルシステム	
 Ceph
GlusterFS
XtreemFS etc.
調べてみました
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 6
製品名 開発主体 ライセンス
Amage クリエーションライン株式会社 プロプライエタリ
Ceph Inktank LGPL2
Chiron FS luisfurquim@gmail.com GPL3
Cloudian クラウディアン株式会社 プロプライエタリ
CloudStore/Kosmosfs/Quantcastfs Quantcast Apache License 2.0
Cosmos Microsoft internal 非公開
dCache DESY and others プロプライエタリ
FraunhoferFS (FhGFS) Competence Center for High Performance Computing FhGFS license
FS-Manager CDNetworks プロプライエタリ
General Parallel File System(GPFS) IBM プロプライエタリ
Gfarm file system 筑波大学/産業技術総合研究所 BSD
GlusterFS Gluster, a company acquired by Red Hat GPL3
Google File System(GFS) Google 非公開
Hadoop Distributed File System ASF, Cloudera, Pivot, Hortonworks, WANdisco, Intel Apache License 2.0
IBRIX Fusion IBRIX プロプライエタリ
LeoFS 楽天技術研究所 Apache License 2.0
Lustre
originally developed byCluster File System and currently supported
by Intel(formerly Whamcloud)
GPL
MogileFS Danga Interactive GPL
分散仮想ストレージのアーキテクチャ
l  メタデータ管理
l  集中管理型/分散管理型、フォールトトレランス、スケールアウト
l  ネーミング
l  データ格納場所とオブジェクトIDのマッピングアルゴリズム
l  クライアントアクセス
l  POSIX/FUSE/Block/REST
l  キャッシングと⼀一貫性保持
l  WORM/Transactional locking/Leasing
l  レプリケーション/同期⽅方式
l  同期/⾮非同期、Read only/Read/Write、CAP定理、PAXOS
l  ロードバランス
l  データ偏在の⾃自動修正
l  ⾃自⼰己修復機能(Self Healing)
714/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
Ceph
l  概要
l  Ceph は、カリフォルニア⼤大学サンタクルーズ校 (UCSC) の Sage Weil (現
DreamHost / Inktank共同設⽴立立者)がストレージ・システムに関する博⼠士論⽂文
の研究プロジェクトとして、2004年から開発を始められたファイルシステム
であり、2010年 に Linux カーネル (2.6.34 以降) に組み込まれた。
l  CephはLGPL V2.1ライセンスで提供され、商⽤用版はCeph Enterpriseとして
Inktankから販売サポートされている。
l  開発/サポート体制
l  開発はInktankを中⼼心に進められているOpen Coreモデルである。オープン
ソース版がコアになり、商⽤用版は管理⽤用GUIやSNMPインターフェース、
Hyper-V連携等が加えられ、サポートが提供される。
l  2012年7⽉月に最初の安定板をリリースした後、約3ヶ⽉月毎にバージョンアッ
プが⾏行行われ、現在は2014年5⽉月にリリースされた6番⽬目のV0.80.1(Firefly)が提
供されている。Linuxカーネル3.4.20以降または3.6.6以降でサポートされてお
り、Windows版やMac版は提供されていない。また、OpenStackや
CloudStackと共同でIaaS基盤とのストレージ連携を強化している。
814/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
2014/4/30
“Red Hat to Acquire Inktank, Provider of Ceph”
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 9
Cephの特徴
l  ベンダフリー
l  汎⽤用PCサーバ/汎⽤用OS(Linux)を使⽤用
l  特別なハードウェア不要
l  オープンソース
l  フォールトトレラント
l  スケールアウト
l  汎⽤用プロトコル
l  POSIXファイルシステム
l  ブロックデバイス
l  REST(AWS S3/SWIFT互換)
l  WAN越しリモートレプリケーション(RGWのみ)
l  RW同期(LANのみ)
1014/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
RADOS
Reliable, Autonomous, Distributed Object Store
ブロック
デバイス	
MDS	
Monitors	
 OSDs	
Cephのアーキテクチャ
11
CephFS
POSIX互換ファイル
システム
Kernel-client及び
FUSE-clientから使
用できる
Librados
C, C++, java,
Python, Ruby, PHP
からRADOSに
アクセスできるAPI
ライブラリ
RADOSGW
(RADOS
Gateway)
AWS S3及び
OpenStack SWIFT
互換のREST APIを
提供するhttpプロキ
シ	
RBD
(RADOS Block
Device)
Linuxカーネルから
RADOSをブロック
デバイスとして使用
できる
API
Kernel
Client
ノード
ブロック
デバイス	
vfs	
ブロックデバイス
ドライバ
MDS	
Monitors	
 OSDs	
MDS	
Monitors	
 OSDs	
API
QEMU
/KVM
Kernel
Client
FUSE
Client
Ext4/xfs/btrfs
ブロック
デバイス	
ノード
ブロック
デバイス	
vfs	
ブロックデバイス
ドライバ
Ext4/xfs/btrfs
CephFS (Posix file system)
kernel
Device driver	
vfs	
FUSE	
File system
ブロック
デバイス	
User space
Kernel space	
Ceph-fuse
Client	
Application	
MDS	
Monitors	
OSDs	
vfs	
ブロックデバ
イスドライバ
vfs	
User space
Kernel space	
Ceph-kernel
Client	
Application	
RADOS	
*CephFSは、現時点(V.0.80)で本番稼働での使用は推奨されていない。	
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 12	
CephFS Kernel client	
CephFS FUSE client
物理サーバ
QEMU/KVM
Ceph RBD(ブロックデバイス)
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 13
RBD
(RADOS Block Device)
Kernel
Client
librbd
VM
Linux
Kernel
Client
物理サーバ
Hypervisor
VM
物理サーバ
Linux
アプリケー
ション	
 アプリケー
ション	
アプリケー
ション	
Linuxページ
キャッシュを使用	
 ユーザースペース
モジュール
RBD Cacheを使用	
Linuxのみサポート
カーネルスペース
モジュール	
Hypervisorの種類は
問わない	
VM OSの種類は
問わない	
Hypervisorの種類は
QEMU/KVMのみ
Ceph RADOSGW (Object Gateway)
librgw
File system
ブロック
デバイス	
Monitors	
OSDs	
vfs	
ブロックデバ
イスドライバ
S3 API	
librados	
Application	
RADOS	
*RADOSGWは、マルチサイト非同期レプリケーションをサポート	
httpd	
SWIFT API	
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 14
OpenStackインテグレーション
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 15
Volumes Ephemeral
Copy-on-Write Snapshots
Keystone(認証サービス)連携
Keystone Server	
RADOSGW
RESTful Object Store	
Query token	
Access with token	
Grant/revoke
Glance(イメージサービス)連携
RBD
Glance Server	
/etc/glance/glance-api.conf
default_store=rbd
rbd_store_user=glance
rbd_store_pool=images	
Store, Download	
Image
Cinder/Nova連携
RBD
Cinder Server	
Libvirt
(QEMU/KVM)	
VM	
Boot from volume
ボリューム作成/接続	
Volume	
 Image	
Copy-on-write clone	
librbd
Nova/compute
OpenStack+Cephのメリット
l  OpenStack 全体の可⽤用性の向上
l  MySQL のデータさえダンプ取得すれば、 リストア可能
l  OS イメージ・スナップショットは Ceph 上にあ
るのでバックアップ不要
l  Compute ノード上のインスタンスデータは Ceph
のスナップショットから復旧
l  Network ノードは分散・冗⻑⾧長可能、データのバッ
クアップは不要
l  最⼩小構成(3ノード)から始めて、スケールアウ
ト可能
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 19
Cephのユースケース
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 20
Virtualization and Private
Cloud
(traditional SAN/NAS)
High Performance
(traditional SAN)
PerformanceCapacity
NAS & Object
Content Store
(traditional NAS)
Cloud
Applications
Traditional IT
XaaS Compute Cloud
Open Source Block
XaaS Content Store
Open Source NAS/Object
Ceph
Target
Ceph Target
Multi-site Replication
オブジェクトストレージ(RADOSGW)
のみ対応
l  物理的ロケーションの離れた別ク
ラスターにメタデータとデータを
複製。
l  複製⽅方式は、マスター/スレーブ、
スレーブはRead Only
l  複製先は複数可能
l  ディザスタリカバリー⽤用のバック
アップデータを保証する。
l  ⼀一貫性はAP(Eventually
consistency)
2114/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
Erasure coding(イレージャーコーディング)
l  Erasure Coding:定訳はないが、「消失符号」あるいは「消失訂正符号」という訳語も⼀一
部で使われている。
l  オブジェクトを分割して消失訂正符号を付加し、物理的に異なるノードに分散して格納す
ることで、その分割したデータのいくつかが消失した場合でも、元のオブジェクトを復元
することができる⼿手法で、マイクロソフトのAzureストレージにも採⽤用されている技術。
l  実装の仕組みは複数のアルゴリズムが⽤用意されているが、⼀一般的にオブジェクトの容量に
対して20% 40%程度の符号を付加すれば良いことから、レプリケーション(複製)に⽐比
べ物理的なディスクの利⽤用効率(実効容量)が⾼高い。
l  ただし、オブジェクトの書き込みの都度、符号化処理を⾏行行うので、パフォーマンスが劣化
する可能性があり、ディスクの利⽤用効率を優先する⼤大規模案件やパフォーマンスを要求し
ないアーカイブ⽤用途などに適している。
Erasure Coding	
 レプリケーション	
利用効率(2ディスク障害で
の保証)	
約140%	
 200%	
CPU使用率	
 High	
 Low	
読み書き速度	
 遅い	
 速い
キャッシュ・ティアリング
CEPH STORAGE CLUSTER
Write ReadRead/Write
SSD	
HDD
Cephロードマップ (as of 4/30)
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 24
1.2 2.0
CEPH
CALAMARI
PLUGINS
May 2014 Q4 2014 2015
ベンチマーク⽬目的
l  想定ユースケース
l  共有ファイルサーバ/VMイメージストア
l  CephFS/RBDでの各ドライバでの基本性能を検
証、Object Storageは実施しなかった
l  ⽐比較のために、ローカルHDDとNFSも検証した
l  限られたHW環境のため、スケールアウトの検証
は⾏行行っていない
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 25
ベンチマークテスト内容
対象ファイル アクセスパターン 書込:読出 ブロックサイズ ファイルサイズ
1 DBなどアプリケーションデータ ランダム 1 : 2 8 KB 64KB
2 ログファイル シーケンシャル 1 : 0 64 KB 1MB
3 オフィスドキュメント ランダム 1 : 2 64 KB 512KB
4 画像等BLOBデータ シーケンシャル 0 : 1 128 KB 10MB
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 26
NO. 同時並⾏行行数 作成ファイル数
1 10 10
2 100 10
3 100 100
4 1000 100
5 300 300
アクセスパターン
シナリオ
•  ベンチマークプログラムは、fioを使⽤用し、
fabricで⾃自動実⾏行行
•  4アクセスパターンx5シナリオ=20タイプ
•  各タイプは10回実⾏行行し、最⼤大/最⼩小値を除い
た8回分を平均
•  OSのページキャッシュはオフ
•  Cephは全てデフォルト設定
テスト環境
l  HW環境
l  NW環境
l  SW環境
l  CentOS6.5(クライアントのみkernel3.1)
l  Ceph 0.78
環境 HW	
 NW	
 ファイルシステム	
ローカルHDD	
 HP ML110 G7
Intel Celeron G530 @ 2.40GHz 1p/2c
HP 250GB SATA disk x1	
1Gbps	
ext3
NFS	
 Nfs v4	
Ceph	
 ext4	
RTT ms Mbps
Nuttcpでの計測 0.418 928.5
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 27
テスト環境(1)
l  クライアントは、KVMホスト上のVMに
Cephクライアントとベンチマークプログ
ラムを配置
l  以下の5種類の結果を⽐比較
l  CephFS kernel client
l  CephFS FUSE client
l  CephRBD(物理サーバ)
l  CephRBD(KVM VM)
l  CephRBD(Librbd+QEMU/KVM)
l  Cephクライアントは、CentOS6のデフォ
ルトkernelでは動かないので、3.1に変更
l  VMのイメージはKVMホスト上のqcow2
l  Ceph基本設定
l  pool 2 rbd(Block Device)
l  ceph osd pool set data size 3
l  ceph osd pool set data min_size 2
l  MonitorとMDSは冗⻑⾧長化(3台)しOSDと
同居
l  OSDのストライピングは⾏行行わない
l  OS/Cephともデフォルト設定で実施し、特
別なチューニングは実施しなかった
Mon
Ceph pool	
同期
レプリケーション	
MDS
OSD
Mon
MDS
OSD
Mon
MDS
OSD
fio
fabric
Ceph
client
同期
レプリケーション	
Kvm host
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 28
テスト環境(2)
l  ⽐比較のためにローカルディスクとNFSで同⼀一のテストを⾏行行った。
/
ベンチマーク
ファイル	
fio
fabric
物理サーバ
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 29	
NFS
V4
fio
fabric
NFS
client
Kvm host
※SATA1ドライブに、
/と同居
ローカルディスク環境 NFS環境
キャッシング
ゲストVM ホストOS
ローカルファイル Page cache off
NFS NFSキャッシュ有
CephFS kernel client Page cache off QEMUキャッシュ有
CephFS FUSE client Page cache off QEMUキャッシュ有
CephRBD_VM(KVM VM) RBD cache off QEMUキャッシュ有
CephRBD_BM(物理サーバ) RBD cache off
CephRBD_QEMU(Librbd+QEMU/KVM) Page cache off RBD cache off
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 30
シナリオ1:
DBなどアプリケーションデータ ランダム W1 : R2 

8KB Block, 64KB File
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 31	
DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File
シナリオ1 Read KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
シナリオ1 Write KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File
ローカルファイル NFS
1,478 2,162
2,523 2,515
1,220 2,149
1,347 2,315
8,610 2,043
ローカルファイル NFS
609 890
1,021 1,023
574 997
635 1,065
4,015 969
DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File
CephFS_Kernel CepFS_FUSE CephRBD_VM
292 4,223 2,052
252 4,358 1,955
194 2,950 1,172
185 2,690 1,145
197 2,137 1,357
CephFS_Kernel CepFS_FUSE CephRBD_VM
118 1,704 844
102 1,759 807
89 1,357 552
85 1,243 538
92 1,002 646
CephRBD_BM CephRBD_QEMU
1,763 1,932
2,752 1,980
1,277 1,441
1,391 2,325
1,118 2,938
CephRBD_BM CephRBD_QEMU
729 791
1,111 809
601 679
655 1,082
533 1,372
!"
#$!!!"
%$!!!"
&$!!!"
'$!!!"
($!!!"
)$!!!"
*$!!!"
+$!!!"
,$!!!"
#!$!!!"
#!並列/#!ファイル
#!!並列/#!ファイル
#!!並列/#!!ファイル
#!!!並列/#!!ファイル
&!!並列/&!!ファイル
ローカルファイル
-./"
0123./4516718"
012./4.9/:"
0123;<=4>?"
0123;<=4<?"
0123;<=4@:?9"
!"
(!!"
#$!!!"
#$(!!"
%$!!!"
%$(!!"
&$!!!"
&$(!!"
'$!!!"
'$(!!"
#!並列/#!ファイル
#!!並列/#!ファイル
#!!並列/#!!ファイル
#!!!並列/#!!ファイル
&!!並列/&!!ファイル
ローカルファイル
-./"
0123./4516718"
012./4.9/:"
0123;<=4>?"
0123;<=4<?"
0123;<=4@:?9"
シナリオ2:
ログファイル シーケンシャル W1 :R 0 

64KB Block, 1MB File
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 32	
ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File
シナリオ2 Write KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File
ローカルファイル NFS
9,989 4,843
28,947 4,948
11,298 5,418
35,094 5,451
6,689 4,949
ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File
CephFS_Kernel CepFS_FUSE CephRBD_VM
856 66,323 14,622
851 68,183 25,004
670 23,126 11,144
670 25,485 11,369
888 6,274 7,345
CephRBD_BM CephRBD_QEMU
12,862 19,221
28,203 22,309
16,969 15,215
33,935 18,994
17,840 9,518
!"
#!$!!!"
%!$!!!"
&!$!!!"
'!$!!!"
(!$!!!"
)!$!!!"
*!$!!!"
+!$!!!"
#!並列/#!ファイル
#!!並列/#!ファイル
#!!並列/#!!ファイル
#!!!並列/#!!ファイル
&!!並列/&!!ファイル
ローカルファイル
,-."
/012-.3405607"
/01-.3-8.9"
/012:;<3=>"
/012:;<3;>"
/012:;<3?9>8"
シナリオ3:
オフィスドキュメント ランダム W1 :R 2 

64KB Block, 512KB File
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 33	
オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File
シナリオ3 Read KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
シナリオ3 Write KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File
ローカルファイル NFS
11,020 16,204
16,698 16,137
9,033 15,323
8,706 15,596
8,289 15,073
ローカルファイル NFS
4,447 6,539
6,738 6,511
4,153 7,046
4,003 7,172
3,856 7,012
オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File
CephFS_Kernel CepFS_FUSE CephRBD_VM
3,982 18,057 11,920
5,991 17,017 16,246
2,853 7,973 13,333
2,705 9,364 17,985
2,640 6,952 14,455
CephFS_Kernel CepFS_FUSE CephRBD_VM
1,616 7,286 4,810
2,420 6,866 6,556
1,312 3,667 6,131
1,244 4,306 8,270
1,228 3,234 6,725
CephRBD_BM CephRBD_QEMU
11,462 11,794
15,534 17,240
8,406 17,036
8,820 20,418
7,089 19,426
CephRBD_BM CephRBD_QEMU
4,625 4,759
6,268 6,956
3,866 7,834
4,056 9,390
3,298 9,037
!"
#$!!!"
%!$!!!"
%#$!!!"
&!$!!!"
&#$!!!"
%!並列/%!ファイル
%!!並列/%!ファイル
%!!並列/%!!ファイル
%!!!並列/%!!ファイル
'!!並列/'!!ファイル
ローカルファイル
()*"
+,-.)*/0,12,3"
+,-)*/)4*5"
+,-.678/9:"
+,-.678/7:"
+,-.678/;5:4"
!"
%$!!!"
&$!!!"
'$!!!"
<$!!!"
#$!!!"
=$!!!"
>$!!!"
?$!!!"
@$!!!"
%!$!!!"
%!並列/%!ファイル
%!!並列/%!ファイル
%!!並列/%!!ファイル
%!!!並列/%!!ファイル
'!!並列/'!!ファイル
ローカルファイル
()*"
+,-.)*/0,12,3"
+,-)*/)4*5"
+,-.678/9:"
+,-.678/7:"
+,-.678/;5:4"
シナリオ4:
画像等BLOBデータ シーケンシャル W0 : R1 

128KB Block, 10MB File
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 34	
画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File
シナリオ4 Read KB/s
10並列/10ファイル
100並列/10ファイル
100並列/100ファイル
1000並列/100ファイル
300並列/300ファイル
画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File
ローカルファイル NFS
27,435 107,686
73,532 108,906
27,958 107,413
60,161 106,828
21,159 21,232
画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File
CephFS_Kernel CepFS_FUSE CephRBD_VM
48,937 39,374 106,617
60,726 32,460 110,905
60,049 2,270 100,186
60,761 2,273 99,314
38,913 1,522 76,314
CephRBD_BM CephRBD_QEMU
23,649 11,029
63,999 21,158
28,028 11,448
49,722 11,103
18,501 10,785
!"
#!$!!!"
%!$!!!"
&!$!!!"
'!$!!!"
(!!$!!!"
(#!$!!!"
(!並列/(!ファイル
(!!並列/(!ファイル
(!!並列/(!!ファイル
(!!!並列/(!!ファイル
)!!並列/)!!ファイル
ローカルファイル
*+,"
-./0+,12.34.5"
-./+,1+6,7"
-./089:1;<"
-./089:19<"
-./089:1=7<6"
コンテキストスイッチ
s1 s3
s2 s4
!"
#!!"
$%!!!"
$%#!!"
&%!!!"
&%#!!"
'%!!!"
'%#!!"
(%!!!"
(%#!!"
#%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
&%!!!"
(%!!!"
;%!!!"
<%!!!"
$!%!!!"
$&%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
#!!"
$%!!!"
$%#!!"
&%!!!"
&%#!!"
'%!!!"
'%#!!"
(%!!!"
(%#!!"
#%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
!"
#%!!!"
$!%!!!"
$#%!!!"
&!%!!!"
&#%!!!"
'!%!!!"
$!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!"
*+,-*"
./0"
,123)415.1*"
,123)6789"
,123):*+,4"
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 35
まとめ
1.  CephFS Kernelドライバはまだ本番環境には使えない
2.  CephFS FUSEドライバは、作成ファイル数が増えるとコン
テキストスイッチが急激に増加する
3.  CephRBDは検証環境では普通にNFS(1台)並みの性能
1.  1G etherを使い切っている
2.  NW/キャッシングのチューニングでさらに向上が⾒見見込まれる
4.  CephRBD_QEMUドライバは、ランダムRWではkernelドラ
イバより良い結果となった
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 36
参考情報
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 37	
http://www.mellanox.com/related-docs/whitepapers/
WP_Deploying_Ceph_over_High_Performance_Networks.pdf
参考情報
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 38	
2,419MB/sec (8M Seq. READ)
110k IOPS (4k Seq. READ)
⽇日本Cephユーザー会
l  https://groups.google.com/forum/#!forum/ceph-jp
l  July Tech Festa 2014
l  http://2014.techfesta.jp/
l  会場: 産業技術⼤大学院⼤大学 東京都品川区東⼤大井1-10-40
l  ⽇日程: 2014年6⽉月22⽇日(⽇日) 10:00-
l  タイトル:オープンソース次世代分散ストレージ「Ceph」解説
l  内容:
l  「Ceph」はLinuxカーネル2.6.34で標準実装されたファイルシステ
ムで、複数のストレージシステムに対して、データを分散管理する
仕組みを実現しています。
l  オブジェクトストア、ブロックストア、POSIX準拠の分散ファイ
ルシステムで構成され、⾼高い拡張性、⾃自動拡張、⾃自⼰己修復などが特
徴です。OpenStackにもブロックストレージのプラグイン
「Cinder」からも利⽤用可能です。今回はこの「Ceph」の概要から
優れた特徴について解説します。
14/06/02	
 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 	
 39

Contenu connexe

Tendances

Ceph With Quanta Stor
Ceph With Quanta Stor Ceph With Quanta Stor
Ceph With Quanta Stor Kazuki Mayama
 
CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能Emma Haruka Iwao
 
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月VirtualTech Japan Inc.
 
分散ストレージ技術Cephの最新情報
分散ストレージ技術Cephの最新情報分散ストレージ技術Cephの最新情報
分散ストレージ技術Cephの最新情報Emma Haruka Iwao
 
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...VirtualTech Japan Inc.
 
Red Hat ストレージ製品
Red Hat ストレージ製品Red Hat ストレージ製品
Red Hat ストレージ製品Takuya Utsunomiya
 
20180423 OpenStackユーザー会 SDS
20180423 OpenStackユーザー会 SDS20180423 OpenStackユーザー会 SDS
20180423 OpenStackユーザー会 SDSTakuya Utsunomiya
 
Comparing GlusterFS Swift API to Native Swift
Comparing GlusterFS Swift API to Native SwiftComparing GlusterFS Swift API to Native Swift
Comparing GlusterFS Swift API to Native SwiftEtsuji Nakai
 
OpenStack Object Storage; Usage
OpenStack Object Storage; UsageOpenStack Object Storage; Usage
OpenStack Object Storage; Usageirix_jp
 
フルオープンソースでここまで出来る。OpenStackの構築と運用
フルオープンソースでここまで出来る。OpenStackの構築と運用フルオープンソースでここまで出来る。OpenStackの構築と運用
フルオープンソースでここまで出来る。OpenStackの構築と運用Ikuo Kumagai
 
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat Storage
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat StorageマルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat Storage
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat StorageTaira Hajime
 
Quick Introduction to GlusterFS
Quick Introduction to GlusterFSQuick Introduction to GlusterFS
Quick Introduction to GlusterFSEtsuji Nakai
 
Gluster fsにおいて内在するincident要因
Gluster fsにおいて内在するincident要因Gluster fsにおいて内在するincident要因
Gluster fsにおいて内在するincident要因TaikaiSebastianHirose
 
昨今のストレージ選定のポイントとCephStorageの特徴
昨今のストレージ選定のポイントとCephStorageの特徴昨今のストレージ選定のポイントとCephStorageの特徴
昨今のストレージ選定のポイントとCephStorageの特徴Takuya Utsunomiya
 
Try andstudy cloud_20120509_nagoya
Try andstudy cloud_20120509_nagoyaTry andstudy cloud_20120509_nagoya
Try andstudy cloud_20120509_nagoyaEtsuji Nakai
 
OSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; OverviewOSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; Overviewirix_jp
 
OpenStack Object Storage; Overview
OpenStack Object Storage; OverviewOpenStack Object Storage; Overview
OpenStack Object Storage; Overviewirix_jp
 
Seastar in 歌舞伎座.tech#8「C++初心者会」
Seastar in 歌舞伎座.tech#8「C++初心者会」Seastar in 歌舞伎座.tech#8「C++初心者会」
Seastar in 歌舞伎座.tech#8「C++初心者会」Takuya ASADA
 

Tendances (20)

Ceph With Quanta Stor
Ceph With Quanta Stor Ceph With Quanta Stor
Ceph With Quanta Stor
 
CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能CephとGluster次期バージョンでの新機能
CephとGluster次期バージョンでの新機能
 
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
 
分散ストレージ技術Cephの最新情報
分散ストレージ技術Cephの最新情報分散ストレージ技術Cephの最新情報
分散ストレージ技術Cephの最新情報
 
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
ソフトウェア・デファインドが再定義するストレージ -- OpenStackデファクト標準ストレージCeph - OpenStack最新情報セミナー 201...
 
141030ceph
141030ceph141030ceph
141030ceph
 
Red Hat ストレージ製品
Red Hat ストレージ製品Red Hat ストレージ製品
Red Hat ストレージ製品
 
20180423 OpenStackユーザー会 SDS
20180423 OpenStackユーザー会 SDS20180423 OpenStackユーザー会 SDS
20180423 OpenStackユーザー会 SDS
 
Comparing GlusterFS Swift API to Native Swift
Comparing GlusterFS Swift API to Native SwiftComparing GlusterFS Swift API to Native Swift
Comparing GlusterFS Swift API to Native Swift
 
OpenStack Object Storage; Usage
OpenStack Object Storage; UsageOpenStack Object Storage; Usage
OpenStack Object Storage; Usage
 
フルオープンソースでここまで出来る。OpenStackの構築と運用
フルオープンソースでここまで出来る。OpenStackの構築と運用フルオープンソースでここまで出来る。OpenStackの構築と運用
フルオープンソースでここまで出来る。OpenStackの構築と運用
 
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat Storage
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat StorageマルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat Storage
マルチAZ対応!AWS上で稼働するスケールアウトNAS Red Hat Storage
 
Quick Introduction to GlusterFS
Quick Introduction to GlusterFSQuick Introduction to GlusterFS
Quick Introduction to GlusterFS
 
Gluster fsにおいて内在するincident要因
Gluster fsにおいて内在するincident要因Gluster fsにおいて内在するincident要因
Gluster fsにおいて内在するincident要因
 
昨今のストレージ選定のポイントとCephStorageの特徴
昨今のストレージ選定のポイントとCephStorageの特徴昨今のストレージ選定のポイントとCephStorageの特徴
昨今のストレージ選定のポイントとCephStorageの特徴
 
GlusterFS Masakari Talks
GlusterFS Masakari TalksGlusterFS Masakari Talks
GlusterFS Masakari Talks
 
Try andstudy cloud_20120509_nagoya
Try andstudy cloud_20120509_nagoyaTry andstudy cloud_20120509_nagoya
Try andstudy cloud_20120509_nagoya
 
OSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; OverviewOSC2012 Nagoya - OpenStack - Storage System; Overview
OSC2012 Nagoya - OpenStack - Storage System; Overview
 
OpenStack Object Storage; Overview
OpenStack Object Storage; OverviewOpenStack Object Storage; Overview
OpenStack Object Storage; Overview
 
Seastar in 歌舞伎座.tech#8「C++初心者会」
Seastar in 歌舞伎座.tech#8「C++初心者会」Seastar in 歌舞伎座.tech#8「C++初心者会」
Seastar in 歌舞伎座.tech#8「C++初心者会」
 

Similaire à [日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料

Cloudianの構築と運用の基礎 (Cloudian Summit 2012)
Cloudianの構築と運用の基礎 (Cloudian Summit 2012)Cloudianの構築と運用の基礎 (Cloudian Summit 2012)
Cloudianの構築と運用の基礎 (Cloudian Summit 2012)CLOUDIAN KK
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)softlayerjp
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)chenree3
 
Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache maruyama097
 
COBOL技術者のためのJava勉強会
COBOL技術者のためのJava勉強会COBOL技術者のためのJava勉強会
COBOL技術者のためのJava勉強会naka hide
 
Red Hat OpenShift Container Storage
Red Hat OpenShift Container StorageRed Hat OpenShift Container Storage
Red Hat OpenShift Container StorageTakuya Utsunomiya
 
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門Daiyu Hatakeyama
 
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方Toru Makabe
 
Google Compute EngineとPipe API
Google Compute EngineとPipe APIGoogle Compute EngineとPipe API
Google Compute EngineとPipe APImaruyama097
 
Google Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APIGoogle Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APImaruyama097
 
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティ
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティSaaS/クラウドコンピューティングでのオープンソース活用とセキュリティ
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティKuniyasu Suzaki
 
#02-01 ZFS によるストレージ仮想化 (2012-04-20)
#02-01 ZFS によるストレージ仮想化 (2012-04-20)#02-01 ZFS によるストレージ仮想化 (2012-04-20)
#02-01 ZFS によるストレージ仮想化 (2012-04-20)SolarisJPNight
 
IaaSクラウドを支える基礎技術 v1_0
IaaSクラウドを支える基礎技術 v1_0IaaSクラウドを支える基礎技術 v1_0
IaaSクラウドを支える基礎技術 v1_0Etsuji Nakai
 
AWSマイスターシリーズReloaded(AWS Beanstalk)
AWSマイスターシリーズReloaded(AWS Beanstalk)AWSマイスターシリーズReloaded(AWS Beanstalk)
AWSマイスターシリーズReloaded(AWS Beanstalk)Akio Katayama
 
20120416 aws meister-reloaded-aws-elasticbeanstalk-public
20120416 aws meister-reloaded-aws-elasticbeanstalk-public20120416 aws meister-reloaded-aws-elasticbeanstalk-public
20120416 aws meister-reloaded-aws-elasticbeanstalk-publicAmazon Web Services Japan
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2Dell TechCenter Japan
 
Solaris 11 に見る、次世代ファイルシステムZFS
Solaris 11 に見る、次世代ファイルシステムZFSSolaris 11 に見る、次世代ファイルシステムZFS
Solaris 11 に見る、次世代ファイルシステムZFSSolarisJP
 
play framework 勉強会 in 関西
play framework 勉強会 in 関西play framework 勉強会 in 関西
play framework 勉強会 in 関西Shinichi Kozake
 

Similaire à [日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料 (20)

Cloudianの構築と運用の基礎 (Cloudian Summit 2012)
Cloudianの構築と運用の基礎 (Cloudian Summit 2012)Cloudianの構築と運用の基礎 (Cloudian Summit 2012)
Cloudianの構築と運用の基礎 (Cloudian Summit 2012)
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
 
Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache 
 
COBOL技術者のためのJava勉強会
COBOL技術者のためのJava勉強会COBOL技術者のためのJava勉強会
COBOL技術者のためのJava勉強会
 
Red Hat OpenShift Container Storage
Red Hat OpenShift Container StorageRed Hat OpenShift Container Storage
Red Hat OpenShift Container Storage
 
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
 
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
OpenStack超入門シリーズ いまさら聞けないSwiftの使い方
 
Google Compute EngineとPipe API
Google Compute EngineとPipe APIGoogle Compute EngineとPipe API
Google Compute EngineとPipe API
 
Google Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline APIGoogle Compute EngineとGAE Pipeline API
Google Compute EngineとGAE Pipeline API
 
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティ
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティSaaS/クラウドコンピューティングでのオープンソース活用とセキュリティ
SaaS/クラウドコンピューティングでのオープンソース活用とセキュリティ
 
#02-01 ZFS によるストレージ仮想化 (2012-04-20)
#02-01 ZFS によるストレージ仮想化 (2012-04-20)#02-01 ZFS によるストレージ仮想化 (2012-04-20)
#02-01 ZFS によるストレージ仮想化 (2012-04-20)
 
Datomic&datalog紹介
Datomic&datalog紹介Datomic&datalog紹介
Datomic&datalog紹介
 
IaaSクラウドを支える基礎技術 v1_0
IaaSクラウドを支える基礎技術 v1_0IaaSクラウドを支える基礎技術 v1_0
IaaSクラウドを支える基礎技術 v1_0
 
AWSマイスターシリーズReloaded(AWS Beanstalk)
AWSマイスターシリーズReloaded(AWS Beanstalk)AWSマイスターシリーズReloaded(AWS Beanstalk)
AWSマイスターシリーズReloaded(AWS Beanstalk)
 
20120416 aws meister-reloaded-aws-elasticbeanstalk-public
20120416 aws meister-reloaded-aws-elasticbeanstalk-public20120416 aws meister-reloaded-aws-elasticbeanstalk-public
20120416 aws meister-reloaded-aws-elasticbeanstalk-public
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2
 
PHP on Cloud
PHP on CloudPHP on Cloud
PHP on Cloud
 
Solaris 11 に見る、次世代ファイルシステムZFS
Solaris 11 に見る、次世代ファイルシステムZFSSolaris 11 に見る、次世代ファイルシステムZFS
Solaris 11 に見る、次世代ファイルシステムZFS
 
play framework 勉強会 in 関西
play framework 勉強会 in 関西play framework 勉強会 in 関西
play framework 勉強会 in 関西
 

Plus de OSSラボ株式会社

ジョブストリーム紹介資料
ジョブストリーム紹介資料ジョブストリーム紹介資料
ジョブストリーム紹介資料OSSラボ株式会社
 
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介OSSラボ株式会社
 
オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介OSSラボ株式会社
 
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介OSSラボ株式会社
 
「今、ヨーロッパのオープンソースがアツい!」 クラウドの構成管理を自動化する基盤CMDBuild
「今、ヨーロッパのオープンソースがアツい!」クラウドの構成管理を自動化する基盤CMDBuild「今、ヨーロッパのオープンソースがアツい!」クラウドの構成管理を自動化する基盤CMDBuild
「今、ヨーロッパのオープンソースがアツい!」 クラウドの構成管理を自動化する基盤CMDBuildOSSラボ株式会社
 
Zabbix監視運用業務の自動化事例
Zabbix監視運用業務の自動化事例Zabbix監視運用業務の自動化事例
Zabbix監視運用業務の自動化事例OSSラボ株式会社
 

Plus de OSSラボ株式会社 (20)

220523JS7.pdf
220523JS7.pdf220523JS7.pdf
220523JS7.pdf
 
JS7 JobScheduler プレビュー
JS7 JobScheduler プレビューJS7 JobScheduler プレビュー
JS7 JobScheduler プレビュー
 
201023 jobscheduler os_cfall
201023 jobscheduler os_cfall201023 jobscheduler os_cfall
201023 jobscheduler os_cfall
 
ジョブストリーム紹介資料
ジョブストリーム紹介資料ジョブストリーム紹介資料
ジョブストリーム紹介資料
 
191010 opie2
191010 opie2191010 opie2
191010 opie2
 
CMDBuild V.3 update [Japanese]
CMDBuild V.3 update [Japanese]CMDBuild V.3 update [Japanese]
CMDBuild V.3 update [Japanese]
 
180729 jtf open-audit
180729 jtf open-audit180729 jtf open-audit
180729 jtf open-audit
 
170827 jtf garafana
170827 jtf garafana170827 jtf garafana
170827 jtf garafana
 
NMIS overview
NMIS overviewNMIS overview
NMIS overview
 
JobSchedulerアップデート2016
JobSchedulerアップデート2016JobSchedulerアップデート2016
JobSchedulerアップデート2016
 
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
Site Reliability Engineering (SRE)を可能にするOpenPIEのご紹介
 
160901 osce2016sre
160901 osce2016sre160901 osce2016sre
160901 osce2016sre
 
160724 jtf2016sre
160724 jtf2016sre160724 jtf2016sre
160724 jtf2016sre
 
オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介オープンソースNW監視ツールのご紹介
オープンソースNW監視ツールのご紹介
 
Ansible2.0と実用例
Ansible2.0と実用例Ansible2.0と実用例
Ansible2.0と実用例
 
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介
CMDBuildを中心とした運用管理自動化基盤OpenPIEの事例紹介
 
「今、ヨーロッパのオープンソースがアツい!」 クラウドの構成管理を自動化する基盤CMDBuild
「今、ヨーロッパのオープンソースがアツい!」クラウドの構成管理を自動化する基盤CMDBuild「今、ヨーロッパのオープンソースがアツい!」クラウドの構成管理を自動化する基盤CMDBuild
「今、ヨーロッパのオープンソースがアツい!」 クラウドの構成管理を自動化する基盤CMDBuild
 
150726cmdbuild jtf2015
150726cmdbuild jtf2015150726cmdbuild jtf2015
150726cmdbuild jtf2015
 
CMDBuild Ready2Use紹介資料
CMDBuild Ready2Use紹介資料CMDBuild Ready2Use紹介資料
CMDBuild Ready2Use紹介資料
 
Zabbix監視運用業務の自動化事例
Zabbix監視運用業務の自動化事例Zabbix監視運用業務の自動化事例
Zabbix監視運用業務の自動化事例
 

Dernier

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?akihisamiyanaga1
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)UEHARA, Tetsutaro
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NTT DATA Technology & Innovation
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)Hiroshi Tomioka
 

Dernier (8)

CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 

[日本仮想化技術] 2014/6/5 OpenStack最新情報セミナー資料

  • 1. Ceph をベンチマークしてみました 2014/6/5 Open Programmable Infrastructure Environment 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 1
  • 2. 仮想ストレージとは l  仮想ストレージの階層 l  Disk Virtualization (ディスクの仮想化) :論理ブロック(LBA) l  Block Virtualization (ブロックの仮想化) :LVM/RAID l  File Virtualization (ファイルの仮想化) :VFS l  File System Virtualization (ファイルシステムの仮想化) (SNIA(Storage Network Industry Association)が作成したストレージ仮想化技術の分類) l  ファイルシステムの仮想化: l  クラスタ/グリッドファイルシステム/仮想ストレージ/Software Defined Storage, etc. l  ユーザからはサーバや記憶装置の多様性と分散が隠蔽され、単なるボリュームや ファイルとして扱える透過性を持つ。 l  商⽤用製品例 l  EMC ViPR l  VMware VSAN l  Datacore SANSymphony-V l  NexentaStor l  Cleversafe/Amplidata l  分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化 を⽬目指したもの、並列化による性能強化を⽬目指したもの、両⽅方を同時に実現しよ うと設計されたものがある。 214/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 3. クラウドストレージとは l  クラウド上のストレージサービス l  ユーザは物理的にどのデータセンタ/サーバ/ストレージ/ディスクに⾃自分 のデータが格納されているのか、全く意識しなくて良い l  バックアップもオプション指定するだけで、⾃自動的に地理的分散を保証して くれる 3 オブジェクトストレージ (REST)のS3と、ブロック デバイスのEBSを提供 オブジェクトストレージ(REST, JSON/XML etc.)のCloud Storage と、ブロックデバイスの Persistent Diskを提供 オブジェクトストレージ (REST, NTFS)のBLob Storage(Azure Drive)と、ブ ロックデバイスのLocal Storageを提供 異なるサービス間、またはオンプレミス環境の ストレージと互換性/可搬性がない 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 4. クラウド透過なクラウドストレージが理想 4 オンプレミス (物理・仮想マシン) プライベートクラウド パブリッククラウドサービス (仮想マシン) VMware, OpenStack, etc. POSIX (FUSE) ⾃自動 レプリケーション ブロック デバイス オブジェクト ストレージ 共有ファイル VMイメージ REST API (S3, SWIFT互換) ハイブリッド・クラウド 仮想マシン群 オンプレミス (物理・仮想マシン) プライベートクラウド パブリッククラウドサービス (仮想マシン) ⾃自動 レプリケーション 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 5. 分散ファイルシステムの種類 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 5 分類 概要 例 分散ファイルシステム 複数のホストがコンピュータネットワークを経由して 共有しつつファイルにアクセスすることを可能にする。 複数のサーバ上に配置されたファイルを、論理的に 構造化された 1つ以上の名前空間で透過的にアク セスできる。 Amazon S3 Andrew File System (AFS) etc. 分散フォールト トレラント ファイルシステム データを複製する事により、分散ファイルシステムを 構成する要素に障害が発生しても、データ喪失する 事なくアクセスが継続できる。 Microsoft DFS Moose FS, etc. 分散並列 ファイルシステム データを細かく分割し、分散ファイルシステム上の各 ホストに分散配置する事により、性能をスケールア ウトできる。 FraunhoferFS (FhGFS) PVFS/OrangeFS etc. 分散並列フォールト トレラント ファイルシステム 上記全ての機能を備えたファイルシステム Ceph GlusterFS XtreemFS etc.
  • 6. 調べてみました 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 6 製品名 開発主体 ライセンス Amage クリエーションライン株式会社 プロプライエタリ Ceph Inktank LGPL2 Chiron FS luisfurquim@gmail.com GPL3 Cloudian クラウディアン株式会社 プロプライエタリ CloudStore/Kosmosfs/Quantcastfs Quantcast Apache License 2.0 Cosmos Microsoft internal 非公開 dCache DESY and others プロプライエタリ FraunhoferFS (FhGFS) Competence Center for High Performance Computing FhGFS license FS-Manager CDNetworks プロプライエタリ General Parallel File System(GPFS) IBM プロプライエタリ Gfarm file system 筑波大学/産業技術総合研究所 BSD GlusterFS Gluster, a company acquired by Red Hat GPL3 Google File System(GFS) Google 非公開 Hadoop Distributed File System ASF, Cloudera, Pivot, Hortonworks, WANdisco, Intel Apache License 2.0 IBRIX Fusion IBRIX プロプライエタリ LeoFS 楽天技術研究所 Apache License 2.0 Lustre originally developed byCluster File System and currently supported by Intel(formerly Whamcloud) GPL MogileFS Danga Interactive GPL
  • 7. 分散仮想ストレージのアーキテクチャ l  メタデータ管理 l  集中管理型/分散管理型、フォールトトレランス、スケールアウト l  ネーミング l  データ格納場所とオブジェクトIDのマッピングアルゴリズム l  クライアントアクセス l  POSIX/FUSE/Block/REST l  キャッシングと⼀一貫性保持 l  WORM/Transactional locking/Leasing l  レプリケーション/同期⽅方式 l  同期/⾮非同期、Read only/Read/Write、CAP定理、PAXOS l  ロードバランス l  データ偏在の⾃自動修正 l  ⾃自⼰己修復機能(Self Healing) 714/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 8. Ceph l  概要 l  Ceph は、カリフォルニア⼤大学サンタクルーズ校 (UCSC) の Sage Weil (現 DreamHost / Inktank共同設⽴立立者)がストレージ・システムに関する博⼠士論⽂文 の研究プロジェクトとして、2004年から開発を始められたファイルシステム であり、2010年 に Linux カーネル (2.6.34 以降) に組み込まれた。 l  CephはLGPL V2.1ライセンスで提供され、商⽤用版はCeph Enterpriseとして Inktankから販売サポートされている。 l  開発/サポート体制 l  開発はInktankを中⼼心に進められているOpen Coreモデルである。オープン ソース版がコアになり、商⽤用版は管理⽤用GUIやSNMPインターフェース、 Hyper-V連携等が加えられ、サポートが提供される。 l  2012年7⽉月に最初の安定板をリリースした後、約3ヶ⽉月毎にバージョンアッ プが⾏行行われ、現在は2014年5⽉月にリリースされた6番⽬目のV0.80.1(Firefly)が提 供されている。Linuxカーネル3.4.20以降または3.6.6以降でサポートされてお り、Windows版やMac版は提供されていない。また、OpenStackや CloudStackと共同でIaaS基盤とのストレージ連携を強化している。 814/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 9. 2014/4/30 “Red Hat to Acquire Inktank, Provider of Ceph” 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 9
  • 10. Cephの特徴 l  ベンダフリー l  汎⽤用PCサーバ/汎⽤用OS(Linux)を使⽤用 l  特別なハードウェア不要 l  オープンソース l  フォールトトレラント l  スケールアウト l  汎⽤用プロトコル l  POSIXファイルシステム l  ブロックデバイス l  REST(AWS S3/SWIFT互換) l  WAN越しリモートレプリケーション(RGWのみ) l  RW同期(LANのみ) 1014/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 11. RADOS Reliable, Autonomous, Distributed Object Store ブロック デバイス MDS Monitors OSDs Cephのアーキテクチャ 11 CephFS POSIX互換ファイル システム Kernel-client及び FUSE-clientから使 用できる Librados C, C++, java, Python, Ruby, PHP からRADOSに アクセスできるAPI ライブラリ RADOSGW (RADOS Gateway) AWS S3及び OpenStack SWIFT 互換のREST APIを 提供するhttpプロキ シ RBD (RADOS Block Device) Linuxカーネルから RADOSをブロック デバイスとして使用 できる API Kernel Client ノード ブロック デバイス vfs ブロックデバイス ドライバ MDS Monitors OSDs MDS Monitors OSDs API QEMU /KVM Kernel Client FUSE Client Ext4/xfs/btrfs ブロック デバイス ノード ブロック デバイス vfs ブロックデバイス ドライバ Ext4/xfs/btrfs
  • 12. CephFS (Posix file system) kernel Device driver vfs FUSE File system ブロック デバイス User space Kernel space Ceph-fuse Client Application MDS Monitors OSDs vfs ブロックデバ イスドライバ vfs User space Kernel space Ceph-kernel Client Application RADOS *CephFSは、現時点(V.0.80)で本番稼働での使用は推奨されていない。 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 12 CephFS Kernel client CephFS FUSE client
  • 13. 物理サーバ QEMU/KVM Ceph RBD(ブロックデバイス) 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 13 RBD (RADOS Block Device) Kernel Client librbd VM Linux Kernel Client 物理サーバ Hypervisor VM 物理サーバ Linux アプリケー ション アプリケー ション アプリケー ション Linuxページ キャッシュを使用 ユーザースペース モジュール RBD Cacheを使用 Linuxのみサポート カーネルスペース モジュール Hypervisorの種類は 問わない VM OSの種類は 問わない Hypervisorの種類は QEMU/KVMのみ
  • 14. Ceph RADOSGW (Object Gateway) librgw File system ブロック デバイス Monitors OSDs vfs ブロックデバ イスドライバ S3 API librados Application RADOS *RADOSGWは、マルチサイト非同期レプリケーションをサポート httpd SWIFT API 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 14
  • 15. OpenStackインテグレーション 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 15 Volumes Ephemeral Copy-on-Write Snapshots
  • 16. Keystone(認証サービス)連携 Keystone Server RADOSGW RESTful Object Store Query token Access with token Grant/revoke
  • 18. Cinder/Nova連携 RBD Cinder Server Libvirt (QEMU/KVM) VM Boot from volume ボリューム作成/接続 Volume Image Copy-on-write clone librbd Nova/compute
  • 19. OpenStack+Cephのメリット l  OpenStack 全体の可⽤用性の向上 l  MySQL のデータさえダンプ取得すれば、 リストア可能 l  OS イメージ・スナップショットは Ceph 上にあ るのでバックアップ不要 l  Compute ノード上のインスタンスデータは Ceph のスナップショットから復旧 l  Network ノードは分散・冗⻑⾧長可能、データのバッ クアップは不要 l  最⼩小構成(3ノード)から始めて、スケールアウ ト可能 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 19
  • 20. Cephのユースケース 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 20 Virtualization and Private Cloud (traditional SAN/NAS) High Performance (traditional SAN) PerformanceCapacity NAS & Object Content Store (traditional NAS) Cloud Applications Traditional IT XaaS Compute Cloud Open Source Block XaaS Content Store Open Source NAS/Object Ceph Target Ceph Target
  • 21. Multi-site Replication オブジェクトストレージ(RADOSGW) のみ対応 l  物理的ロケーションの離れた別ク ラスターにメタデータとデータを 複製。 l  複製⽅方式は、マスター/スレーブ、 スレーブはRead Only l  複製先は複数可能 l  ディザスタリカバリー⽤用のバック アップデータを保証する。 l  ⼀一貫性はAP(Eventually consistency) 2114/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved
  • 22. Erasure coding(イレージャーコーディング) l  Erasure Coding:定訳はないが、「消失符号」あるいは「消失訂正符号」という訳語も⼀一 部で使われている。 l  オブジェクトを分割して消失訂正符号を付加し、物理的に異なるノードに分散して格納す ることで、その分割したデータのいくつかが消失した場合でも、元のオブジェクトを復元 することができる⼿手法で、マイクロソフトのAzureストレージにも採⽤用されている技術。 l  実装の仕組みは複数のアルゴリズムが⽤用意されているが、⼀一般的にオブジェクトの容量に 対して20% 40%程度の符号を付加すれば良いことから、レプリケーション(複製)に⽐比 べ物理的なディスクの利⽤用効率(実効容量)が⾼高い。 l  ただし、オブジェクトの書き込みの都度、符号化処理を⾏行行うので、パフォーマンスが劣化 する可能性があり、ディスクの利⽤用効率を優先する⼤大規模案件やパフォーマンスを要求し ないアーカイブ⽤用途などに適している。 Erasure Coding レプリケーション 利用効率(2ディスク障害で の保証) 約140% 200% CPU使用率 High Low 読み書き速度 遅い 速い
  • 24. Cephロードマップ (as of 4/30) 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 24 1.2 2.0 CEPH CALAMARI PLUGINS May 2014 Q4 2014 2015
  • 25. ベンチマーク⽬目的 l  想定ユースケース l  共有ファイルサーバ/VMイメージストア l  CephFS/RBDでの各ドライバでの基本性能を検 証、Object Storageは実施しなかった l  ⽐比較のために、ローカルHDDとNFSも検証した l  限られたHW環境のため、スケールアウトの検証 は⾏行行っていない 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 25
  • 26. ベンチマークテスト内容 対象ファイル アクセスパターン 書込:読出 ブロックサイズ ファイルサイズ 1 DBなどアプリケーションデータ ランダム 1 : 2 8 KB 64KB 2 ログファイル シーケンシャル 1 : 0 64 KB 1MB 3 オフィスドキュメント ランダム 1 : 2 64 KB 512KB 4 画像等BLOBデータ シーケンシャル 0 : 1 128 KB 10MB 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 26 NO. 同時並⾏行行数 作成ファイル数 1 10 10 2 100 10 3 100 100 4 1000 100 5 300 300 アクセスパターン シナリオ •  ベンチマークプログラムは、fioを使⽤用し、 fabricで⾃自動実⾏行行 •  4アクセスパターンx5シナリオ=20タイプ •  各タイプは10回実⾏行行し、最⼤大/最⼩小値を除い た8回分を平均 •  OSのページキャッシュはオフ •  Cephは全てデフォルト設定
  • 27. テスト環境 l  HW環境 l  NW環境 l  SW環境 l  CentOS6.5(クライアントのみkernel3.1) l  Ceph 0.78 環境 HW NW ファイルシステム ローカルHDD HP ML110 G7 Intel Celeron G530 @ 2.40GHz 1p/2c HP 250GB SATA disk x1 1Gbps ext3 NFS Nfs v4 Ceph ext4 RTT ms Mbps Nuttcpでの計測 0.418 928.5 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 27
  • 28. テスト環境(1) l  クライアントは、KVMホスト上のVMに Cephクライアントとベンチマークプログ ラムを配置 l  以下の5種類の結果を⽐比較 l  CephFS kernel client l  CephFS FUSE client l  CephRBD(物理サーバ) l  CephRBD(KVM VM) l  CephRBD(Librbd+QEMU/KVM) l  Cephクライアントは、CentOS6のデフォ ルトkernelでは動かないので、3.1に変更 l  VMのイメージはKVMホスト上のqcow2 l  Ceph基本設定 l  pool 2 rbd(Block Device) l  ceph osd pool set data size 3 l  ceph osd pool set data min_size 2 l  MonitorとMDSは冗⻑⾧長化(3台)しOSDと 同居 l  OSDのストライピングは⾏行行わない l  OS/Cephともデフォルト設定で実施し、特 別なチューニングは実施しなかった Mon Ceph pool 同期 レプリケーション MDS OSD Mon MDS OSD Mon MDS OSD fio fabric Ceph client 同期 レプリケーション Kvm host 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 28
  • 29. テスト環境(2) l  ⽐比較のためにローカルディスクとNFSで同⼀一のテストを⾏行行った。 / ベンチマーク ファイル fio fabric 物理サーバ 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 29 NFS V4 fio fabric NFS client Kvm host ※SATA1ドライブに、 /と同居 ローカルディスク環境 NFS環境
  • 30. キャッシング ゲストVM ホストOS ローカルファイル Page cache off NFS NFSキャッシュ有 CephFS kernel client Page cache off QEMUキャッシュ有 CephFS FUSE client Page cache off QEMUキャッシュ有 CephRBD_VM(KVM VM) RBD cache off QEMUキャッシュ有 CephRBD_BM(物理サーバ) RBD cache off CephRBD_QEMU(Librbd+QEMU/KVM) Page cache off RBD cache off 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 30
  • 31. シナリオ1: DBなどアプリケーションデータ ランダム W1 : R2 
 8KB Block, 64KB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 31 DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File シナリオ1 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル シナリオ1 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File ローカルファイル NFS 1,478 2,162 2,523 2,515 1,220 2,149 1,347 2,315 8,610 2,043 ローカルファイル NFS 609 890 1,021 1,023 574 997 635 1,065 4,015 969 DBなどアプリケーションデータ ランダム W1 : R2 8 KB1 Block, 64KB File CephFS_Kernel CepFS_FUSE CephRBD_VM 292 4,223 2,052 252 4,358 1,955 194 2,950 1,172 185 2,690 1,145 197 2,137 1,357 CephFS_Kernel CepFS_FUSE CephRBD_VM 118 1,704 844 102 1,759 807 89 1,357 552 85 1,243 538 92 1,002 646 CephRBD_BM CephRBD_QEMU 1,763 1,932 2,752 1,980 1,277 1,441 1,391 2,325 1,118 2,938 CephRBD_BM CephRBD_QEMU 729 791 1,111 809 601 679 655 1,082 533 1,372 !" #$!!!" %$!!!" &$!!!" '$!!!" ($!!!" )$!!!" *$!!!" +$!!!" ,$!!!" #!$!!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル -./" 0123./4516718" 012./4.9/:" 0123;<=4>?" 0123;<=4<?" 0123;<=4@:?9" !" (!!" #$!!!" #$(!!" %$!!!" %$(!!" &$!!!" &$(!!" '$!!!" '$(!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル -./" 0123./4516718" 012./4.9/:" 0123;<=4>?" 0123;<=4<?" 0123;<=4@:?9"
  • 32. シナリオ2: ログファイル シーケンシャル W1 :R 0 
 64KB Block, 1MB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 32 ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File シナリオ2 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File ローカルファイル NFS 9,989 4,843 28,947 4,948 11,298 5,418 35,094 5,451 6,689 4,949 ログファイル シーケンシャル W1 :R 0 64KB Block, 1MB File CephFS_Kernel CepFS_FUSE CephRBD_VM 856 66,323 14,622 851 68,183 25,004 670 23,126 11,144 670 25,485 11,369 888 6,274 7,345 CephRBD_BM CephRBD_QEMU 12,862 19,221 28,203 22,309 16,969 15,215 33,935 18,994 17,840 9,518 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!$!!!" )!$!!!" *!$!!!" +!$!!!" #!並列/#!ファイル #!!並列/#!ファイル #!!並列/#!!ファイル #!!!並列/#!!ファイル &!!並列/&!!ファイル ローカルファイル ,-." /012-.3405607" /01-.3-8.9" /012:;<3=>" /012:;<3;>" /012:;<3?9>8"
  • 33. シナリオ3: オフィスドキュメント ランダム W1 :R 2 
 64KB Block, 512KB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 33 オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File シナリオ3 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル シナリオ3 Write KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File ローカルファイル NFS 11,020 16,204 16,698 16,137 9,033 15,323 8,706 15,596 8,289 15,073 ローカルファイル NFS 4,447 6,539 6,738 6,511 4,153 7,046 4,003 7,172 3,856 7,012 オフィスドキュメント ランダム W1 :R 2 64KB Block, 512KB File CephFS_Kernel CepFS_FUSE CephRBD_VM 3,982 18,057 11,920 5,991 17,017 16,246 2,853 7,973 13,333 2,705 9,364 17,985 2,640 6,952 14,455 CephFS_Kernel CepFS_FUSE CephRBD_VM 1,616 7,286 4,810 2,420 6,866 6,556 1,312 3,667 6,131 1,244 4,306 8,270 1,228 3,234 6,725 CephRBD_BM CephRBD_QEMU 11,462 11,794 15,534 17,240 8,406 17,036 8,820 20,418 7,089 19,426 CephRBD_BM CephRBD_QEMU 4,625 4,759 6,268 6,956 3,866 7,834 4,056 9,390 3,298 9,037 !" #$!!!" %!$!!!" %#$!!!" &!$!!!" &#$!!!" %!並列/%!ファイル %!!並列/%!ファイル %!!並列/%!!ファイル %!!!並列/%!!ファイル '!!並列/'!!ファイル ローカルファイル ()*" +,-.)*/0,12,3" +,-)*/)4*5" +,-.678/9:" +,-.678/7:" +,-.678/;5:4" !" %$!!!" &$!!!" '$!!!" <$!!!" #$!!!" =$!!!" >$!!!" ?$!!!" @$!!!" %!$!!!" %!並列/%!ファイル %!!並列/%!ファイル %!!並列/%!!ファイル %!!!並列/%!!ファイル '!!並列/'!!ファイル ローカルファイル ()*" +,-.)*/0,12,3" +,-)*/)4*5" +,-.678/9:" +,-.678/7:" +,-.678/;5:4"
  • 34. シナリオ4: 画像等BLOBデータ シーケンシャル W0 : R1 
 128KB Block, 10MB File 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 34 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File シナリオ4 Read KB/s 10並列/10ファイル 100並列/10ファイル 100並列/100ファイル 1000並列/100ファイル 300並列/300ファイル 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File ローカルファイル NFS 27,435 107,686 73,532 108,906 27,958 107,413 60,161 106,828 21,159 21,232 画像等BLOBデータ シーケンシャル W0 : R1 128KB Block, 10MB File CephFS_Kernel CepFS_FUSE CephRBD_VM 48,937 39,374 106,617 60,726 32,460 110,905 60,049 2,270 100,186 60,761 2,273 99,314 38,913 1,522 76,314 CephRBD_BM CephRBD_QEMU 23,649 11,029 63,999 21,158 28,028 11,448 49,722 11,103 18,501 10,785 !" #!$!!!" %!$!!!" &!$!!!" '!$!!!" (!!$!!!" (#!$!!!" (!並列/(!ファイル (!!並列/(!ファイル (!!並列/(!!ファイル (!!!並列/(!!ファイル )!!並列/)!!ファイル ローカルファイル *+," -./0+,12.34.5" -./+,1+6,7" -./089:1;<" -./089:19<" -./089:1=7<6"
  • 35. コンテキストスイッチ s1 s3 s2 s4 !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" &%!!!" (%!!!" ;%!!!" <%!!!" $!%!!!" $&%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #!!" $%!!!" $%#!!" &%!!!" &%#!!" '%!!!" '%#!!" (%!!!" (%#!!" #%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" !" #%!!!" $!%!!!" $#%!!!" &!%!!!" &#%!!!" '!%!!!" $!)$!" $!!)$!" $!!)$!!" $!!!)$!!" '!!)'!!" *+,-*" ./0" ,123)415.1*" ,123)6789" ,123):*+,4" 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 35
  • 36. まとめ 1.  CephFS Kernelドライバはまだ本番環境には使えない 2.  CephFS FUSEドライバは、作成ファイル数が増えるとコン テキストスイッチが急激に増加する 3.  CephRBDは検証環境では普通にNFS(1台)並みの性能 1.  1G etherを使い切っている 2.  NW/キャッシングのチューニングでさらに向上が⾒見見込まれる 4.  CephRBD_QEMUドライバは、ランダムRWではkernelドラ イバより良い結果となった 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 36
  • 37. 参考情報 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 37 http://www.mellanox.com/related-docs/whitepapers/ WP_Deploying_Ceph_over_High_Performance_Networks.pdf
  • 38. 参考情報 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 38 2,419MB/sec (8M Seq. READ) 110k IOPS (4k Seq. READ)
  • 39. ⽇日本Cephユーザー会 l  https://groups.google.com/forum/#!forum/ceph-jp l  July Tech Festa 2014 l  http://2014.techfesta.jp/ l  会場: 産業技術⼤大学院⼤大学 東京都品川区東⼤大井1-10-40 l  ⽇日程: 2014年6⽉月22⽇日(⽇日) 10:00- l  タイトル:オープンソース次世代分散ストレージ「Ceph」解説 l  内容: l  「Ceph」はLinuxカーネル2.6.34で標準実装されたファイルシステ ムで、複数のストレージシステムに対して、データを分散管理する 仕組みを実現しています。 l  オブジェクトストア、ブロックストア、POSIX準拠の分散ファイ ルシステムで構成され、⾼高い拡張性、⾃自動拡張、⾃自⼰己修復などが特 徴です。OpenStackにもブロックストレージのプラグイン 「Cinder」からも利⽤用可能です。今回はこの「Ceph」の概要から 優れた特徴について解説します。 14/06/02 Copyright 2014(C) OSS Laboratories Inc. All Rights Reserved 39