Contenu connexe
Similaire à Persistence on Azure - Microsoft Azure の永続化 (20)
Plus de Takekazu Omi (20)
Persistence on Azure - Microsoft Azure の永続化
- 2. 自己紹介
近江 武一
JAZUG Azure Storage 担当(自称)
Microsoft MVP for Azure
kyrt @takekazuomi 2
kyrt.in
github.com/takekazuomi
white paper
監訳
- 14. Microsoft Azure Storage
Cloud Storage – Anywhere and anytime access
⇨ Blob, Tables, Queue, Files
Highly Durable, Available and Massively Scalable
⇨ 容易にinternet scaleのアプリケーションが構築可能
⇨ 30 Trillion stored objects (※1)
⇨ 2.5+ Million request/sec on average (※2)
従量課金
簡単でOPENなREST APIで公開
複数のクライアントライブラリのサポート .NET, Java, Node.js,
Python, PHP, Ruby
※1 TechEd 2014 / 2014-05 / Microsoft Azure Storage
http://channel9.msdn.com/Events/TechEd/NorthAmerica/2014/DCIM-B384
※2Azure IaaS for IT Pros Online Event / 2014-12 / View from the CTO: Mark Russinovich
http://channel9.msdn.com/Events/Microsoft-Azure/Level-Up-Azure-IaaS-for-IT-Pros/View-from-the-CTO-Mark-Russinovich-Chief-Technology-Office-Azure
- 17. Abstractions - Blob, Table, Queue, Files
Storageは4種類
Blob
REST file system
• Block/Page
• Data 共有- image,
video …
• Big Data - raw
data/logs …
• Backup – SQL
Database, file
backup
• Disks – mount
VHDs
Table
structure data
• NoSQL
• key/value
• schema less
• scale
• partitioned
sorted set
Queue
Reliable
messaging system
• component/role
間結合
• 非同期タスクス
ケジュラーの実
装
• process/work
flowsの構築
Files
SMB file share
• 複数インスタン
スからマウント
• 標準的なSMBプ
ロトコル
• config等の共有
preview
- 18. Blob – massively scalable object store
データ共有
⇨ 画像、動画、非構造化データ
Big Data
⇨ 生データ、ログの保存
Backup
⇨データやデバイスのバックアップ
19
- 20. Table – Massively scalable NoSQL cloud store
スケールするKey/Value store
トラフィックに応じた自動ロードバ
ランス
構造化データの保存
OData protocol (AtomPub or JSON)
21
- 21. Queue– Reliable messaging system
高信頼性、低レイテンシ、高スループッ
トなメッセージングシステム
分離されたコンポーネント向け
⇨Web RoleとWorker Role の通信
⇨ロールを別々にスケール
非同期スケジュールの実装に
22
- 23. Design Goals
強い一貫性の元での高い可用性の実現(Highly Available
with Strong Consistency)
⇨ 障害や分断に直面してもデータアクセスを提供
永続性(Durability)
⇨ データの複数の複製の保持、(regions を跨いた)
スケーラビリティ(Scalability)
⇨ zettabytes へのスケール
⇨ 世界中からアクセスできるglobal namespaceの提供
⇨ meet peak traffic での、automatically scale out と load balance
Additional details can be found in the SOSP paper:
⇨ “SOSP 論文 Windows Azure ストレージ: 高可用性と強い一貫を両立する クラウド スト
レージ サービス”, 2011 年 10 月に 23rd ACM Symposium on Operating Systems Principles
(SOSP) で発表された、Windows Azure ストレージ サービスに関する論文 (PDF 1.45MB)
kyrt @takekazuomi 24
- 24. パフォーマンスターゲット
Storage Account単位に性能目標がある
Blob, Table ,Queueのpartition
⇨ Blobは、URL毎、Tableは、 partition key、Queueはqueue毎で別の
partition
partitionのパフォーマンスターゲット
⇨ 2,000 tran/s(queue/table)
⇨ 480Mbps/s (blob)
アカウント全体
⇨ 20,000 tran/s(table,queue)
⇨ 受信 – LRS 10GBps, GRS 5GBps (米国 20GBps)
⇨ 送信 – LRS 15GBps, GRS 10GBps (米国 30GBps)
http://msdn.microsoft.com/ja-jp/library/azure/dn249410.aspx
25
- 25. Partition
Azure Storageは分散ストレージ
データはPartitionに分割して処理される
実際にpartitionと物理マシンの分散は負荷で変わる
(consistent hashingのvirtual nodeの考えと似てる)
Partitionを跨いだ処理は一貫性が保証されない(分散
トランザクションはサポートしてない、読み取り一貫
性も無い)
内部的にIDC内で3重化、GEO-REPLICATIONで複製を選
択すると6重に保存される
kyrt @takekazuomi 26
- 26. Azure Storageのアーキテクチャーコンポーネント
s
front end
partition layer
stream layer
storage stamp
VIP
s
front end
partition layer
stream layer
storage stamp
VIP
DNS
ロケーション
サービス
アカウント管理
DNS参照
blob, table, queueへ
のアクセス
stamp間リプリケーション
stamp内リプリケーション
stamp内リプリケーション
27
非同期
同期
- 38. 39
OS Disk
• Drive C:
• 永続化あり
Temporary Disk
• Drive D:
• 永続化なし
Data Disk
• 任意
• 永続化あり
- 43. Temporary Disk
消えても良いものは積極的に使うべき?
⇨“D シリーズの Virtual Machines (VM) を使用してい
る場合に限り、D ドライブに tempdb またはバッ
ファー プール拡張を格納してください”
• 参照:Azure Virtual Machines における SQL Server のパ
フォーマンスに関するベスト プラクティス
⇨Disk 集中型のワークロードで永続化不要な場合で
も「 D シリーズ」以外はあまりメリット無い
44
- 47. インスタンサイズの制限
DISKの最大数
⇨ サイズによって違う(DISKの数)
• A1:2, A2:4, A3:8, A4:16, A5:4, A6:8, A7:16, A8:16, A9:16
• D1:2, D2:4, D3:8, D4:16, D11:4, D12:8, D13:16, D14:32
StandardとBasic
⇨ Standard:500 IOPS, Basic:300IOPS
Azure の仮想マシンおよびクラウド サービスのサ
イズ(http://msdn.microsoft.com/ja-
jp/library/dn197896.aspx)
48
- 51. VM Disk
500 IOPS
RAID0で使う
⇨ GRが利用出来ない
5,000 IOPS
⇨ Premium Storage
⇨ http://azure.microsoft.com/blog/2014/12/11/introducing-
premium-storage-high-performance-storage-for-azure-
virtual-machine-workloads/
DISK集約的なケースでは、Dシリーズがお勧め
52
Notes de l'éditeur
- PaaSでは、かなりアグレッシブに再起動さえたり、ハードウェア交換されたりする
- DaaS?
- Azure Filesが無い
- Azure Filesが無い
- まずは、Azure Storageから
- Datacenter は世界17箇所でOpen
- File足す
- Massively scalable は、大規模にスケールするという意味、
- Queueは、重要だけど、永続化の仕組みではないので、ここは軽く
一時的なデータ置場のイメージ
- 次の表は、米国西部、米国東部 2、西欧地域で利用できる Premium Storage アカウントのスケーラビリティ ターゲットについてまとめたものです。
合計アカウント容量
ディスク容量:32 TB
スナップショット容量:10 TB
ローカル冗長 Premium Storage アカウントの合計帯域幅、受信と送信を合わせて毎秒最大 50 ギガビット
- Introducing Zone Redundant Storage
http://blogs.msdn.com/b/windowsazurestorage/archive/2014/08/01/introducing-zone-redundant-storage.aspx
ZRSでは基本単一リージョンの複数施設にレプリカを持つように設計されているが、リージョンを跨ぐこともある
BlockBlobのみ、メトリックス、ロギング無し
- これが、施設、ファシリティ
http://ja.wikipedia.org/wiki/%E9%9D%A2%E7%A9%8D%E3%81%AE%E6%AF%94%E8%BC%83
http://channel9.msdn.com/Events/Microsoft-Azure/Level-Up-Azure-IaaS-for-IT-Pros/View-from-the-CTO-Mark-Russinovich-Chief-Technology-Office-Azure
http://ja.wikipedia.org/wiki/%E9%9D%A2%E7%A9%8D%E3%81%AE%E6%AF%94%E8%BC%83
丁度ジャンボジェット機は2台入る程度
- 隣の建物で、ネットワークレイテンシーも小さい。しかし、別の建物なので、同じ建物より安全性が高い。火災とか
- Linuxからでも同じ
- http://blogs.msdn.com/b/windowsazurestorage/archive/2012/06/28/exploring-windows-azure-drives-disks-and-images.aspx
- A8/A9 コンピューティング集中型インスタンス
10Gイーサと、32GのRDMA
http://msdn.microsoft.com/ja-jp/library/dn689095.aspx