Introduction to windows azure storage
•Télécharger en tant que PPTX, PDF•
4 j'aime•1,946 vues
Recommandé
Contenu connexe
Tendances
Similaire à Introduction to windows azure storage
Similaire à Introduction to windows azure storage (20)
Plus de Takekazu Omi
Plus de Takekazu Omi (20)
Dernier
Dernier (8)
Introduction to windows azure storage
- 1. Windows Azure Storage 再入門 kyrt @takekazuomi 公開情報から読むWindows Azure Storageの仕組み http://www.slideshare.net/takekazuomi/gwab-windows-azure-storage
- 2. アジェンダ • Storageの３つの種類とAzure Platform内のRole • WASのアーキテクチャ コンポーネント • ストレージスタンプのレイヤー構造 • ストリームレイヤーの概要 • sealed extentsのeraser coding • パーテーションレイヤの概要 • コミット ログ ストリーム、ブルーム フィルター • Gen2の変更点 2013/4/27 kyrt @takekazuomi 2
- 3. blob, table, queue • 種類は3つ、Windows Azure Platform の基盤を構成する分散 Storage • Blobが大活躍 Blob Table Queue rest file system • Block/Page • CDN • Virtual Machine OS/Data Disk • Azure Drive • etc structure data key/value schema less • diagnostics • etc messaging queue • storage base rpc • etc 2013/4/27 kyrt @takekazuomi 3
- 4. partitionは分散の単位 • Blob, Table ,Queueのpartition • Blobは、URL毎、Tableは、 partition key、Queueはqueue毎で別のpartition • partitionのパフォーマンスターゲット • 2,000 tran/s(queue/table) • 480Mbps/s (blob) • アカウント全体 • 20,000 tran/s(table,queue)※ • 受信 – 10GBps • 送信 – 15GBps 参照： http://blogs.msdn.com/b/windowsazure/archive/2012/11/02/windows- azure-s-flat-network-storage-and-2012-scalability-targets.aspx 2013/4/27 kyrt @takekazuomi 4
- 5. Windows Azure Storageの アーキテクチャーコンポーネント s front end partition Layer stream layer storage stamp VIP s front end partition Layer stream layer storage stamp VIPDN S ロケーション サービス アカウント管理 DNS参照 blob, table, queueへ のアクセス stamp間リプリケーション 2013/4/27 kyrt @takekazuomi 5
- 6. ３つのレイヤー • stream layer • このレイヤでデータをディスクに永続化。DFSのようなもの。stream と呼ば れるファイルを使い。保存方法とリプリケーションを実装する。streamは、 extentのordered list。 • このレイヤは、Blob, Tableなどの構造やセマンティックに依存しない。 • partition layer • 高レベルのデータ構造（blob, table, queue)を実装 • オブジェクトに対するトランザクションの順序付、一貫性の確保を実装 • オブジェクトデータのキャッシュ • front end • リクエストのpartition server へ転送 • serverと、 partitionの割り振りを管理するpartition mapを保持 2013/4/27 kyrt @takekazuomi 6
- 7. stream layer • stream へのWriteは、Appendのみ • Open/Close/Delete/Rename/Read/Apped/Concat pointer of extent E1 B1 1 B1 2 ・ ・ ・ B1 x extent E1 - sealed pointer of extent E2 B2 1 B2 2 ・ ・ ・ B2 x extent E2 - sealed pointer of extent E3 B3 1 B3 2 ・ ・ ・ B3 x extent E1 - sealed pointer of extent E4 B4 1 B4 2 B4 3 extent E1 - unsealed stream //bar 2013/4/27 kyrt @takekazuomi 7
- 8. sealed extentの最適化 • シールされたextentをreplication -> erasure codingで最適化 • リード・ソロモン符号を使って最適化 • 単純に3重にリプリケーションした場合3倍のコストだが1.3－1.5倍の コストに低減できる この辺りは日々改善 • Local Reconstruction Codes (LRCs) • LRCは３つの障害があっても１００％の復元でき、３つのレプリカや ６＋３リードソロモンより耐久性に優れている。 • LCRはリードソロモンより14％データオーバーヘッドが小さく、少な いデータフラグメントの読み込みで復旧することができる 2013/4/27 kyrt @takekazuomi 8
- 9. partition layer architecture partition map table partition manager partition server 1 partition server 1 partition server 1 paxos lock service front end stream layer partition layer updateread update lease watch lease assign partition 2013/4/27 kyrt @takekazuomi 9
- 10. partition layer • Object Table • partition layerの主な仕事はOTの管理と運用 • OT内は、Range Partition（ low-keyからhigh-keyまで）に分かれてい て、 Range Partitionは スタンプ内のパーティション サーバー 分散し ます • Range Partitionの範囲は負荷によって変動 • Range Partitionとpartition serverの割り振りは、 Partition Manager （クラスタ）が行い。調停にはPaxosロック サービス が使われます 2013/4/27 kyrt @takekazuomi 10
- 11. range partition の処理 commit log stream meta data stream row data stream blob data stream stream layer partition layer memory table row page cache bloom filter readwrite 2013/4/27 kyrt @takekazuomi 11
- 12. 第2世代storageの改善点 参照： http://satonaoki.wordpress.com/2012/11/03/windows-azure%E3%81%AE%E3%83%95%E3%83%A9%E3%83%83%E3%83%88- %E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF- %E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%81%A82012%E5%B9%B4%E7%89%88%E3%82%B9/ ストレージSKU ストレージ ノード ネットワーク速度 コンピューティング とストレージとの間 のネットワーク ロード バランサー ジャーナリングに使 われるストレージデ バイス 第1世代 1Gbps 階層型ネットワーク ハードウェア ロード バランサー ハード ディスク ドラ イブ (HDD) 第2世代 10Gbps フラット ネットワー ク ソフトウェア ロード バランサー SSD 2013/4/27 kyrt @takekazuomi 12
- 13. Azure Storage Client • .NET Framework • https://github.com/WindowsAzure/azure-sdk-for-node nuget • node.js • https://github.com/WindowsAzure/azure-sdk-for-node npm • java • https://github.com/WindowsAzure/azure-sdk-for-java maven • python • https://github.com/WindowsAzure/azure-sdk-for-python PyPI • ruby • https://github.com/WindowsAzure/azure-sdk-for-ruby gem2013/4/27 kyrt @takekazuomi 13
- 14. 最後に • 今回の内容は、Azure Storage TeamがSOSPで発表した内容に 基づいています • 23rd ACM Symposium on Operating Systems Principles (SOSP) "Windows Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency“ 翻訳もあります • Windows Azure ストレージ: 高可用性と強い一貫を両立する ク ラウド ストレージ サービス • http://msdn.microsoft.com/ja-jp/windowsazure/dd439432#leaning 2013/4/27 kyrt @takekazuomi 14