WALをバックアップとレプリケーションに使う方法
•
4 j'aime•3,303 vues
WalBのドライバとバックアップレプリケーションツールの紹介 おまけ: データレイアウトの話
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (17)
Similaire à WALをバックアップとレプリケーションに使う方法
Similaire à WALをバックアップとレプリケーションに使う方法 (20)
Plus de Takashi Hoshino
Plus de Takashi Hoshino (20)
Dernier
Dernier (11)
WALをバックアップとレプリケーションに使う方法
- 1. WALをバックアップと レプリケーションに使う方法 サイボウズ・ラボ 星野喬、光成滋生 2014-12-11 @ビッグデータ基盤勉強会
- 2. 自己紹介 •星野喬(@starpoz) –サイボウズ・ラボ •興味 –データベース/ストレージ/分散システム •今の仕事 –WalBの開発 2
- 3. 目的 •オンラインで一貫性のある ストレージバックアップを取得 •複数世代バックアップアーカイブを保持 •非同期遠隔レプリケーション Online services Backup data Replicated data Primary DC Secondary DC 3
- 4. •Linux ブロックデバイスドライバ+ 周辺ツール •全ての書き込みをログ(Wlog)として記録 •複数のWlogをWdiffに変換 •Wdiffをバックアップ/レプリケーションに利用 WalB: WAL on Block Device WalBstorage Backup storage Replicated storage Wdiff 4
- 5. WAL (Write-Ahead Logging) •一貫性保持のため 書き込み情報(ログ)を先に書く –WalBではバックアップのために利用 Ordinary Storage WAL Storage Write at 0 Write at 2 Read at 2 Write at 2 0 0 2 0 2 0 2 2 Time 5
- 6. ブロックデバイスコピーの難しさ •一瞬でコピーはできないので、 コピー中にデバイスに書き込みが発生 –Dirty snapshotが出来る 100GiBのファイル 푡0コピー開始 푡1コピー終了 ブロックデバス ブロックデバイス 푡0時のデータ 푡1時のデータ コピー中にWriteアクセス 6
- 7. Dirty snapshot をclean snapshotへ •Dirty snapshot にWdiffを適用して clean snapshot を作る Snapshot (푡0) Dirty snapshot (푡0,푡1) 푡0 푡1 Snapshot (푡1) コピー中にWriteアクセス D1 D2 Wdiff(푡0,푡1)を適用 Snapshot (푡1) 7
- 8. アーキテクチャ(最小構成) •WalB-storage –バックアップ対象の データを取得、転送 •WalB-proxy –WlogからWdiffへの変換 –WalB-archiveへの転送 •WalB-archive –アーカイブデータ管理 –レストアやレプリケーション の実行 WalBdevice Base image WalB-archive wdiff wdiff WalB-proxy wdiff wdiff WalB-storage 8
- 9. WalBブロックデバイス(Wdev) •WdevはDdevとLdevを一つに見せる –Ddev: ユーザがWdevを通して見える領域 –Ldev: Wlogが実際に書き込まれる領域 Wdev Ddev Ldev Read Write Wlogs Any application (File system, DBMS, etc) Wlog extractor 9
- 10. アーカイブデータ管理 Base image Wdiff Wdiff ... Merger Wdiff ... Merged wdiff Base image (virtual) copy Wdiff (1) Merge (3) Restore (2) Apply (4) Virtual scan 10
- 11. 可用性の高いサーバ構成 Wdev Base-image MD (raid1) dev Base-image WalB-archive WalB-archive wdiff wdiff WalB-proxy wdiff wdiff wdiff wdiff Wdiff- transfer WalB-storage (standby) WalB-storage (target) Full/hash backup Wdiff-transfer Replicate Wlog- transfer Wdev 11
- 12. WalBの利点と欠点 •利点 –レスポンスオーバーヘッドが小さい –フラグメンテーションが起きない –シーケンシャルリードでログを取り出せる •欠点 –Write に2倍強の帯域が必要 12
- 13. 既存手段 •DRBD –レプリケーションに特化 –長距離間では有償のDRBD Proxy が必要 •Dm-snap –COW を用いたスナップショット作成が可能 –差分取得にフルスキャンが必要 •Dm-thinp –COW と参照カウンタを用いたthin provisioning –フラグメンテーションが避けられない 13
- 14. 既存手段との比較 WalB dm-snap Capability dm-thinp DRBD Incr. backup Sync repl- ication Async repl- ication Performance Negligible Search idx Negligible Read response overhead Search idx Write response overhead Fragment- ation Write log instead data Modify idx Send IOs to slaves (asyncrepl.) Modify idx (+COW) Never Inevitable Never Never (original lv) 14
- 15. WalBvs DRBD WalB Method to detect diffs WAL DRBD Bitmaps Penalty after crash Redo Additional data transfer Snapshot reproduction capability Yes No Write amount on devices 2x+ 1x+ 15
- 16. WalBはredo log のみ記録 •Undo log を作るためには追加のread が必要 •Undo log を作ると性能低下は避けられない Data Log (1) write IOs submitted (2) read current data (3) write undo logs Data Log WalB (1) write IOs submitted (2) write redo logs Generating redologs Generating undologs 16
- 17. 逐次処理した場合のIO処理の流れ •SubmittedからCompletedまでが長い Submitted Time Completed Packed Log submitted Log completed Wait for log Flushed and overlapped IOs done Data submitted Data completed Write Submitted Time Completed Data submitted Data completed Read Log IO response Data IO response Write IO response Data IO response 17
- 18. WalBのIO処理の流れ •SubmittedからCompletedまでが短い Submitted Time Completed Packed Log submitted Log completed Wait for log Flushed and overlapped IOs done Data submitted Data completed Log IO response Data IO response WalBwrite IO response Pdatainserted Pdatadeleted Write Submitted Time Completed (Data submitted) (Data completed) Read Pdatacopied Data IO response 18
- 19. WalBドライバ性能(Random write) 参考値、Trim による初期化では性能が安定しない 19
- 20. WalBドライバ性能(Random write)続 kernel 3.2 用の2年前の評価データ、secure erase 使用 20
- 22. WdiffのMerge性能 Virtual disk size: 100GiB Number of 4KiBrandom writes: 4M Number of diffs: 16K 22
- 23. レポジトリとコンタクト •GitHubrepository: –デバイスドライバ: https://github.com/starpos/walb/ –ユーザーランドツール: 近日公開予定 •Contact: –Email: hoshinoAT labs.cybozu.co.jp –Twitter: @starpoz(hashtag: #walbdev) 23
- 25. 次の興味: レイアウトのトレードオフ •COW costvs Sequantialread cost –chunk size で調整は可能だが。。。 コストパフォーマンス向上は可能か？ 25
- 26. 極端な方に倒してみる ... Write-once dm-thinp 26
- 27. Write-once プロトタイプ •ダブルバッファリングはサボリ •インデクスはsorted array で二分探索 •ファイルに書いた後は、mmapでキャッ シュ管理をOS にお任せ 27
- 28. 簡易評価 •HDD単体での性能(vs dm-thinp) •SSD単体での性能(vs dm-thinp) •Hardware RAID6 (BBU)での性能 28
- 29. HDD 単体での性能(IOPS) Write-once dm-thinp/cow 26515 Random write 4404/3856 11008 Sequential read ---/34816 181 Random read ---/143 Virtual disk size: 4GiB Number of 4KiBrandom writes: 1M Number of diffs: 32 29
- 30. SSD 単体での性能(IOPS) Write-once dm-thinp/cow 16711 Random write 17980/9989 53760 Sequential read ---/36352 1657 Random read ---/4630 Virtual disk size: 4GiB Number of 4KiBrandom writes: 1M Number of diffs: 32 30
- 31. RAID6: Random Write Virtual disk size: 16GiB Number of 4KiBrandom writes: 16M Number of diffs: 16-16384 31
- 32. RAID6: Sequential Read Virtual disk size: 16GiB Number of 4KiBrandom writes: 16M Number of diffs: 16-16384 32
- 33. RAID6: Random Read Virtual disk size: 16GiB Number of 4KiBrandom writes: 16M Number of diffs: 16-16384 33
- 34. 今後の展望 •mmapじゃなくてaioで •調整つまみひとつでバランス変更 •Read されたついでにGC してIO を節約 •key-value 34