DBTS2016 Data as Code - Delphix

© 2016 Insight Technology, Inc. All Rights Reserved.
Database as Code -
サクッとテスト用DB環境をアプリチームに渡したい
〜 DevOpsを実現するテクノロジーの秘密

© 2016 Insight Technology, Inc. All Rights Reserved. 2
自己紹介
 石川雅也 (いしかわまさや)
 現職
 株式会社インサイトテクノロジー取締役 CTO
ビッグデータソリューション事業部
FB: MasayaIshikawa
 職歴
 外資系HWベンダーにて、ミニコン/UNIX OS担当SE. 社内SE向け技術情報発信、
トラブルシュート。crash dump解析、UNIX SCSI Device Driver改造とか
 1993年日本オラクルに入社。
DBインフラ系テクニカルサポート、コンサルティング、トラブルシュート。
 1995年インサイトテクノロジー設立
Oracleパフォーマンス管理ツール Performance Insight開発 (1995~)
Oracleアクセスログ取得管理ツール PISO開発 (2004~)
SQL Server版、富士通Symfoware版 PISO開発 (2005~)
DBコンサルティング、トラブルシュート
2012年 DB専用IAサーバー Insight Qube 開発
2013年 Actian DWH向けRDBMS 販売開始
2015年 Delphix データ仮想化ソリューション販売開始
現在 NVMe, NVMe Fabric, 大規模分析/ストレージ基盤などをR&D中

今日のセッションの目的とゴール
目的
• DevOpsは海外では既にスタン
ダード。どーする日本?
• DBAの立場から DevOpsを啓蒙
したい。
• でTest Data Management
(TDM)の話と Delphixという製
品を紹介したい
ゴール
• TDMについて理解する
• Database as Codeについて理解
する
• Delphixのテクノロジーとメリッ
トを理解する
• DevOpsやらないとまずいな
と思う

今日のkeyword
TDM – Test Data Management
Delphix
Agile 開発、DevOps
IaC - Infrastructure as Code
Database as Code

Test Data Management

リファレンス製品
Oracle TEST DATA MANAGEMENT PACKとは
仮想化やクラウド・コンピューティングなどの新しいデータセン
ター・テクノロジーの登場により、アプリケーション・データは急激
に増加しています。本番データベース内に留まらず、関連するテスト、
開発、本番データベース以外のその他のデータベースでも同様のこと
が起こっています。Oracle Test Data Management Pack を使用す
ると、アプリケーションの開発、トレーニングおよびテスト向けに、
データセットの参照整合性を維持しながらサイズを縮小した本番デー
タのコピーを作成できるため、企業ではストレージ・コストの削減を
実現できます。Oracle Test Data Management Pack では、データ
検出とアプリケーションのモデリングにより、エンタープライズ・ア
プリケーションの複雑なビジネス・ルールが自動的に実行され、正確
な本番データのサブセットが生成されます。
http://www.oracle.com/technetwork/jp/oem/db-mgmt/511875-ja.pdf

TDM Today (1) speed, work cost
 インフラ担当者の作業コスト
 承認オーバーヘッド
 環境提供までの待ち時間
作業時間とコスト
テスト時間の減少
単体テスト環境
本番DB環境の
コピーを申請
統合テスト環境
本番DB環境の
コピーを申請
品質管理環境
本番DB環境の
コピーを申請
開発環境
システム管理者DB管理者
本番DB環境の
コピーを申請
各種リソースの
確認
領域の確認と
切り出し
ファイルシステム
の構成
バックアップ
ファイルのコピー
DBのリカバリー
DBのパラメータ調整
環境の引き渡し
数日の
待ち時間
ストレージ管理者
セキュリティの確保

データコピーデータコピー
900GB 900GB 900GB 900GB
開発
システム
単体テスト
システム
統合テスト
システム
品質管理
システム
バックアップ
システム
900GB
8
TDM Today (2) environment
 テスト・開発環境には予想以上に
ストレージ容量が必要
 節約のため環境削減、共同利用など
本番システム 900GB
合計5.4TB
HWコストアップ
テスト・開発時間の減少

900GB 900GB 900GB 900GB
開発
システム
単体テスト
システム
統合テスト
システム
品質管理
システム
バックアップ
システム
900GB
9
TDM Today (3) data quality
 ストレージ容量、ロード時間短縮のため
データのサブセットを使用
データ再現性減少による
テスト品質の低下
データサブセットのみ使用
100GB100GB100GB
 自前で作成したダミーデータでのテスト
数MB 数MB

900GB 900GB 900GB 900GB
開発
システム
単体テスト
システム
統合テスト
システム
品質管理
システム
バックアップ
システム
900GB
10
TDM Today (4) data security
 データマスキングの作業コスト
マスキング作業コスト
テスト品質の低下
 自前で作成したダミーデータでのテスト
社員外注外注外注
ステージング
コピーマスキング
外注

すべてDelphixで解決できる!!
インフラ担当者の作業コスト
 ボタン一つで環境作成
承認オーバーヘッド
 Dev, QA担当で作業可能
環境提供までの待ち時間
 元のデータサイズにかかわらず数分で環境構築可能
テスト・開発環境には予想以上にストレージ容量が必要
節約のため環境削減、共同利用など
 データは圧縮かつ仮想化されており、格納効率は数10倍以上
 仮想化されているため数100個の環境を作成するのも現実的

すべてDelphixで解決できる!!
 ストレージ容量、ロード時間短縮のためデータのサブセットを使用
 本番のフルデータを使用しても、ストレージ容量、ロード時間の
問題は発生しない
自前で作成したダミーデータでのテスト
 本番データを元に作成しているので、データの考慮漏れなどによる不
具合などは発生しない。
 データは常に(本番と同じ)最新状態に保つことが可能であり、
テスト品質の確保にプラス。
データマスキングの作業コスト
 データの物理的コピーを伴わないため短時間でマスキング終了
かつステージング環境は必要ない
 一度定義すると、最新データも自動的にマスキング、常に最新でセ
キュアな環境を提供可能

Sync
Version
Virtualize
Apps Files
Databases
Delphix 会社概要
• 本社：米国カリフォルニア州 Menlo Park市
• 設立：2008年 / 正式製品リスース：2011年 / 従業員数: 387名
• 日本法人：2015年1月1日開設、現在5名(営業/エンジニア/マーケティング)
• 経営陣及びチーム
– CEO: Jedidiah Yueh (Avamar社創業者CEO (EMCにより買収))
– その他：Oracle Fusion Cache発明者 / Oracle Flashback Database発明者 / Oracle
RACディレクター / VMWare EVP / Business Objects創業者 / ZFS共同発明者など
• 導入企業：世界252社、日本国内6社 (2016年2月現在)
投資家
顧客 (252社)
会社概要

Sync
Version
Virtualize
Apps Files
Databases
 ソースシステム（例えば、本番環境）の物理的なDB/ファイルシステム/アプリケーション
を、仮想的にコピーした環境を作成し、継続的に同期する仮想化ソリューション
 仮想環境は任意の時刻で作成することが可能。
 仮想環境はソースシステムとは独立した読み書き可能な環境であり、自由な更新が可能。
 圧縮、重複排除技術によりソースデータは約1/3~1/4に圧縮して格納。
 仮想環境作成時、実データは複製されず使用する領域はほぼ増加しない。
したがって、ソースのサイズにかかわらず仮想環境作成は数分で終了。
 仮想化したデータに対して自動的で継続的なマスキングが可能。
コアテクノロジー

開発
NFS, iSCSI
テスト
品質保証QA)
統合
分析
帳票
DELPHIXエンジン
App Binaries,
Files
DB Binaries, Files
Database
ソースシステム(本番環境など)
App Binaries,
Files
DB Binaries, Files
Data Warehouse
ソースシステム(本番環境など)
SHARED
DATA
+
CHANGED
DATA
Sync
Version
Virtualize
Apps Files
Databases
高圧縮
同期/差分情報コピー
物理容量を消費せず
仮想環境を
複数複製
任意の時刻で
プロビジョニング
マスキングや
物理環境へのリストアも可能

開発 QA 受入テスト
本番環境
1 TB
App Data Files
Sync
Version
Virtualize
Apps Files
Databases
非本番環境
 重複排除
 圧縮
 仮想化により領域追加消費なし
 ユニークなブロックマッピング技術
0.3 TB

0 2 4 6データベースをリフレッシュ
従来
環境レフレッシュ
テスト
環境レフレッシュ環境レフレッシュ
期間 (週)
リセットによりテスト業務効率が大幅に向上
Developer BASIS DBA
サイクルタイムを3〜5倍に引き上げ、更に多くのテストを実行
テスト数の増加
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
テスト
 リフレッシュ時間を短縮(数日レ
ベル→数時間レベル)
 データベースをリセットするこ
とにより待ち時間を削減
 リセットにより処理ステップ数
を削減>> 削減できたリソース
を他のプロジェクトに配分
 すぐに使えるテストデータに
アクセス可能
 数分以内でリセット >> クオ
リティの高いテストが行え、
且つ作業量を大幅に削減

Delphixによるバージョン管理
Dev
QA
UAT
Dev
QA
UAT
v. X.2
Dev
QA
UAT
v. X.3
本番システムのタイムフロー
仮想化により、複数開発プロジェクトの同時実
行が可能になり、また異なるデータベースの
データ及びスキーマ変更履歴管理が容易に

SAPアプリケーションプロジェクト：ランドスケープの仮想化
従来：典型的なSAPプロジェクトランドスケープ
QA開発本番前
プロジェク
トライン
N+1
プロジェク
トライン
N
サポート
ライン
サンドボックス
QA 本番開発
QA開発本番前サンドボックス
QA開発本番前
プロジェクト
ライン
N+複数
プロジェクト
ライン
N
サポート
ライン
サンドボックス
QA 本番開発
QA開発本番前サンドボックス
• コピー作成、リフレッシュに数週間
• 物理コピーのためのインフラコスト
• 環境が共有されており、且つ多くの制約があるため
テスト、バリデーション作業に遅延が発生
同時開発を連続的に実行 >> チームあたりの生産性が20%向上
仮想化されたフルデータセットにより1/20まで物理容量を削減
サンドボックス提供により、更に多くのトレーニングクラス
N+複数N

エンドツーエンドの統合テストを円滑化
10:27:36 A.M. 1:30:20 P.M. 5:07:15 P.M.
ECC
BW
CRM
レガシーアプリ
在庫管理
Developer BASIS
 時間がかかっていたリフ
レッシュ作業を簡単なセ
ルフサービスで代替 >>
削減できたリソースを他の
プロジェクトに配分可能
 数分以内で確実にデータ
同期 >> クオリティ
の高いテストが行え、且
つやり直し作業削減
DBA
主要業務プロセスにおけるエ
ンドツーエンドの透過性とコン
トロールを提供
新規アプリのリリースマネジ
メント及びTTMの高速化
 全て環境ライフサイクル
において、簡単な操作で
指定した時間のデータを
瞬時に同期

今までのプロセス:
複雑、他部署との連携、承認
COMPLEX. COSTLY. SLOW.
データ管理プロセスの迅速化
VS.
SELF SERVICE. EFFICIENT. ON DEMAND
EMPOWERED USERS:
SELF-SERVICE
DATA AS A SERVICE
セルフサービス
効率化
より速く→より高品質

© 2016 Insight Technology, Inc. All Rights Reserved. © 2014 Delphix. All Rights Reserved Private and confidential 22
Delphixによるセルフサービス (DBAを介さず、好きな時に好きなデータ断面を取出し）
任意の時間にマーキング
他ユーザへコメント共有

“DATA AT
RISK” IS IN
DATABASE
S
お客様テーブル
ID First_Name
1 George
2 Mary
3 John
従業員テーブル
ID First_Name
5 John
6 George
7 Mary
お客様テーブル
ID First_Name
1 Romanth
2 Clara
3 Damien
従業員テーブル
ID First_Name
5 Damien
6 Romanth
7 Clara
未マスクデータマスク済データ
データマスキングにより非本番環境の機密データを保護
現実性
テストや分析のために
リアリティのある値を
保持
参照整合性
多数のデータベースが混在した環境でも整合性を保ちながらデータをマスキング
非可逆性
機密データを不可逆的
に置き換える
反復可能
更新されたデータも常
に同期し自動的にマス
キング
本番環境内の機密データ
社会保障番号(マイナンバー) 、
クレジットカード番号、
患者情報、
Eメールアドレス等

アプリケーションプロジェクトを加速化させるデータセキュリティソリューション
一般的なマスキング
１．物理データを毎回マスキングし移動させる時間・手間を回避
２．セキュアな環境を数分でデリバリ
３．セルフサービスでマスキングデータをプロビジョニング
開発、テスト、
QA 環境
18時間
コピー作成
マスク済
データ
6時間
コピー作成
コピー作成
マスクされた
ゴールデンコ
ピーの作成
開発、テスト、QA 環境
に対してマスクされた仮想コ
ピーを提供
15分
マスク済
データ
4時間

Products & Add-Ons
Delphixエンジン– The Virtual Data Hub
• ソフトウェアアプライアンス、一台ずつ課金
• サポートプラットフォーム:
• VMWare, AWS EC2
• サポートデータソース:
• Oracle, Microsoft SQL, Sybase, DB2, PostgreSQL, MySQL
• Packaged Applications: Oracle EBS, SAP
• Linux, Unix & Windows File Systems
アドオン
• Data Masking: In-Line Data Masking for All Sources
• U2L: Unix to Linux Translation
• Multi-Tier: All Supported DBs, Applications & File Systems
• JetStream: Agile Development Toolkit
• Mission Control: Advanced Reporting & Auditing
Sync
Version
Virtualize
Apps Files
Databases

DevOps

 コードのデプロイ頻度 30倍
 リードタイム 1/200
 エラー 1/60
 エラーからの復旧時間 168倍

de:code 2016 黒船襲来! 世界DevOps トップ企業 x マイクロソフトによるトークバトルセッション

Agile開発 - Before DevOps
アジャイル開発 http://www.nec-nis.co.jp/ja/column/01_agile.html
Agile Testing
Agile Infrastructure
(Infrastructure as Code)

DevOps
Tools
1. Automated infrastructure
2. Shared version control
3. One step build
and deploy
4. Feature flags
5. Shared metrics
6. IRC and IM robots
Culture
1. Respect
2. Trust
3. Healthy attitude about failure
4. Avoiding Blame

• Infrastructure as Code (IaC)
• 継続的インテグレーション
• 自動テスト
• 継続的デプロイ
• リリースマネジメント
• アプリパフォーマンスの監視
• ロードテストと自動スケーリング
• 可用性監視
• 変更/構成管理
• 機能フラグ（フューチャーフラグ）
• 環境へのプロビジョニングの自動解除
• セルフサービス環境
• 自動回復 (ロールバックとロールフォワード)
• 仮説に基づく開発
• 運用環境でのテスト
• フォールトインジェクション
• 使用状況監視/ユーザーテレメトリ
http://www.itproguy.com/devops-practices/
Agile Japan 2016 「日本でも出来る本物の DevOpsジャーニー」より

DevOps Tools
Continuous
Integration Jenkins, Teamcity, Travis
Configuration
Management Puppet, Chef, Ansible
Configuration
Inspection Sonarqube, HP Fortify, Coverity
Containerization
& Virtualization
Docker, Vagrant, OpenStack,
Hyper-V, VMware
Version Control
& Deployment DBmaestro
Orchestration Apach Zookeeper,
Apache Mesos
Monitoring Nagios
Delphix
Data
Management

スプレッド取引業界最大
競争の激しい市場
既に実現していた仕組み
- リリースマネジメントの自動化
- 継続的統合
- テストの自動化
- 高速設定・削除
開発グループはスクラム、TDD、BDDを採用
SAFe及びAgilePMによるアジャイル開発
“Best Mobile Trading Platform” を受賞 (atMoneyAM
Online Finance Awards)
事例
“We turned to Agile to
increase ITs value to the
business and make it more
effective.“

テスト及びリリースマネジメントにおけるデータコピー
が常にボトルネック
スクラムのメリットがリリース時間で奪われる
同時に8プロジェクトを実行
複数の本番データのリストアにそれぞれ４時間必要
開発サイクルが長期化
リソースの依存関係に悩まされる
イノベーションを犠牲に
課題
“We found ourselves having to
sacrifice new innovative
projects in order to prevent
delivery rates from slipping.”

MS SQL Server 2008のデータをDelphixにより仮想化
POC1ヶ月で構築
短期間で効果発揮
ソリューション
4時間かけていたDB作成を3分に短縮
共有して使っていたQA環境が不要
30名の開発者がセルフサービスでデータを利用
インフラ側管理者はデータコピー以外の重要な作業に注力
開発サイクルを75%短縮
アプリケーション・追加機能を更に20%多くデリバリ可能
成果
“Delphix has unlocked
the potential of Agile
helping us increase
our output to the
business by 20%.”

Wrap Up
• Test Data Management に Database仮想化を入れると
• DBインフラ担当の工数削減、
環境整備という(いわゆる)面白くない仕事を極小化出来る
• 素早く柔軟な環境提供、本番フルデータを安全に提供
することにより、開発・テスト効率の大幅アップ
• ストレージコストの削減
• DevOpsに Database as Code を入れると
• DevOps環境で今まで仮想化・コード化されておらず足を引っ張って
いたデータおよびデータベース、その最後のピースを改善して
DevOpsのスピードアップを実現

DBTS2016 Data as Code - Delphix

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à DBTS2016 Data as Code - Delphix

Similaire à DBTS2016 Data as Code - Delphix (20)

Dernier

Dernier (9)

DBTS2016 Data as Code - Delphix