デジタル化への第一歩「エンタープライズデータレイク構築事例のご紹介」

1Copyright © 2019 BeeX Inc. All Rights Reserved.
デジタル化への第一歩
エンタープライズデータレイク構築事例
ご紹介

事例プロジェクトの背景

データドリブンな経営の実現を目指して
文化
データドリブンな経営
勘よりデータ

スキル
文化
勘よりデータ
分析できる人

データ
スキル
文化
「データ」にフォーカス
勘よりデータ
分析できる人
分析するデータ

データレイク(Data Lake)

AWS様ページより引用
データレイクとは
データレイクは、規模にかかわらず、すべての構造化データと非構造
化データを保存できる一元化されたリポジトリ
です。データをそのままの形で保存できるため、データを構造化しておく必要がありません。また、ダッシュ
ボードや可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、
的確な意思決定に役立てることができます。
引用元：https://aws.amazon.com/jp/big-data/datalakes-and-analytics/what-is-a-data-lake/

AWS様ページより引用
データレイクとは
データレイクは、規模にかかわらず、すべての構造化データと非構造
化データを保存できる一元化されたリポジトリ
です。データをそのままの形で保存できるため、データを構造化しておく必要がありません。また、ダッシュ
ボードや可視化、ビッグデータ処理、リアルタイム分析、機械学習など、さまざまなタイプの分析を実行し、
的確な意思決定に役立てることができます。
引用元：https://aws.amazon.com/jp/big-data/datalakes-and-analytics/what-is-a-data-lake/
どんな「大きさ」、「種類」のデータも
そのまま入れられ、適宜取り出せる場所

エンタープライズ・データレイク
構築事例

「データ」における課題とエンタープライズ・データレイク
多種多様なレガシーシステム企業の中核データ
顧客マスタ
取引伝票
工場毎に異なるライン
事業所固有システム
SAP

多種多様なレガシーシステム
データを利用したいのは
一般ユーザ
≠データサイエンティスト
企業の中核データ
顧客マスタ
取引伝票
SAP

一般ユーザ
顧客マスタ
取引伝票
SAP

一般ユーザ
組織を跨がる全社データ活用
顧客マスタ
取引伝票
SAP

一般ユーザ
顧客マスタ
取引伝票
SAP

一般ユーザ
顧客マスタ
取引伝票
使えるデータが
適切に維持・管理されている
SAP

データを介して「人」と「サービス」をつなぐ
一般ユーザ
顧客マスタ
取引伝票
SAP

データレイクの実装例

データレイクデータの流れ
データレイク
AWSにおけるデータレイクの中心となるサービス
S3

保管する
データレイク

保管する
データレイク
入れる
アップロード生データ変換/整形
生データ
生

保管する
データレイク
入れる
アップロード生データ変換/整形
生データ
使う
読み込み集計/分析生

入れる使う
アップロード生データ変換/整形読み込み集計/分析
保管する
生データデータレイク
この流れをパイプラインと呼びます
「集計/分析」からパイプラインを遡りながら説明します
生

「一般ユーザ」が利用できるデータは？
アップロード生データ変換/整形読み込み集計/分析保管
生

現場での学び
◆ セルフサービスBIが普及
• Tableau、 QlikView、 QuickSight等
• より製造現場に近い人がBIを使いこなしている

現場での学び
◆ まずは見える化
• 画面を見せることで初めて製造現場側もイメージができる
• 見える化できればあとは創意工夫
◆ セルフサービスBIが普及
• Tableau、 QlikView、 QuickSight等
• より製造現場に近い人がBIを使いこなしている

データを利用したいユーザ ≠ データサイエンティスト
少ない
生

Jupyter Notebookを使い
Pythonで分析
生

Pythonで分析
既存のBIツール、
既存のSQLスキルで分析
生

Pythonで分析
既存のBIツール、
既存のSQLスキルで分析
SQLで読み込める形式でデータが保管されていてほしい
生

SQL利用を想定したデータ保管
SQLで読み込める形式で
データを保管するためには
生

DB,テーブル構造・型情報
SQL実行可能な構造
生

保管コスト、分析パフォーマンス
大容量データへの対応
生

メタデータ
（データの概要、オーナー、更新日等）
どこに、どんなデータがあるか
生

メタデータ
AWS Glue
Parquet
生

メタデータ
AWS Glue
Parquet
少し説明
生

Apache Parquet（パーケイ)とは
列指向ファイルフォーマット
ファイル
として扱える

Apache Parquet（パーケイ)とは
列指向ファイルフォーマット
◆ 列指向(SAP HANAも列指向)
・必要な列のみ読み込み(I/O削減)
・高圧縮率
◆ データの型情報
・ String、Int、Boolean，Date、 Decimal型など
・型毎の最適化 ⇨ 高圧縮率
ファイル
として扱える
男性
女性
男性
02/11
女性
女性
32
45
23
37
28
03/23
11/03
08/06
09/16
男性
女性
男性
02/11
女性
女性
32
45
23
37
28
03/23
11/03
08/06
09/16
行指向
(CSV,JSON等) 列指向(Parquet)

メタデータ
AWS Glue
Parquet
変換/整形と
合わせて説明
生

SQL利用可能な形式に変換するために
生

簡潔なコードで分散ETL処理記述可能
生

AWS Glue
生

AWS Glue 利用例（SQL利用可能な形式に変換)

生データアップロード
CSVやJSON
など
no, first_name, last_name
1, Hiroki, Masaru
2, Tashiro, Hiroki
3, Yusuke, Otomo
生

CSVやJSON
など
Glueクローラー
DB・テーブル構造
カラム名型
no 整数
first_name 文字列
last_name 文字列
1, Hiroki, Masaru
2, Tashiro, Hiroki
3, Yusuke, Otomo
生

CSVやJSON
など
Glueクローラー
カラム名型
no 整数
last_name 文字列
Glue ETL
Job
参照
サーバーレス
1, Hiroki, Masaru
2, Tashiro, Hiroki
3, Yusuke, Otomo
生

CSVやJSON
など
Glueクローラー
1, Hiroki, Masaru
2, Tashiro, Hiroki
3, Yusuke, Otomo
カラム名型
no 整数
last_name 文字列
Glue ETL
Job
参照
サーバーレス SQL
Athena
Redshift
Spectrum
参照
生

標準化された形式・場所に保管するために
AWS Glue
・高いスケーラビリティ
・ 1秒単位の従量課金
・スキーマの自動検出
・独自ライブラリでコードを簡素化
・ RedshiftやAthenaとの連携
生

企業内には色々なデータがありパイプラインが多くなる
アップロード
アップロード
アップロード
データレイク
SAP
・
・
・
・
・
・
標準化された
ディレクトリ構造
Glueによる
変換/整形
生
生
生

企業内には色々なデータがありパイプラインが多くなる
アップロード
アップロード
アップロード
データレイク
SAP
・
・
・
・
・
・
標準化された
ディレクトリ構造
変換/整形
変換/整形
変換/整形
生
生
生

標準化された形式・場所に保管するために
AWS Glue
課題
・パイプラインの増加
・開発工数の増加
・運用者スキルのバラツキ
生

企業内の多様なデータを標準化し保管するために
AWS Glue
課題
標準化自動化
生

EXCEL申請書をマスタとすることで定義の標準化・自動化
利用申請書
兼データ定義書
兼ヒアリングシート
開発ツール
Fluentd
Glue
Redshift
申請書マスターとし
て設定を生成
設定ファイル生成
Crawler登録
ETLジョブ生成・登録
View定義生成
ユーザ

企業内の多様なデータを標準化し保管するために
利用申請書
AWS Glue
課題
ツール
自動設定
標準化・自動化の
仕組みを開発
・独自ライブラリでより簡易なコード
生

ユーザ側のアップロード形式と方式の標準化
アップロード生データ変換/整形読み込み集計/分析保管生
変換処理開発の効率化はしましたが
標準化自動化

アップロード生データ変換/整形読み込み保管
変換処理はシンプルに保ちたい
⇨ 最低限標準化されたフォーマットでアップロード
生集計/分析

変換処理はシンプルに保ちたい
⇨ 最低限標準化されたフォーマットでアップロード
ユーザ側がデータをアップロードするハードルは下げたい
生集計/分析

文字コード UTF-8 等
改行コード CRLF，LF 等
フォーマット CSV，JSON 等
圧縮 GZIP 等
タイムゾーン UTC、JST 等
変換処理をシンプルに保ちたい
⇨ 標準フォーマット
生集計/分析

圧縮 GZIP 等
ア
ッ
プ
ロ
ー
ド
方
式
の
標
準
メ
ニ
ュ
ー
化
ユーザ利用のハードルを下げたい
生集計/分析

SAP
ETL
圧縮 GZIP 等
CSV
プロジェクト保有
ETLツール
ア
ッ
プ
ロ
ー
ド
方
式
の
標
準
メ
ニ
ュ
ー
化
生集計/分析

SAP
ETL
圧縮 GZIP 等
CSV
DB ETL Parquet
Glueのよる
DBアクセス
ETLツール
ア
ッ
プ
ロ
ー
ド
方
式
の
標
準
メ
ニ
ュ
ー
化
生集計/分析

SAP
ETL
JSON
(GZIP)
圧縮 GZIP 等
CSV等
CSV
DB
ログ
DB ETL Parquet
汎用用途・OSS
Fluentd
Glueのよる
DBアクセス
ETLツール
ア
ッ
プ
ロ
ー
ド
方
式
の
標
準
メ
ニ
ュ
ー
化
生集計/分析

データマート
Fluentd
awscli
WinSCP
ETL
A社様データレイク実装例アーキテクチャ一部抜粋
CSV、JSON等
一時保管
Parquet
長期保管
変換
Data Lake層 DWH層
Tier1 Tier2
大
規
模
分
析
層
ETL
RDBMS
Tableau
アプリケーション
ツール
Python
Glueジョブ
１日数回
SQLによる
分析・集計
Redshift
spectrum
他AWSサービス
生

プロジェクトの特徴・進め方

データ
スキル
文化
勘よりデータ
分析できる人
分析するデータ
「データ」にフォーカス

データを介して「人」と「サービス」をつなぐ
一般ユーザ
顧客マスタ
取引伝票
SAP

データレイクは
使ってもらってこそ価値がある
ユーザに使ってもらえる
サービスを作る

当初のプロジェクトはウォーターフォールを想定していた
情シス
部門
BeeX
企画
要件
定義
設計
開発
納品
検収
運用・保守
事業
部門

情シス
部門
BeeX
特にRedshiftとGlueは開発ペースが早い
ユーザの利便性が大きく改善する新機能が続々リリース
企画
要件
定義
設計
開発
納品
検収
運用・保守
事業
部門
続々追加される新機能

情シス
部門
BeeX
企画
要件
定義
設計
開発
納品
検収
運用・保守
事業
部門
多種多様で形になっていない
要件
ユーザは複数部門、要件が形になっていない場合も
要件は能動的、積極的に引き出す

情シス
部門
BeeX
企画
要件
定義
設計
開発
納品
検収
運用・保守
事業
部門
進め方を調整
多種多様で形になっていない
要件
ユーザは複数部門、要件が形になっていない場合も
要件は能動的、積極的に引き出す

AWSを利用した
サービス
社内プロジェクトだが構図はB2B2Cに近い
B
B
C

AWSを利用した
サービス
DataLakeを利用した
事業部側プロジェクト
社内プロジェクトだが構図はB2B2Cに近い
B
B
C

ユーザ側に要件を探しにいく
プロトタイピング
PoC事業部側
プロジェクト
・アジャイル的
・高速
・柔軟
・短期
・見えるモノ

ユーザ側に要件を探しにいく
PoC事業部側
プロジェクト
・高速
・柔軟
・短期
・見えるモノ
本当のユーザが更に先にいる場合も

ウォーターフォールとアジャイルのハイブリット的な進め方
標準化設計環境構築運用設計
要件定義
PoC
対話とフィードバック
DataLake
プロジェクト
事業部側
プロジェクト
・ウォーターフォール的
・着実,正確
・高品質,安定
・標準化,展開
・中長期
・高速
・柔軟
・短期
・見えるモノ

データマート
Fluentd
awscli
WinSCP
ETL
A社様データレイク実装例
CSV、JSON等
一時保管
Parquet
長期保管
変換
Data Lake層 DWH層
Tier1 Tier2
大
規
模
分
析
層
ETL
RDBMS
Tableau
ツール
Python
Glueジョブ
１日数回
SQLによる
分析・集計
Redshift
spectrum
他AWSサービス

ニアリアルタイム分析
データマート
Fluentd
awscli
WinSCP
ETL
データレイク実装例ユースケースを元に見える化層を拡張
画像、動画や日誌、非構造化データに関しては別の流れを定義しています
PostgreSQL
一時保管
CSV、JSON等
一時保管
Parquet
長期保管
変換
Data Lake層
Elasticsearch
Service
DWH層
Tier1 Tier2
大
規
模
分
析
層
見
え
る
化
層
ETL
Fluentd
ETL
RDBMS
Tableau
Browser
ツール
Python
Glueジョブ
１日数回
SQLによる
分析・集計
Redshift
spectrum
他AWSサービス
他AWSサービス

ウォーターフォールとアジャイルのハイブリット的な進め方
標準化設計環境構築運用設計
要件定義
PoC
対話とフィードバック展開
ブラッシュアップ
DataLake
プロジェクト
事業部側
プロジェクト
・ウォーターフォール的
・着実,正確
・高品質,安定
・標準化,展開
・中長期
・高速
・柔軟
・短期
・見えるモノ
本稼働

データレイクの開発・運用体制
データスチュワードチーム

テクノロジだけではデータレイクを機能させるのは難しい
このデータは
データレイクにど
う入れれば良
い？
データの内容に
誤りがあったから
調整したい
青システムの
データを使いた
い
他の事業部は
どんな使い方し
てるなかな？

データスチュワードとは
データスチュワードの主な役割
• 核となるメタデータの作成と管理
• ルールと標準の文書化
• データ品質の問題管理
• データガバナンス運営アクティビティの実施
※DMBOKより引用
データスチュワード(Data Steward)
組織内のデータ統制を保つ責任を負う役割、組織
Data Steward
(執事)

データスチュワードチームの設置
データスチュワードチーム
データの健全性を保ち「データスワンプ」にしない
利用しやすいサービスに

まとめ
• エンタープライズデータレイクの特徴
• 「技術の壁」と「組織の壁」
• データレイク実装例
• 入れる・保管する・使う
• SQLでのデータ取得をするためのパイプライン
• プロジェクトの進め方、体制
• B2B2Cのサービスを作る意識
• アジャイルとウォーターフォールのハイブリッド
• データスチュワードチーム

デジタル化への第一歩「エンタープライズデータレイク構築事例のご紹介」

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (17)

Similaire à デジタル化への第一歩「エンタープライズデータレイク構築事例のご紹介」

Similaire à デジタル化への第一歩「エンタープライズデータレイク構築事例のご紹介」 (20)