「マイクロアドにおけるデータストアの使い分け」 2022/08/24【23卒/24卒エンジニア】オンライン勉強会 「オンプレ環境とクラウドのハイブリッド運用の活用事例」 #MicroadDevs

1. マイクロアドにおける
データストアの使い分け
株式会社マイクロアド
システム開発部 基盤開発グループ
長田 康宏
2022/08/24【23卒/24卒エンジニア】オンライン勉強会
「オンプレ環境とクラウドのハイブリッド運用の活用事例」
#MicroadDevs

2. サービスで扱う様々なデータの種類と性質
2
● 顧客情報、広告の配信設定
● 広告の配信実績ログ
● ビジネス向けダッシュボード用の集計データ
● 即時アクセスが必要なアプリケーションのキャッシュ
● アプリケーションのエラー・警告ログ、サーバのメトリック
それぞれ、データの性質が異なる
● データ量（1行のサイズ、または全体のサイズ）
● 参照・更新の頻度、形態（リアルタイムか、定時処理か、etc）
● 許容される遅延時間（レイテンシ）
→適したデータストアが異なる

3. マイクロアドのデータフロー例
3
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

4. リレーショナルデータベース (RDB)
4
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

5. リレーショナルデータベース (RDB)
5
データ間の参照関係を定義（＝リレーショナル）
SQLによるデータアクセス
行指向のデータベース、Index・トランザクションのサポート
● 少数の行に対する高速、頻繁な処理が得意
● 強い整合性を必要とするデータに向く
● データ量：〜数TB
マイクロアドでは、主に を使用
その他、Oracle Database, PostgreSQL, Amazon Auroraなど
商品ID
※index
商品名 価格 登録日
1 鉛筆 80 2022/01/02
2 消しゴム 100 2022/02/05
3 ボールペン 120 2022/03/10

6. データレイク
6
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

7. データレイク
7
多数のサーバから、ログなどの形式で収集したデータを蓄積するデータストア
非構造化データ（スキーマオンリード）
マイクロアドでは数十TB/日、総量2PB程度の規模
マイクロアドでは主に （CDH)を使用
● 数十台のサーバによるクラスタ構成
● 同一データのレプリカを複数所持し、耐障害性を担保
● HadoopエコシステムのHive, ImpalaによりDWH的な集計処理も可能
クラウドではAmazon S3などの分散オブジェクトストレージが代表的

8. データウェアハウス (DWH)
8
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

9. データウェアハウス (DWH)
9
データレイクから、データを集計しやすい形で加工・投入したデータストア
RDBと同じく、テーブルによる構造化された形でデータを保持
列指向のデータベース
● 大量の行に対する少数の列の集約処理が得意
● 頻繁な行の追加や、既存データの更新は苦手
○ 基本的に定時のバッチ処理でデータを投入
登録日 商品名 売上合計
2022/08/01 鉛筆 800
2022/08/01 消しゴム 600
2022/08/01 ボールペン 960
2022/08/02 鉛筆 640
2022/08/02 消しゴム 700
2022/08/02 ボールペン 840

10. データウェアハウス (DWH)
10
マイクロアドでは を使用
● 標準SQLをサポート
● ストレージ用と、計算用のハードウェアが分離
○ SQLを実行した際に、必要なだけ計算資源を使用（クエリ課金）
○ データは安価なオブジェクトストレージに格納
○ ハードウェア部分はユーザから隠蔽されており、扱いが容易
サーバ課金タイプの製品も
● Amazon Redshift, Oracle MySQL HeatWaveなど
● クエリをどれだけ実行しても一定額
● ユースケースによってはこちらがコスパに優れる場合も

11. インメモリkey-valueストア (KVS)
11
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

12. インメモリkey-valueストア (KVS)
12
メモリ上でデータを扱うkey-valueストア
● ディスクと比べて非常に高速にアクセス可能
RDBより短い時間でのアクセスを必要とするキャッシュの利用
メモリ上でデータを扱うため、電源を落とすとデータは消える
● バックアップ用途での永続化は可能
マイクロアドでは を使用。他memcached, Amazon ElastiCacheなど

13. 監視データ基盤
13
リレーショナル
データベース
ユーザ向け
管理画面
更新
RTB
サーバ
参照
RTBログ転送
監視データ基盤
データレイク
データ
ウェアハウス
インメモリ
key-valueストア
更新・参照
アプリログ転送、
メトリック収集
ビジネス向け
ダッシュボード
参照
アプリ監視
ダッシュボード
参照
加工

14. 監視データ基盤
14
サービスが正常動作しているか監視するためのデータを収集、蓄積
● アプリケーションの実行ログ（特にエラー、警告）
● サーバ、アプリケーションのメトリック
監視のためのエコシステムが充実
● ダッシュボード
● メトリック収集用のソフトウェア
マイクロアドではログ基盤に
メトリック収集基盤に を使用

15. 監視データ基盤が収集するログの例
15

16. 監視データ基盤が収集するメトリックの例
16
Prometheusのnode_exporterは、9100ポートにサーバのメトリックを出力

17. 監視ダッシュボードの例 (Elasticsearch)
17

18. 監視ダッシュボードの例 (Prometheus)
18

19. その他、近年注目されているデータストア
19
Google Cloud Spanner, TiDB, CockroachDB
● RDBの特性を持ちつつ、分散アーキテクチャを持ちスケールアウト可能
Google AlloyDB
● RDBの特性を持ちつつ、分析処理も得意 (HTAP)
Snowflake, Databricks, Treasure Data
● Saasタイプの「データプラットフォーム」
● データレイク、DWH、データ処理、機械学習などの機能を統合的に提供
● GUIが充実し、非エンジニアでも扱いやすい

20. 本講座のまとめ
20
サービスにおいては、様々な性質の異なるデータを扱う
扱うデータによって、データストアを使い分ける
マイクロアドにおいては、インフラチームで全てのデータ基盤を運用
様々なデータストアに触れる機会
新しい技術を導入する機会も