各種データベースの特徴とパフォーマンス比較

© Opt, Inc. All Rights Reserved.
各種データベースの特徴と
パフォーマンス比較
株式会社オプト　仙台テクノロジー開発部
第2回タガヤス登壇資料

自己紹介
名前：堀内依子
所属：株式会社オプト　
仙台テクノロジー開発部
入社：2016年
一番好きなお土産：南部せんべい

データベースって
色々ありますよね

データベース
● Oracle
● AWS RDS
○ MySQL
○ PostgreSQL
● TreasureData
● Redshift

オプト仙台ラボでは
目的別大量データ
を取り扱う

特定のレコードを取り出す
レコード集計をする

DWH(データウェアハウス)向
けのデータストア
＆
列指向
Redshiftを採用しました

Redshift
AWS(Amazonのクラウドサービス)
で提供されているDWH構築向け大規模
データ解析システム

列指向のデータベース
ってなに？

行指向のデータベース
列指向のデータベース

行指向データベース
● データの持ち方
○ データを行で扱う

○ データを行で扱う
● 例えば…
○ Oracle
○ MySQL

列指向データベース
カラム型データベース
カラムストア型データベース
カラムナデータベース
○ データを列で扱う

● 例えば…
○ Cassandra
○ Redshift
カラム型データベース
カラムストア型データベース
カラムナデータベース

でも、つまり…
行指向・列指向
どっちがいいの？

学生のテストの点数テーブル
No 氏名フリガナ性別生年月日点数
1 板橋範久イタバシノリヒサ男 2001/08/19 94
2 猪俣清治イノマタセイジ男 2001/09/13 41
3 福島莉乃フクシマリノ女 1998/07/05 46
4 碓井桃歌ウスイモモカ女 2004/10/29 63
5 木田和島キダワジマ男 2006/11/01 60

5 木田和島キダワジマ男 2006/11/01 60

5 木田和島キダワジマ男 2006/11/01 60
データの塊は行！

5 木田和島キダワジマ男 2006/11/01 60

5 木田和島キダワジマ男 2006/11/01 60
データの塊は列！

①
レコードを追加するとき

学生を一人増やしたい

INSERT INTO 学生テーブル
VALUES (No,氏名,フリガナ,性
別,生年月日,点数);

5 木田和島キダワジマ男 2006/11/01 60
6 江田幸雄エダサチオ男 2004/11/04 55

5 木田和島キダワジマ男 2006/11/01 60
6
江田幸雄エダサチオ男 2004/11/04 55

5 木田和島キダワジマ男 2006/11/01 60
6
エダサチオ男 2004/11/04 55
江田幸雄

5 木田和島キダワジマ男 2006/11/01 60
6
男 2004/11/04 55
江田幸雄エダサチオ

5 木田和島キダワジマ男 2006/11/01 60
6
2004/11/04 55
江田幸雄エダサチオ男

2004/11/04
5 木田和島キダワジマ男 2006/11/01 60
6
55
江田幸雄エダサチオ男

INSERTは
行指向の方が速い

②
レコードを集計するとき

性別ごとに
平均点を出したい

SELECT 性別,AVG(点数)
FROM 学生テーブル
GROUP BY 性別

5 木田和島キダワジマ男 2006/11/01 60
全カラムを走査して
性別列と点数列を使う

性別点数
男 94
男 41
女 46
女 63
男 60

性別点数
男 94
男 41
女 46
女 63
男 60
必要な列だけを走査
捜索するデータ量を削減

集計は列指向の方が速い

つまり…
行指向・列指向
どっちもよい！

● 例えば…
○ Cassandra
○ Redshift

列
行
トランザクション処理に強い
行単位で処理するUPDATE/INSERTが
速い
特定のカラムしか利用しない
SELECT/集計が得意

各種データベースの特徴

データベース
● Oracle
● AWS RDS
○ MySQL
○ PostgreSQL
● TreasureData
● Redshift
オプト仙台では
これらのDBを活
用しています

Oracle
● 有償のみ
● 行指向
● 分散処理
※デフォルト設定の場合

Oracle
シェアNo.1
※出典：https://www.marineroad.com/staff-blog/17102.html
自動でチューニングしてくれるので、
チューニングなしでもそこそこのパ
フォーマンスが期待できる

MySQL
● オープンソース　無料
● 行指向
● 分散処理

MySQL
シェアNo.2
ユーザーが多くコミュニティが活発。
調べると初歩的なものからたくさん情
報が出てくる

PostgreSQL
● オープンソース　無料
● 行指向
● 分散処理　

PostgreSQL
シェアNo.4
PostGISと言う位置情報を扱う拡張機能
が有名。位置情報アプリに便利。
チューニング次第で高速化できる！

TREASURE DATA
● 有償（機能制限版の無償あり）
○ 月額料金
● 列指向
● 分散処理　
● アーキテクチャはHadoop

TREASURE DATA
トレジャーデータより提供されているクラウド上の
DMS（データマネジメントサービス）。
※オプトでは「トレジャーデータサービス by IDCF」を活用しています。
テーブル定義なしでデータの保存が可能。パーティ
ションのため時刻のカラムが必須
DELETE・更新はできない。
partial_delete:時刻カラムで期間指定削除は可

Redshift
● 有償のみ
○ 従量課金
● 列指向
● 分散処理　
● アーキテクチャはActian Matrix

Redshift
AWSで提供されているDWH構築向け
大規模データ解析システム。
スケーラブル、クラスターサイズ変更可。
Amazon S3との連携が便利。
COPYコマンドを利用し高速取り込みが可能。
※Amazon S3：Simple Storage Service
データ保存取得可能なオブジェクトストレージ

比較
MySQL PostgeSQL TreasureData Redshift
アーキテ
クチャ
MySQL PostgreSQL Hadoop Actian
Matrix
指向行行列列
分散 ❌ ❌ ○ ○
料金無償あり無償あり基本有償有償のみ

データベース
● Oracle
● AWS RDS
○ MySQL
○ PostgreSQL
● TreasureData
● Redshift
オプト仙台では
これらのDBを活
用しています
なので…

データベース
● Oracle
● AWS RDS
○ MySQL
○ PostgreSQL
● TreasureData
● Redshift
これらのDBのパ
フォーマンス検
証しました！

データ偏り・カラムの数や型など
でパフォーマンスは大きく変わる
ので、数値は一例としてご覧くだ
さい。

DB名プラン CPU RAM (GiB)
MySQL db.r3.large 2 15.25
PostgreSQL db.r3.large 2 15.25
TreasureData プランS 4 --
Redshift dc1.large 2 15
比較環境

検証データ量
DB名 1万件 100万件 1億件
TresureData 12M 1,243M 124,357M
Redshift 108M 206M 10,004M
PostgreSQL 6M 1,113M 207,497M
MySQL 16M 1,206M 115,307M

検証SQL
SELECT SELECT date,COUNT(*),SUM(数値) FROM table GROUP BY date
SELECT
UNION
SELECT
SELECT date,COUNT(*),SUM(数値) FROM table GROUP BY date
UNION ALL
SELECT date,COUNT(*),SUM(数値) FROM table2 GROUP BY date
INSERT INSERT INTO table2 SELECT * FROM table
ADD
COLUMN
ALTER TABLE table ADD COLUMN additional VARCHAR(100)

DB名 SELECT UNION INSERT ADD
COLUMN
1万 100万 1億 1万 100万 1億 1万 100万 1億 1億
MySQL 0.06s 1.5s 55.5
m
0.08s 2.7s 1.8h 3s 1.1m 2.2h 3.3h
PostgreSQL 0.06s 0.7s 1.2h 0.07s 0.9s 3.5h 0.1s 0.9s 6.2h 0.2s
TREASURE DATA 2s 2s 8s 2s 3s 11s 8s 2.5m 7.3h --
Redshift 0.2s 0.3s 0.4s 0.3s 0.4s 0.7s 4.5s 17.75
s
2.5m 2s
3回試行平均値

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
PostgreSQL 0.06s 0.7s 1.2h
TREASURE DATA 2s 2s 8s
Redshift 0.2s 0.3s 0.4s

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
集計クエリだけど
列指向のRedshiftより
行指向のPostgreSQL
が速い

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
Redshiftはクエリを
コンパイルするので
オーバーヘッドがある

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
データ量の増加で爆
発的に処理時間が増
えている！

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
Redshift 0.2s 0.3s 0.4sデータ量：10,000倍
処理速度：72,857倍

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
Redshiftはデータ量
に対して速度劣化が
少ない

DB名 SELECT
1万 100万 1億
MySQL 0.06s 1.5s 55.5m
データ量：10,000倍
処理速度：2倍

DB名 UNION
1万 100万 1億
MySQL 0.08s 2.7s 1.8h
3回試行平均値

DB名 UNION
1万 100万 1億
MySQL 0.08s 2.7s 1.8h
TREASURE
DATA
2s 3s 11s
処理時間の増加はよ
り顕著

DB名 INSERT
1万 100万 1億
MySQL 3s 1.1m 2.2h
TREASURE DATA 8s 2.5m 7.3h
Redshift 4.5s 17.75s 2.5m
3回試行平均値

DB名 INSERT
1万 100万 1億
MySQL 3s 1.1m 2.2h
TREASURE DATA 8s 2.5m 7.3h
Redshift 4.5s 17.75s 2.5m
3回試行平均値
Redshiftでも
それなりの
処理時間が
かかっている

DB名 ADD COLUMN
1億
MySQL 3.3h
PostgreSQL 0.2s
TREASURE DATA --
Redshift 2s
3回試行平均値

DB名 ADD COLUMN
1億
MySQL 3.3h
PostgreSQL 0.2s
TREASURE DATA --
Redshift 2s
3回試行平均値
MySQLは
カラム追加は遅い

DB名 ADD COLUMN
1億
MySQL 3.3h
PostgreSQL 0.2s
TREASURE DATA --
Redshift 2s
3回試行平均値
PostgreSQLは
デフォルト値を
設定していない
場合、テーブル
定義への追加だ
けなので速い

DB名 ADD COLUMN
1億
MySQL 3.3h
PostgreSQL 0.2s
TREASURE DATA --
Redshift 2s
3回試行平均値
Redshiftも
PostgreSQLと
同様に速い。
がやはりコンパ
イルのオーバー
ヘッドがある。

まとめ
今回の検証では、
以上の結果が得られました

まとめ
そもそもこのように大きなデータを
一つのテーブルに入れて集計するのは、
RDBは適切でないという前提があります
決してMySQLやPostgreSQLの
性能が悪い訳ではありません

まとめ
Redshiftは大きなデータの
単一テーブルを扱うことが得意です。
このような適性からオプト仙台では、
Redshiftを採用しています。

アプリケーションによって
適切なDBを！

ご清聴
ありがとうございました

各種データベースの特徴とパフォーマンス比較

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Plus de 株式会社オプト　仙台ラボラトリ

Plus de 株式会社オプト　仙台ラボラトリ (11)