20090107 Postgre Sqlチューニング（Sql編）

PostgreSQL チューニング～SQL編～ id:matsuou1

目標 ,[object Object],[object Object],[object Object]

実行計画とは？ ,[object Object],[object Object],testdb=# explain select count(id) from master where valid = true; QUERY PLAN ---------------------------------------------------------------------------- Aggregate (cost=217107.05..217107.06 rows=1 width=0) -> Seq Scan on master (cost=0.00..213742.88 rows=1345668 width=0) Filter: valid

ExplainとExplain analyzeの違い ,[object Object],[object Object],[object Object],[object Object],testdb=# explain analyze select count(id) from master where valid = true; QUERY PLAN ------------------------------------------------------------------------------------------------------------ Aggregate (cost=217107.05..217107.06 rows=1 width=0) 　　　　　　　　(actual time=2956.265..2956.265 rows=1 loops=1) -> Seq Scan on master (cost=0.00..213742.88 rows=1345668 width=0) 　　　　　　　　　　　　　　　　　　(actual time=0.035..2661.190 rows=1374280 loops=1) Filter: valid Total runtime: 2956.301 ms

実行計画の読み方① ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Aggregate (cost=217107.05..217107.06 rows=1 width=0) -> Seq Scan on master (cost=0.00..213742.88 rows=1345668 width=0) Filter: valid

実行計画の読み方② ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Aggregate (cost=217107.05..217107.06 rows=1 width=0) -> Seq Scan on master (cost=0.00..213742.88 rows=1345668 width=0) Filter: valid

実行計画の読み方③ ,[object Object],[object Object],testdb=# explain select * from place_master p , member m testdb=# where p.pid = 5 and p.pid = m.pid order by m.id limit 10; QUERY PLAN ----------------------------------------------------------------------------------------- Limit (cost=517.11..517.13 rows=10 width=638) -> Sort (cost=517.11..517.74 rows=252 width=638) Sort Key: f.fid -> Nested Loop (cost=0.00..511.66 rows=252 width=638) -> Index Scan using place_master_pid on place_master p (cost=0.00..4.41 rows=1 width=599) Index Cond: (pid = 5) -> Index Scan using member_pid on member m (cost=0.00..504.73 rows=252 width=39) Index Cond: (m.pid = 5) ① ② ③ ④ ⑤

実行計画の読み方④ - 1 データ取得なしリレーション内のビットマップをメモリ内で作成し、スキャンする Bitmap Index Scan なしインデックスを使用してスキャン大きいテーブルでは SeqScan より早い Index Scan なし最初から最後のページまでスキャン条件によらず全ての行をチェック大きいテーブルだと遅い Seq Scan 開始コスト説明演算子

実行計画の読み方④ - 2 テーブル結合あり２つのデータセットを結合データセットはあらかじめソートが必要 Merge Join あり一方の入力からハッシュテーブルを作成し、二つの入力を比較する INNER JOIN と OUTER JOIN と同時に使用される Hash Join なし 2 つのテーブルを結合 INNER JOIN と LEFT OUTER JOIN 外部テーブルをスキャンし、内部テーブルにマッチするものを取得インデックスが無い場合は遅いかも Nested Loop 開始コスト説明演算子

実行計画の読み方④ - 3 その他あり Count 、 sum 、 max 等の集合関数 Aggregate あり Row は指定した行数 Offset を追加すると、少しだけ開始コストが必要になる Limit あり取得したデータのソート処理 Sort 開始コスト説明演算子

遅いSQLを特定するには？ ,[object Object],[object Object],[object Object],[object Object]

遅いSQLの特定方法① ,[object Object],SELECT pid, start, now() - start AS lap, current_query FROM (SELECT backendid, pg_stat_get_backend_pid(S.backendid) AS pid, pg_stat_get_backend_activity_start(S.backendid) AS start, pg_stat_get_backend_activity(S.backendid) AS current_query FROM (SELECT pg_stat_get_backend_idset() AS backendid) AS S ) AS S WHERE current_query <> '<IDLE>' ORDER BY lap DESC; pid | start | lap | current_query -------+------------------------+------------------+---------------------------------------- 16867 | 2008-12-24 16:49:54.00 | -00:00:02.000238 | SELECT * FROM master WHERE id = $1 AND valid = true LIMIT 1

遅いSQLの特定方法② ,[object Object],[object Object],[object Object],2008-09-01 00:00:54 JST LOG: duration: 11098.465 ms statement: SELECT count(id) FROM master

SQLチューニングのポイント ,[object Object],[object Object],[object Object],[object Object]

直積結合の回避 ,[object Object],[object Object],tableA = 1000 件、 tableB = 2 万件の直積結合 1,000 * 20,000 = 20,000,000 2000 万件処理されてしまうが、結果が正しいと気付かない事も。データ量が増加すれば、致命的な性能劣化に

直積結合の回避 ,[object Object],[object Object],[object Object],結合条件が漏れてないか、 SQL に無理がないか要確認

インデックスを使う ,[object Object],[object Object],インデックスを使用しないと、テーブルサイズに比例して性能が劣化

インデックスを使う ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],WHERE SUBSTR(COL1, 1, 1) = ‘A’ ( 左辺に関数を使用 ) WHERE COL1 * 1.05 > 5000 ( 左辺に計算式を使用 ) WHERE COL1 != 10000 (NOT EQUAL を使用 ) WHERE COL1 LIKE ‘%hoge%’ ( 中間一致検索を使用 )

テーブルの結合数制限 ,[object Object],[object Object],[object Object],8! = 40,320 7! = 5,040 6! = 720 5! = 120 4! = 24 3! = 6 最適な実行計画を立てるのに時間がかかる

JOINのテーブル数制限 ,[object Object],[object Object],[object Object],１ SQL で JOIN する表数は最大で６までに抑える

ソート処理の削減 ,[object Object],データ件数が増えてくると、ソート処理も高コストになる

ソート処理の削減 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

空気が読める開発者になるために ,[object Object],[object Object],[object Object],[object Object]

[object Object],もうちょっとだけ続くんじゃ

SQLチューニング都市伝説① ,[object Object],[object Object],８．３からインデックス使用可能に！ testdb=# explain select count(id) from master where mail is null; QUERY PLAN ------------------------------------------------------------------------------------------ Aggregate (cost=4.90..4.91 rows=1 width=4) -> Index Scan using master_mail on master (cost=0.00..4.90 rows=1 width=4) Index Cond: (mail IS NULL)

SQLチューニング都市伝説② ,[object Object],testdb=# explain select uid from master where id = '1' or uid = '5' or uid = '10'; QUERY PLAN ------------------------------------------------------------------------------------- Bitmap Heap Scan on master (cost=7.64..13.68 rows=3 width=4) Recheck Cond: ((id = 1) OR (id = 5) OR (id = 10)) -> BitmapOr (cost=7.64..7.64 rows=3 width=0) -> Bitmap Index Scan on master_pkey (cost=0.00..2.54 rows=1 width=0) Index Cond: (id = 1) -> Bitmap Index Scan on master_pkey (cost=0.00..2.54 rows=1 width=0) Index Cond: (id = 5) -> Bitmap Index Scan on master_pkey (cost=0.00..2.54 rows=1 width=0) Index Cond: (id = 10) testdb=# explain select uid from master where id in ('1' , '5' , '10'); QUERY PLAN ------------------------------------------------------------------------------- Bitmap Heap Scan on master (cost=7.06..13.09 rows=3 width=4) Recheck Cond: (uid = ANY ('{1,5,10}'::integer[])) -> Bitmap Index Scan on master_pkey (cost=0.00..7.06 rows=3 width=0) Index Cond: (id = ANY ('{1,5,10}'::integer[]))

20090107 Postgre Sqlチューニング（Sql編）

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à 20090107 Postgre Sqlチューニング（Sql編）

Similaire à 20090107 Postgre Sqlチューニング（Sql編） (20)

Plus de Hiromu Shioya

Plus de Hiromu Shioya (20)

20090107 Postgre Sqlチューニング（Sql編）