第12回PostgreSQLアンカンファレンス@オンライン 発表資料 「PostgreSQL 13でのpg_stat_statementsの改善について」 NTTデータ 藤井雅雄 @fujii_masao

1. © 2020 NTT DATA Corporation 1 © 2020 NTT DATA Corporation
第12回 PostgreSQLアンカンファレンス@オンライン
PostgreSQL13での
pg_stat_statementsの改善について
2020年4月24日
株式会社NTTデータ 藤井雅雄 @fujii_masao

2. © 2020 NTT DATA Corporation 2
藤井 雅雄 @fujii_masao
Database Technical Lead @ NTTデータ
データベース研究開発、PostgreSQL 技術支援
PostgreSQLコミッタ
レプリケーション(非同期 / 同期 / カスケード / クォーラムコミット)
WAL圧縮
pg_bigm(全文検索モジュール)コミッタ
自己紹介

3. © 2020 NTT DATA Corporation 3
【宣伝】 PostgreSQL 12 対応の pg_bigm 1.2 最新マイナーバージョンリリース!!
pg_bigm
https://pgbigm.osdn.jp/
https://github.com/pgbigm/pg_bigm
PostgreSQL上で全文検索機能を提供するOSSモジュール
「OSS」を含むタイトルの書籍情報を検索したい！
SELECT * FROM book WHERE title LIKE ‘%OSS%’
シーケンシャル
スキャン
インデックス
スキャン
pg_bigm導入で高速に! 通常、インデックス使えず低速

4. © 2020 NTT DATA Corporation 4
本講演について
講演資料は、後日、NTTデータのSlideShareアカウント上で公開予定です。
https://www.slideshare.net/nttdata-tech

5. © 2020 NTT DATA Corporation 5
PostgreSQL13 での
pg_stat_statements の改善について

6. © 2020 NTT DATA Corporation 6
PostgreSQL 13
• 現在コミュニティで開発中の最新バージョン
• Feature Freeze済
• 5月にβ1、10～11月に正式リリースの予定
今日紹介する内容は、正式リリースまでの間に
変更となる可能性があることにご注意ください！！

7. © 2020 NTT DATA Corporation 7
pg_stat_statementsとは
• SQLの実行情報を収集・格納するcontribモジュール
postgresql.conf
shared_preload_libraries = 'pg_stat_statements'
$ psql
=# CREATE EXTENSION pg_stat_statements;

8. © 2020 NTT DATA Corporation 8
pg_stat_statementsの実行例 (PostgreSQL12以前)
=# SELECT * FROM pg_stat_statements;
-[ RECORD 1 ]------+----------------------------------
userid | 10
dbid | 12937
queryid | 3516299150528015379
query | SELECT * FROM test WHERE i = $1
calls | 11
total_time | 1.040068
min_time | 0.03234
max_time | 0.120933
mean_time | 0.09455163636363637
stddev_time | 0.028701163493276168
rows | 11
SQLの基本情報
SQL実行のユーザID、データベースID、
SQL毎のID、SQL文
SQLの実行情報
SQLの実行回数
SQLの実行時間(総時間、最小時間、
最大時間、平均時間、母標準偏差)
SQLで取得・処理した総レコード件数
※PostgreSQL12での実行例

9. © 2020 NTT DATA Corporation 9
pg_stat_statementsの実行例 (PostgreSQL12以前)
shared_blks_hit | 19
shared_blks_read | 25
shared_blks_dirtied | 0
shared_blks_written | 0
local_blks_hit | 0
local_blks_read | 0
local_blks_dirtied | 0
local_blks_written | 0
temp_blks_read | 0
temp_blks_written | 0
blk_read_time | 0
blk_write_time | 0
SQLのブロックアクセス情報
ブロックアクセスでディスクリードした回数、
キャッシュヒットした回数など
※PostgreSQL12での実行例

10. © 2020 NTT DATA Corporation 10
新機能(1)
プラン生成の回数と時間の収集

11. © 2020 NTT DATA Corporation 11
pg_stat_statementsの実行例 (PostgreSQL12以前)
=# SELECT * FROM pg_stat_statements;
-[ RECORD 1 ]------+----------------------------------
userid | 10
dbid | 12937
queryid | 3516299150528015379
query | SELECT * FROM test WHERE i = $1
calls | 11
total_time | 1.040068
min_time | 0.03234
max_time | 0.120933
mean_time | 0.09455163636363637
stddev_time | 0.028701163493276168
rows | 11
※PostgreSQL12での実行例
SQLの実行情報
SQLの実行回数
SQLの実行時間(総時間、最小時間、
最大時間、平均時間、母標準偏差)
SQLで取得・処理した総レコード件数

12. © 2020 NTT DATA Corporation 12
pg_stat_statementで収集されるSQLの実行時間
① SQLの構文解析
② SQLのプラン生成
③ SQLの実行
SQL文
SQL実行結果
pg_stat_statementsで取集されるのは
「③ SQLの実行」にかかる時間のみ
複雑なSQLで、プラン生成に時間がかかっても、
pg_stat_statementsからはその状況を把握でき
ない

13. © 2020 NTT DATA Corporation 13
PostgreSQL13では、プラン生成の時間も収集可能に
① SQLの構文解析
② SQLのプラン生成
③ SQLの実行
SQL文
SQL実行結果
PostgreSQL13からは、「② SQLのプラン生成」に
かかる時間も収集可能に！
プラン生成に時間のかかる複雑なSQLについても、
状況をpg_stat_statementsで把握できる

14. © 2020 NTT DATA Corporation 14
pg_stat_statementsの実行例 (PostgreSQL13以降)
=# SELECT * FROM pg_stat_statements;
userid | 10
dbid | 12924
queryid | 2797858584654623986
query | SELECT * FROM test WHERE i = $1
plans | 11
total_plan_time | 7.356667000000001
min_plan_time | 0.12713
max_plan_time | 5.837887
mean_plan_time | 0.6687879090909091
stddev_plan_time | 1.6347461827809822
calls | 11
total_exec_time | 1.0091139999999998
min_exec_time | 0.03267
max_exec_time | 0.180994
mean_exec_time | 0.09173763636363635
stddev_exec_time | 0.04032989500307034
rows | 7
SQLのプラン生成の情報
プラン生成回数
プラン生成にかかる時間(総時間、最小
時間、最大時間、平均時間、母標準偏
差)
SQL実行時間のカラムについて名前が
変わったため要注意！

15. © 2020 NTT DATA Corporation 15
新機能(2)
WALの出力量の収集

16. © 2020 NTT DATA Corporation 16
pg_stat_statementsの実行例 (PostgreSQL12以前)
shared_blks_hit | 19
shared_blks_read | 25
shared_blks_dirtied | 0
shared_blks_written | 0
local_blks_hit | 0
local_blks_read | 0
local_blks_dirtied | 0
local_blks_written | 0
temp_blks_read | 0
temp_blks_written | 0
blk_read_time | 0
blk_write_time | 0
SQLのブロックアクセス情報
ブロックアクセスでディスクリードした回数、
キャッシュヒットした回数など
※PostgreSQL12での実行例

17. © 2020 NTT DATA Corporation 17
PostgreSQL13では、WAL出力量も収集可能に
shared_blks_hit | 38247417
shared_blks_read | 20
shared_blks_dirtied | 91625
shared_blks_written | 91529
local_blks_hit | 0
local_blks_read | 0
local_blks_dirtied | 0
local_blks_written | 0
temp_blks_read | 17090
temp_blks_written | 17090
blk_read_time | 3.2772180000000004
blk_write_time | 0
wal_records | 20047281
wal_fpw | 148
wal_bytes | 1423133210
PostgreSQL13からは、各SQLで出力
されるWALに関する情報も収集可能に！
SQLのWAL出力情報
出力されたWALレコードの総数、Full
Page Writesの総数、WALの総出力量

18. © 2020 NTT DATA Corporation 18
まとめ

19. © 2020 NTT DATA Corporation 19
まとめ
PostgreSQL13から
1. プラン生成の回数と時間
2. WAL出力量
を収集できるようになります。
v13βがリリースされたら、ぜひ機能をお試しいただければ！！

20. © 2020 NTT DATA Corporation本資料に記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商標です。