Картинки с доклада на Pg day 2015 Мониторинг запросов в базу данных postgresql — времена ответа кверей, cpu disk io usage каждого отдельного select запроса и других query. Обзор contrib расширения для постгрес — pg_stat_statements. А так же другие системные view postgres — pg_stat_activity, pg_stat_user_tables, bgwriter, io_user_tables, replication и мониторинг всего этого)

1. Мониторинг
PG и мир вокруг
Павел Труханов, okmeter.io

2. О чём это
● OLTP vs OLAP
● пользовательские vs машинные запросы
● нормальная ситуация vs проблемы
aka “как было vs как стало”
okmeter.io

3. Машинные
мощности
БД
СУБД
Запросы
Данные
Результа
т
Тепло
Другие процессы
Другие процессы
okmeter.io

4. Мониторинг
«наблюдение за состоянием объекта для определения
момента перехода в предельное состояние»
1. обнаружить проблемы и оповестить
2. на сколько все плохо?
3. какие сервисы? в чем причина?
4. … чиним …
5. убедиться что всё снова ОК
okmeter.io

5. Мониторинг для БД
● Нет запросов — нет проблем
● Запросы * данные
● Запросы vs доступные мощности
Проблемы:
● блокировки и конкуренция запросов
● отсутствующие индексы
● неэффективные запросы
● проблемы управления памятью
okmeter.io

6. Мониторинг для БД
1. обнаружить проблемы
= тормозит ли?
= тормозят ли запросы?
pg_stat_statements
okmeter.io

7. bgwriter
replication
database
user_tables
/indexes
io_user_tabl
/indexes
Мониторинг для БД
1. обнаружить проблемы
= тормозит ли?
= тормозят ли запросы?
pg_stat*
okmeter.io

8. # SELECT query, calls, total_time, FROM pg_stat_statements ORDER
BY total_time DESC LIMIT 1;
-[ RECORD 1 ]----------------------------------------------------
query | UPDATE pgbench_branches SET bbalance = bbalance + ?
WHERE bid = ?;
calls | 3001
total_time | 9609.00100000002
query Text of a representative statement
calls Number of times executed
total_time Total time spent in the statement
pg_stat_statements
okmeter.io

9. pg_stat_statements total_time
okmeter.io

10. производная current_q_time = rate(total_time)
pg_stat_statements total_time
okmeter.io

11. Например
current_q_time
avg_q_time = rate(total_time) / rate(calls)
okmeter.io

12. Проблемы с pg_s_s
● гонка pg_stat_statements_reset()
● нормализация
a as b a as c
y IN (?, ?) y IN (?, ?, ?)
select a, b select b, a
…
● разные планы одного запроса
pg_stat_plans?
● только total_time :(
● требует выполнения запроса в БД
okmeter.io

13. Реальная жизнь
max(rate(total_time)) top(10, rate(total_time)
mean(rate(total_time))
min(rate(total_time))
okmeter.io

14. Реальная жизнь
pg_stat_statments.calls
pg_stat_activity
pg_stat_user_tables.*upd
okmeter.io

15. Реальная жизнь
???
okmeter.io

16. Реальная жизнь
okmeter.io

17. okmeter.io

18. Мониторинг изнутри базы
это не всё
okmeter.io

19. Машинные
мощности
БД
СУБД
Запросы
Данные
Результа
т
Тепло
Другие процессы
Другие процессы
okmeter.io

20. «Снаружи» — ресурсы
tcp closewait
iowait swap
disk.write swap swap rate process
count
okmeter.io

21. Снаружи
Память
Диски
Диски
Диски
Raid?
okmeter.io

22. Где это есть?
Zabbix! ? — pg_monz, libzbxpgsql
Nagios / Munin / Cacti …
НЕТ pg_stat_statements :(
Что еще?
cli tools, другие pg extentions
см wiki.postgresql.org/wiki/Monitoring
okmeter.io

23. Где это есть?
FOSS: OpenPgMonitoring (OPM), PoWA
SaaS:
New relic + EnterpriseDB No pg_stat_statements
Datadog No pg_stat_statements
VividCortex !
pganalyze !
OKmeter (это мы :) !
okmeter.io

24. VividCortex

25. PgAnalyze

26. OKmeter
okmeter.io

27. pg_stat_statements
okmeter.io

28. okmeter.io

29. pg_stat_activity
okmeter.io

30. okmeter.io

31. pg_stat_activity
counter_rate(max_x_age)
okmeter.io

32. okmeter.io

33. okmeter.io

34. okmeter.io

35. okmeter.io

36. okmeter.io

37. okmeter.io

38. PgBouncer
okmeter.io

39. tcp
okmeter.io

40. Мониторинг
PG и мир вокруг
Павел Труханов, okmeter.io