DB Monitoring 개념 및 활용 (박명규)

2019.02.22
DB Monitoring 개념 및 활용

Session
발표자 목차
DB 모니터링 Concept 및 활용
와탭랩스
1. 개요
2. DB 모니터링
3. WhaTap DBX 차별점
4. DEMO 시연 / Q&A
2.
박명규

Session
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
2. DB 모니터링 Concept 및 활용
1. 개요

- 4 -Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
개요
DB모니터링은 데이터베이스 성능을 실시간으로 감시하며, 문제점을 분석/진단하고 튜닝에 대한 정보를 제공합니다.
WhaTap DBX는 이러한 기본기능에 WhaTap 만의 차별점인 APM / Infra 와의 연계를 통해 문제점 해결에 도움을 줍니다.
1. 개요
실시간 모
니터링
성능 / 추이
/ 정보 분석
SMS /
Email
알림 체계
WhaTap DBX 차별점
WhaTap DBX 솔루션

주요기능
WhaTap DBX는 Public/Private Cloud 모두에 적용하기 위해 Query 베이스 방식을 가지고 있으며, 기본기능으로 일정주기마다
데이터베이스의 세션 및 지표를 실시간 모니터링하고, 특정 시점을 지정하여 분석 할 수 있는 Trend분석 기능을 제공합니다.
또, WhaTap APM과의 연계를 통해 문제점 분석에 대한 기능을 강화하는데 초점을 두고 있습니다.
1. 개요
실시간 모니터링 성능 / 추이 / 정보 분석 SMS / Email 알림 체계 WhaTap DBX 차별점
• 세션 정보
• 리소스 정보
• 각종 지표 현황
• 세션 상세 정보
• 성능 Trend
• Lock Tree
• PQ Tree
• SQL 통계
• SQL Plan
• DB Parameter
• DISK 사용량
• 알림 설정
• SMS / Email / SNS
• 통합 대시보드 연계 모니터
링
• APM 히트맵 연계 분석
• DevOps 지원
• 손쉬운 설치
• 통합 관리

Oracle 10g 이상
EDB PAS 9.2 이상
MySQL 5.5 이상
MariaDB 5.5 이상
PostgreSQL 9.2 이상
SQL Server 2005 이상
Tibero 5.x 이상
지원 플랫폼
DBX는 다음과 같은 데이터베이스 서버들을 지원 합니다.
1. 개요
수집서버
운영체제 Ubuntu/CentOS 안정화 버전
CPU 4 Core 이상(최소 2 Core)
Memory 8G 이상(최소 4G)
JDK JDK 1.7 or 1.8
Disk 최소 200G 이상
운영체제의 File descriptor 설정 조정 필요(높은 File I/O를 필요
로 함)

Session
2. DB 모니터링

실시간 모니터링
2. DB 모니터링
지표 현황
데이터 베이스의 주요 지표 현황
을
실시간 모니터링
세션 / Lock / PQ Tree
세션 정보 / Lock Tree / PQ Tree
e등의 정보를 실시간 모니터링
알림
알림 내역 이력 및 현황

Trend 분석
2. DB 모니터링
지표 Trend
주요 지표를 포함하여 각종 지표
의 Trend를 분석
세션 정보
특정 시점의 세션 정보를 통해 당
시 수행중이었던 Query 정보를
분석

SQL 통계 분석
2. DB 모니터링
각종 분류
다양한 분류의 통계 값을 제공
세션 정보
Query 별 통계를 제공하고 해당
Query가 호출된 시계열 차트를
통한 분석 기능 제공
• Query Plan 연동 기능
• Query별 APM 연동

SQL PLAN 분석
2. DB 모니터링
SQL
표준화된 SQL을 확인하고 APM
연계와 SQL PLAN 기능을 확인하
기능 제공
SQL PLAN
SQL PLAN을 확인할 수 있는
기능 제공

Lock Tree 분석
2. DB 모니터링
Lock Count 지표 Trend
Lock 발생 현황을 한눈에 파악하
는 기능 제공
세션 정보
특정 시점을 지정하여 Lock
Holder/Waiter 세션정보를 파악
하는 기능 제공

수집지표 – PostgreSQL/EDB
2. DB 모니터링
Stat 지표 Active Session 지표 Dead Lock 지표 SQL Stat 지표 Lock Tree 지표
active sessions pid dead lock time sql pid (holder_pid/waiter_pid)
total sessions runtime dead lock id execute count <usename>
long running sessions application name thread id sql elapse avg(sec) <db>
wait sessions client addr query id sql elapse sum(sec) <host>
lock wait sessions client hostname host sql elapse wait(sec) <application_name>
deadlock count client port user sql elapse max(sec) holder_type
commit count usename state lock mode (holder_mode)
rollback count wait event query waiter_type
dml count stat lock request (waiter_mode)
blks read query <runtime>
blks hit query_param <wait_event>
blks hit ratio datname <sql text>
table hit ratio
index hit ratio
check point
vacuum running count
total runtime
PostgreSQL/EDB 에 대하여 다음과 같이 데이터를 수집합니다.

수집지표 – Oracle (1)
2. DB 모니터링
Oracle 에 대하여 다음과 같이 데이터를 수집합니다.
Stat 지표
session logical reads lock wait sessions
physical reads long running sessions
execute count total elapse time
opened cursors current txn sessions
parse count (hard) pq sessions
parse count (total)
db block changes
enqueue waits
logons current
user commits
CPU used by this session
DB time
physical writes
sorts (memory)
active sessions
total sessions
wait sessions
Active Session 지표
sid seq physical_reads prev_hash_value
serial event execute_count prev_sql_id
username p1 parse_count_hard prev_child_number
command p2 parse_count_total prev_exec_start
status p3 opened_cursors_current prev_exec_id
schemaname wait_class db_block_changes plsql_entry_object_id
osuser wait_time session_pga_memory plsql_entry_subprogram_id
spid seconds_in_wait undo_segid plsql_object_id
process state undo_blk plsql_subprogram_id
logon_time machine undo_rec taddr
last_call_et port sql_address lockwait
sql_text terminal sql_hash_value row_wait_obj
sql_param module sql_id row_wait_file
prev_sql_text action sql_child_number row_wait_block
prev_sql_param client_info sql_exec_start row_wait_row
program client_identifier sql_exec_id pdml_status
type session_logical_reads prev_sql_addr pddl_status

수집지표 – Oracle (2)
2. DB 모니터링
Oracle 에 대하여 다음과 같이 데이터를 수집합니다.
Session detail 지표
Sigma
Delta
Session Stat
Session Event
Session info
Wait info
SQL text
SQL prev text
PQ Tree지표
sid undo_blk
username undo_rec
program sql_text
machine param
module prev_sql_text
spid param
process
status
serial#
last_call_et
event
wait_time
logon_time
session logical read (stat1)
physical read (stat2)
block changes (stat7)
undo_segid
Lock Tree 지표
sid <param>
<serial#> <prev_sql_id>
<spid> <prev_sql_text>
<username>
<status>
<program>
<module>
holder type
lock mode(holder_mode)
waiter type
lock request(waiter_mode)
<event>
id1
id2
<last_call_et>
<sql_id>
<sql_text>
SQL Stat 지표
sql
execute count
sql elapse avg(sec)
sql elapse sum(sec)
sql elapse wait(sec)
sql elapse max(sec)
session_logical_reads
physical_reads
parse_count_hard
parse_count_total
db_block_changes
Dead Lock 지표
dead lock time
dead lock id
thread id
query id
host
user
state
query
Event 지표
db file sequential read
db file scattered read

수집지표 – MySQL/MariaDB
2. DB 모니터링
Stat 지표 Active Session 지표 Dead Lock 지표 Lock Tree 지표
Innodb_buffer_pool_read_requests id dead lock time id (holder_id/waiter_id)
Innodb_buffer_pool_reads user dead lock id <user>
Threads_connected host thread id <db>
Threads_running db query id <host>
Questions command host <time>
Com_select state user holder_type
Writes os_id state lock mode (holder_mode)
Bytes_received thread_id query waiter_type
Bytes_sent time lock request(waiter_mode)
Innodb_row_lock_current_waits type state (holder_state/waiter_state)
Connections name table (holder_table/waiter_table)
Com_commit connection_type index(holder_index/waiter_index)
Com_rollback query <query>
Innodb_rows_read query_param
Innodb_rows_writes
Innodb_row_lock_waits
Innodb_row_lock_time
MySQL/MariaDB 에 대하여 다음과 같이 데이터를 수집합니다.

수집지표 – SQL Server
2. DB 모니터링
SQL Server에 대하여 다음과 같이 데이터를 수집합니다.
Stat 지표
active_sessions Log Flushes/sec
total_sessions Memory Grants Outstanding
lock_wait_sessions Memory Grants Pending
Buffer Cache Hit Ratio Number of Deadlocks/sec
Database Pages Page Life Expectancy
Checkpoint pages/sec Page lookups/sec
Batch Requests/sec Page reads/sec
Cache Hit Ratio Page writes/sec
Cache Pages Range Scans/sec
Database Cache Memory (KB) SQL Compilations/sec
Errors/sec SQL Re-Compilations/sec
Free Memory (KB) Stolen Server Memory (KB)
FreeSpace Scans/sec Total Latch Wait Time (ms)
Full Scans/sec Total Server Memory (KB)
Latch Waits/sec Transactions/sec
Lazy Writes/sec User Connections
Lock Requests/sec
Active Session 지표
id logical_reads
objectid row_count
object cpu_time_sigma
db reads_sigma
status writes_sigma
elapsed_time logical_reads_sigma
wait_type granted_query_memory
wait_time isolation
wait_resource login_time
last_wait_type last_request_start_time
command host
cpu_usage application
percent_complete user
completion_time client
memory_usage sql_text
cpu_time sql_param
reads plan_handle
writes logical_reads
SQL Stat 지표
sql
execute count
sql elapse avg(sec)
sql elapse sum(sec)
sql elapse wait(sec)
sql elapse max(sec)
cpu_time
logical_reads
reads
writes
Lock Tree지표
id
db
status
elapsed_time
wait_type
wait_time
wait_resource
last_wait_type
row_count
host
application
user
client

Session

통합 모니터링
PHP/Python/Java 와 DB 로 구성된 업무를 통합 대쉬보드를 통해 실시간 모니터링 하는 기능을 제공합니다.
APM 영역
APM에서 주요 모니터링 대상인
ActiveTransactions, HitMap, TPS
분표 현황을 모니터링
DBX 영역
DB의 주요 모니터링 대상인
Active Sessions, ExcuteCount,
LogicalReads, PhysicalReads,
CPU를 모니터링

APM 연계 분석
APM 의 HitMap 분석화면에서 DB 의 지표 Trend 와 비교 분석하는 기능을 제공합니다.
DB 추적
APM HitMap 분포와 DB 지표
Trend를 동일 선상 비교 분석하여
연관성을 추출하는 기능을 제공

Session
발표자 목차
와탭 모니터링 로드맵
와탭랩스 1. 2019년, 개발 계획
2. 쿠버네티스 모니터링
3. 애플리케이션- 컨테이너 – VM/Host
4. Host Node 별 Container 현황
5. ReplicaSet(POD 그룹)별 실시간 트랜잭션
6. ReplicaSet/Container간 연관도
7. Node/ ReplicaSet(POD 그룹)별 통계
8. Web Service 체크
3.
김성조 CTO

2019년, 개발 계획
 Docker & Platform
• 애플리케이션 모니터링
• 컨테이너/클러스터 리소스
• 실시간 토폴로지
 .NET 에이전트
 Web 서비스 모니터링
 기능 강화
• 성능 정보 그룹핑
• 로그 모니터링
• 웹 리포팅 - 템플릿

쿠버네티스 모니터링
Host #1 Host #2 Host #3
(A)
(M)
(F)
(F)
(M)
(F)
(A) (A)
(F)
(B)
(M)(B)
(F)
(F)
(F)
(F)
(M)
(M)
(M)
(M)
(A)
(A)
(A)
(B)
(B)

애플리케이션 – 컨테이너 – VM/Host
실행 서버 및 컨
테이터
수가 유동적임
APP
• TPS
• Profile
• TX, SQL, HTTPC. 통계
CONTAINER
• CPU
• Memory
• Disk
• Network
HOST
• CPU
• Memory
• Disk
• Network
Container Resource
Service Resource
Application Transaction

Host Node 별 Container 현황
Host #1 Host #2 Host #3
(A)(M) (F)
(F)(M)
(F)(A)
(A)
(F) (B)(M)(B)
172.17.0.1 172.17.0.2 172.17.0.3
container=4
container=5container=3
CPU
CPU
CPU

ReplicaSet(POD 그룹)별 실시간 트랜잭션
TPS ACT
PC-Front(F)
TPS ACT
API-Server(A)
TPS ACT
Mobile(M)
TPS ACT
API-Server(B)

ReplicaSet/Container 간 연관도
ReplicaSet(POD 그룹) 별 연관도 Container별 연관도
(M)
(F)
(A) (B)
(F)
(F)
(A)
(A)
(B)
(B)
(M)
(M)
(F)

Node/ReplicaSet(POD 그룹)별 통계
Caller-Callee 통계
JDBC-SQL 통계
도메인 TX 통계
액티브스택 분석
트랜잭션 통계
Http Call 통계

Web Service 체크
WebCheck
Project-1
Web Check
Project-2
WebCheck
Admin
User-Kim
User-Kang
PCODE : 901
PCODE : 902
서울 LG U+
http://10.123.9.1/check.do
도쿄 AWS
http://10.123.9.1/index.do
서울 SK
서울 KT
공통 관리
서울
SK
WebCheck Agent
서울
KT
WebCheck Agent
서울
LGU+
WebCheck Agent
도쿄
AWS
WebCheck Agent
등록
등록
등록
등록
10.10.0.1
10.123.9.1
1or5분
호출
1or5분
호출

DB Monitoring 개념 및 활용 (박명규)

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à DB Monitoring 개념 및 활용 (박명규)

Similaire à DB Monitoring 개념 및 활용 (박명규) (20)

Plus de WhaTap Labs

Plus de WhaTap Labs (14)

Dernier

Dernier (6)

DB Monitoring 개념 및 활용 (박명규)