Dtrace и немного магии

и немного магии
Saturday, September 28, 13

Dtrace: что за зверь?
• Инструмент
• Язык
• Образ мыслей
• Сообщество

У нас есть проблемы...
• Отладка
• Профилирование
• Трассировка
• Сбор статистики

И есть инструменты...
• Отладка: gdb, mdb
• Профилирование: oproﬁle
• Трассировка: truss, strace
• Сбор статистики: kstats, statfs

Много инструментов...
• Отладка: gdb, mdb
• Профилирование: oproﬁle
• Трассировка: truss, strace
• Сбор статистики: kstats, statfs

• Отладка
• Профилирование
• Трассировка
• Сбор статистики
One tool to rule them all
Dtrace

• Язык D

• Язык D
• Consumers

• Язык D
• Consumers
• Библиотека

• Язык D
• Consumers
• Фреймворк

• Язык D
• Consumers
• Точки инструментирования

• Язык D
• Consumers
• Точки инструментирования
• Провайдеры

Среда обитания
Software stack

Probes
% sudo dtrace -l
ID PROVIDER MODULE FUNCTION NAME
1 dtrace BEGIN
2 dtrace END
3 dtrace ERROR
4 fbt fcsm fcsm_job_cache_constructor entry
5 fbt fcsm fcsm_job_cache_constructor return
6 fbt fcsm fcsm_job_cache_destructor entry
7 fbt fcsm fcsm_job_cache_destructor return
...
5759 syscall read entry
5760 syscall read return
5761 syscall write entry
5762 syscall write return
...
6518 proc genunix cfork create
6519 sysinfo genunix cfork sysfork
6520 proc genunix proc_exit exit
6521 proc genunix lwp_exit lwp-exit
6522 proc genunix proc_exit lwp-exit

Probes
% sudo dtrace -l
ID PROVIDER MODULE FUNCTION NAME
1 dtrace BEGIN
2 dtrace END
3 dtrace ERROR
4 fbt fcsm fcsm_job_cache_constructor entry
5 fbt fcsm fcsm_job_cache_constructor return
6 fbt fcsm fcsm_job_cache_destructor entry
7 fbt fcsm fcsm_job_cache_destructor return
...
5759 syscall read entry
5760 syscall read return
5761 syscall write entry
5762 syscall write return
...
6518 proc genunix cfork create
6519 sysinfo genunix cfork sysfork
6520 proc genunix proc_exit exit
6521 proc genunix lwp_exit lwp-exit
6522 proc genunix proc_exit lwp-exit
Format: provider:module:function:name
Example: proc:genunix:cfork:create

Язык D
Переменная
Проба
Предикат
Действие
#!/usr/sbin/dtrace -s
BEGIN {
! c = 0;
! printf("How many times does ls call read?");
}
syscall::read:entry
/execname == "ls"/
{
c++;
}
END {
! printf("t%d times", c);
}
% ./test.d
dtrace: script './test.d' matched 3 probes
CPU ID FUNCTION:NAME
0 1 :BEGIN How many times does ls call
read?
^C
0 2 :END ! 6 times
Переменная
Проба
Предикат
Тело

Язык D
BEGIN {
! c = 0;
! printf("How many times does ls call read?");
}
syscall::read:entry
/execname == "ls"/
{
c++;
}
END {
! printf("t%d times", c);
}
% ./test.d
dtrace: script './test.d' matched 3 probes
0 1 :BEGIN How many times does ls call
read?
^C
0 2 :END ! 6 times
Not thread safe!

Отладка

Отладка: волшебный printf
• printf(...);
• std::cout << ... << std::end;
• System.out.println(...);
• echo “...”;
• log(loglevel, message)

Отладка: проблема останова
• make CFLAGS=-DDEBUG
• rmmod; insmode

• Не останавливаем приложение
• Не перекомпилируем
• Не запускаем его в дебагере
• Подключаемся на лету когда угодно и куда угодно
• Почти не теряем в производительности
Отладка: dtrace

Дебажим: кто сказал мяу?
Дано: некий демон zpool_worker активно дергает функции библиотеки libzfs.
Одна из библиотечных функций, zpool_vdev_attach(), по непонятной причине
возвращает ошибку.
Задача: Залезть в дебри libzfs и понять откуда именно и почему возвращается
ошибка

pid$target::zpool_vdev_attach:entry
{
self->trace = 1;
}
pid$target:libzfs::return
/self->trace && (int)arg1 == -1/
{
ustack();
exit(0);
}
Провайдер pid, развернется в pid<ARG>

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Модуль, нету модуля

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Имя пробы

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Thread local variable

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Цепляемся ко всем функциям из libzfs

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Выполнить только если:
a) Мы пришли из zpool_vdev_attach()
b) Код возврата (arg1) == -1

{
self->trace = 1;
}
{
ustack();
exit(0);
}
Распечатать стэк и выйти

% ./who_said_meow.d -p 373
dtrace: script './who_said_meow.d' matched 478 probes
0 52733 zfs_ioctl:return
libzfs.so.1`zfs_ioctl+0x2c
zpool_worker`do_zpool_attach_or_replace+0x154
zpool_worker`zpool_rpc_attach+0x9f
zpool_worker`attach_invoke+0x70
zpool_worker`rpc_invoke+0xbb
zpool_worker`rpc_server_loop+0x9d
zpool_worker`rpc_worker_main_mode+0xc9
zpool_worker`rpc_worker_main+0x20
zpool_worker`main+0x6c
zpool_worker`_start+0x83

% dtrace -n 'fbt::zfs_ioc_vdev_attach:return /
execname=="zpool_worker"/ {trace(arg1);}'
dtrace: description 'fbt::zfs_ioc_vdev_attach:return ' matched 1
probe
0 60612 zfs_ioc_vdev_attach:return 16
Проделаем то же самое в пространстве ядра.
Для начала узнаем код ошибки...

probe
FBT: провайдер точек инструментирования ядерных функций

probe
Запускать пробу только если функцию дернул zpool_worker

fbt::zfs_ioc_vdev_attach:entry
/execname == "zpool_worker"/
{
self->trace = 1;
}
fbt:zfs::return
/self->trace && arg1 == 16/
{
stack();
exit(0);
}

% ./who_said_meow_kern.d
dtrace: script './who_said_meow_kern.d' matched 2439 probes
0 61288 spa_open_ref:return
zfs`spa_open_common+0x279
zfs`spa_open+0x23
zfs`zfs_ioc_vdev_attach+0x32
zfs`zfsdev_ioctl+0x327
genunix`cdev_ioctl+0x45
specfs`spec_ioctl+0x5a
genunix`fop_ioctl+0x7b
genunix`ioctl+0x18e
unix`_sys_sysenter_post_swapgs+0x149

Flowindent: что делает redis?
#pragma D option flowindent
pid$target:::entry
{
}
pid$target:::return
{
}

Flowindent: что делает redis?
% ./trace_redis.d -p 17926
...
0 -> aeProcessEvents
0 -> gettimeofday
0 -> __commpage_gettimeofday
0 -> mach_absolute_time
0 <- mach_absolute_time
0 <- __commpage_gettimeofday
0 <- gettimeofday
0 -> kevent
0 <- kevent
0 -> time
0 -> fegetenv
0 -> bzero$VARIANT$sse42
0 <- bzero$VARIANT$sse42
0 <- fegetenv
0 -> gettimeofday
0 -> __commpage_gettimeofday
0 -> mach_absolute_time
0 <- mach_absolute_time
0 <- __commpage_gettimeofday
0 <- gettimeofday
0 -> fesetenv
0 <- fesetenv
0 <- time
0 -> gettimeofdaySaturday, September 28, 13

Статистика

Статистика
• Dtrace - прекрасный инструмент для сбора статистики
• Dtrace умеет считать
• Dtrace умеет измерять
• Dtrace даже умеет визуализировать

Статистика: quantize
pid$target::malloc:entry
{
! @a = quantize(arg0)
}

{
}
Aggregation

{
}
Aggregation:
@a.append(arg0)
quantize(@a)

% ./showmalloc.d -p 17926 # Redis
...
value ------------- Distribution ------------- count
4 | 0
8 |@@@@@@@@ 70
16 |@@@@@@@@@@@@@@@@@@@@@ 187
32 |@@@ 23
64 |@@@@@ 47
128 |@@@ 23
256 | 0

% ./showmalloc.d -p 17926 # Safari
...
-1 | 0
0 | 2
1 | 4
2 | 0
4 | 72
8 |@@@@@ 1362
16 |@@@@@@@@@ 2395
32 |@@@@@@ 1604
64 |@@@@@@ 1663
128 |@@@ 840
256 |@@ 401
512 |@@@@ 1128
1024 |@ 295
2048 |@ 252
4096 |@ 150
8192 | 2
16384 | 7
32768 | 32
65536 | 80
131072 | 1
262144 | 0
524288 | 0

Кто стучится в порт ко мне?
tcp:::receive
/args[4]->tcp_dport == 80/
{
@pkts[args[2]->ip_saddr] = count();
}

tcp:::receive
{
}
struct tcpinfo (TCP header ﬁelds)

tcp:::receive
{
}
struct ipinfo (IP information)

tcp:::receive
{
}
Императивная запись:
@pkts[<ip_daddr>]++

tcp:::receive
{
@pkts[args[2]->ip_daddr] = count();
}
% ./port.d
...
192.168.0.50 34
192.168.0.102 11
192.168.0.12 2

Trace disk I/O size
io:::start
{
printf("%d %s %d", pid, execname, args[0]->b_bcount);
}

Trace disk I/O size
io:::start
{
}
struct buﬁnfo (абстракция, описывающая
I/O request)

Trace disk I/O size
io:::start
{
}
% ./iostat.d
dtrace: description 'io:::start ' matched 1 probe
0 1031 buf_strategy:start 183 cfprefsd 4096
2 1031 buf_strategy:start 183 cfprefsd 4096
0 1031 buf_strategy:start 222 iTerm 24576
0 1031 buf_strategy:start 222 iTerm 4096
0 1031 buf_strategy:start 7098 Keynote 4096
0 1031 buf_strategy:start 7098 Keynote 4096
2 1031 buf_strategy:start 78602 Mail 4096

Покажи свои файлы
syscall::open:entry
{
printf("%s %s", execname, copyinstr(arg0));
}
% ./trace_opens.d
dtrace: description 'syscall::open*:entry ' matched 4 probes
4 141 open:entry mdworker /Users/dk/Library/Saved Application
State/com.googlecode.iterm2.savedState/data.data
4 141 open:entry ocspd /private/var/db/crls/crlcache.db
State/com.googlecode.iterm2.savedState/window_142.data
State/com.googlecode.iterm2.savedState/.DS_Store
6 141 open:entry mds .
6 141 open:entry Safari /Users/dk/Library/Saved Application
State/com.apple.Safari.savedState/data.data
State/com.apple.Safari.savedState/windows.plist

Покажи свои файлы
syscall::open:entry
{
printf("%s %s", execname, copyinstr(arg0));
}
% ./trace_opens.d
dtrace: description 'syscall::open*:entry ' matched 4 probes
State/com.googlecode.iterm2.savedState/data.data
4 141 open:entry ocspd /private/var/db/crls/crlcache.db
State/com.googlecode.iterm2.savedState/window_142.data
State/com.googlecode.iterm2.savedState/.DS_Store
6 141 open:entry mds .
State/com.apple.Safari.savedState/data.data
State/com.apple.Safari.savedState/windows.plist
не забываем, что мы в пространстве ядра

Профайлим

Где самые горячие функции?
profile-997
/arg1/
{
@a[execname, ufunc(arg1)] = count();
}
tick-60s
{
trunc(@a, 5);
exit(0);
}
провайдер proﬁle

profile-997
/arg1/
{
}
tick-60s
{
trunc(@a, 5);
exit(0);
}
user mode

profile-997
/arg1/
{
}
tick-60s
{
trunc(@a, 5);
exit(0);
}
составной ключ

profile-997
/arg1/
{
}
tick-60s
{
trunc(@a, 5);
exit(0);
}
% ./hotfuncs.d
4 288995 :tick-60s
Aquamacs Aquamacs`Fassoc
WebProcess JavaScriptCore`JSC::SlotVisitor::copyAndAppend
WebProcess JavaScriptCore`JSC::Structure::visitChildren
Aquamacs Aquamacs`assq_no_quit
Skype libobjc.A.dylib`objc_msgSend

Волшебный timestamp
nfsv3:::op-write-start
{
self->write_start_time = timestamp;
}
nfsv3:::op-write-done
{
this->diff = timestamp - self->write_start_time;
@a1["avg"] = avg(this->diff);
@a2["min"] = min(this->diff);
@a3["max"] = max(this->diff);
@plot = quantize(this->diff);
}
tick-60s
{
exit(0);
}

{
}
{
}
tick-60s
{
exit(0);
}
Используем thread local
переменную

{
}
{
}
tick-60s
{
exit(0);
}
avg(all diffs in @a1)
min(all diffs in @a2)
max(all diffs in @a3)

% ./nfsv3_write_perf.d
avg 31157
min 8472
max 19504129
4096 | 0
8192 |@@@@@@@@@@ 2472
16384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ 6610
32768 |@@ 536
65536 | 36
131072 | 1
262144 | 9
524288 | 69
1048576 | 13
2097152 | 3
4194304 | 0
8388608 | 1
16777216 | 0

Flamegraphs

Flamegraphs
% dtrace -x ustackframes=100 -n ‘profile-997 /execname == “mysqld”/
{@[ustack()] = count();} tick-60s {exit(0);}’ > out.user_stacks
% ./stackcollapse.pl out.user_stacks | ./flamegraph.pl > graph.svg

Dtrace в разных ОС
• OpenSolaris/Illumos
• FreeBSD
• NetBSD
• MacOSX
• Oracle Solaris
• Oracle Linux?

What about GNU/Linux
We don’t take kindly dtrace guys
like you

Есть ли жизнь вне C?
• С++: name mangling
• Java: USDT
• node.js, perl, ruby: libusdt based providers
• libusdt: github.com/chrisa/libusdt/

Полезные ссылки
• http://www.brendangregg.com/dtrace.html
• http://www.dtracebook.com/index.php/Main_Page
• https://wiki.freebsd.org/DTrace
• https://blogs.oracle.com/rweisner/entry/dtrace_and_c_objects
• http://www.joyent.com/blog/bruning-questions-debugging-node-apps-with-dtrace
• https://github.com/chrisa/libusdt
• http://dtrace.org/blogs/brendan/2011/12/16/ﬂame-graphs/

Вопросы

Dtrace и немного магии

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (18)

En vedette

En vedette (6)

Similaire à Dtrace и немного магии

Similaire à Dtrace и немного магии (20)

Dernier

Dernier (20)

Dtrace и немного магии