LT at YAPC::Asia 2012

1. Lightning Talk at YAPC：：Asia 2012
Fluentdで、コードを書いてみ
ようかなと思った話
perl歴半年くらいですやさしくしてください
@studio3104

2. @studio3104 (Satoshi SUZUKI)
-- Perl歴半年くらい
-- WEB業界2年目
-- 妻、娘、息子います
-- ソシャゲ、公式サイト、パチ(スロ)ンコ
-- こんなのやってます →→→→→→→
-- Perlと心中するらしいです
自己紹介

3. 仕事何してるかって聞かれると
「IT系のエンジニア」
「え、SE？プログラマ？」
「違う、インフラ系」
「え、インフラ？ガス？」

5. インフラ
エンジニア

6. インフラ

7. 仕事何してるかって聞かれると
「インフラ」
「え、インフラ？ガス？」

11. 「インフラのエンジニアなんだ
からプログラムなんて書く必
要ないんだよね。」
23歳 男性
インフラエンジニアのプログラミングへの意識

12. 「とりあえずなんとなくJavaの
入門書買ってひと通りやって
みたけど使い所ないと思って
る。」
24歳 男性
インフラエンジニアのプログラミングへの意識

13. 「運用に必要で自分で作りた
いと思う処理って、結局シェ
ルスクリプトで間に合っちゃう
んだよね。」
25歳 男性
インフラエンジニアのプログラミングへの意識

14. 「やっぱりコード書けるように
なりたいので、サービスの管
理画面作ってみようとしたけ
ど挫折した。」
26歳 男性
インフラエンジニアのプログラミングへの意識

15. 全部
過去のワタシが
思ってたことです

17. 運用系エンジニアが
自分で書いて有益であろうもの
・Munin Plugin
・Nagios Plugin
・Ganglia Plugin
・Zabbix Plugin
・fluent-plugin

18. 運用系エンジニアが
自分で書いて有益であろうもの
・Munin Plugin → なんでもok
・Nagios Plugin → なんでもok
・Ganglia Plugin → pythonだけ？
・Zabbix Plugin → よく知らない
・fluent-plugin → ruby

19. そこで

20. out_exec_filter

23. log_format main
'$remote_addr - $remote_user
[$time_local] "$request" $status
$body_bytes_sent "$http_referer"
"$http_user_agent "$request_time';
combined+レスポンスタイムなnginxのログフォーマット

24. {"host":"192.168.1.4","user":"-","method":"
GET","path":"/foo/bar/index.psgi?
source=ig&hl=ja&rlz=1G1GGLQ_JAJP314&q=
td-agent&oq=td-
agent&aq=f&aqi=&aql=&gs_l=igoogle.3...
0.0.0.387.0.0.0.0.0.0.0.0..0.0...0.0.","code":"
200",size":"0","referer":"-","agent":"Mozilla/5.
0 (X11; Linux x86_64) AppleWebKit/536.5
(KHTML, like Gecko) Chrome/19.0.1084.56
Safari/536.5","response":"0.000"}
普通にFluentdの処理を通すとこうなる

25. {"host":"192.168.1.4","user":"-","method":"
GET","path":"/foo/bar/index.psgi?
source=ig&hl=ja&rlz=1G1GGLQ_JAJP314&q=
td-agent&oq=td-
agent&aq=f&aqi=&aql=&gs_l=igoogle.3...
0.0.0.387.0.0.0.0.0.0.0.0..0.0...0.0.","code":"
200",size":"0","referer":"-","agent":"Mozilla/5.
0 (X11; Linux x86_64) AppleWebKit/536.5
(KHTML, like Gecko) Chrome/19.0.1084.56
Safari/536.5","response":"0.000"}
combined+レスポンスタイムなnginxのログフォーマット

26. {"agent":"Mozilla/5.0 (X11; Linux x86_64)
AppleWebKit/536.5 (KHTML, like Gecko)
Chrome/19.0.1084.56 Safari/536.5","code":"
200","host":"192.168.1.4","method":"GET","
path":"/foo/bar/index.psgi","referer":"-","
response":"0.000","size":"0","user":"-","
query_strings":{"source":"ig","aqi":"","aq":"
f","oq":"td-agent","rlz":"1G1GGLQ_JAJP314","
hl":"ja","gs_l":"igoogle.3...
0.0.0.387.0.0.0.0.0.0.0.0..0.0...0.0.","q":"td-
agent","aql":""},}
combined+レスポンスタイムなnginxのログフォーマット

28. デモ

29. MySQL slow_log
1 #!/usr/bin/env perl$ 27 $ tail
2$ 28 unless ( defined $slowlog->{sql} ) {$
3 use strict;$ 29 print $mp->pack($slowlog);$
4 use warnings;$ 30 next;$
5 use Data::Dumper;$ 31 }$
EXPLAIN
6 use DBIx::Handler;$
7 use JSON::XS;$
32 $
33 my $select_statement;$
8 use Data::MessagePack;$ 34 if ( $slowlog->{sql} =~ /(select[^;]+)/i ) {$
9$ 35 $select_statement = $1;$
10 $| = 1;$ 36 }$
11 $ 37 $
12 my $mp = Data::MessagePack->new();$ 38 if ( $slowlog->{sql} =~ /^use ([^;]+)/i ) {$
13 $ 39 $db = '`' . $1 . '`';$
14 my $db_user = "root";$ 40 }$
15 my $db_passwd = "";$ 41 $
16 my $db_opt = { RaiseError => 0, PrintError => 1 };$ 42 if ( defined $db && defined $select_statement ) {$
17 my $handler = DBIx::Handler->new( "DBI:mysql: 43 $handler->dbh->do("use $db");$
database=information_schema:1 27.0.0.1", $db_user, 44 my $explains = eval { $handler->dbh-
$db_passwd, $db_opt );$ >selectall_arrayref( "EXPLAIN $selec t_statement", +{
18 $ Slice => {} } ); };$
19 my $db;$ 45 if ( ref $explains eq 'ARRAY' ) {$
20 my $long_query_time = $handler->dbh- 46 $slowlog->{explain} = $explains;$
>selectrow_array($ 47 $slowlog->{database} = $db;$
21 "SELECT VARIABLE_VALUE FROM 48 }$
GLOBAL_VARIABLES WHERE VARIABLE_NAME = 49 }$
'LONG_Q UERY_TIME'");$ 50 $
22 $handler->dbh->do("SELECT SLEEP 51 print $mp->pack($slowlog);$
($long_query_time)");$ 52 }$
23 $
24 while ( my $json = <STDIN> ) {$
25 my $slowlog = eval { decode_json($json); };$
26 next if ($@);$ store MongoDB

30. Perl歴

31. Lightning Talk at YAPC：：Asia 2012
Fluentdで、コードを書いてみ
ようかなと思った話
ご清聴ありがとうございました
@studio3104