1. FluentdとAWSを使ったログ運用
2014/04/05
JAWS-UG 千葉支部 vol3
泉谷圭祐（@syguer）

2. 自己紹介
• 名前 泉谷圭祐
• 所属
• TIS株式会社 IT基盤サービス企画室
• eXcale（https://www.excale.net/）の中の人
• 好きなAWSのサービス
• Route 53
• SNS
• Twitter @syguer
• Facebook https://www.facebook.com/keisuke.izumiya

3. 突然
ですが、

4. こんなことありませんか？

7. あとで大事な領収書が…

8. ・Immutable Infrastructure
・Auto Scale

9. ポイ捨ての時代

10. 大事なものは
ちゃんととっておく

11. 大事なものは
ちゃんととっておく

12. Fluentd
• Ruby製のコマンドラインツール
• 設定が簡単、みかけの動作はシンプル

13. 構成図

14. 設定例

15. fluentdの設定（1）

16. fluentdの設定（1）
# Input
<source>
type tail
path /var/log/messages
format syslog
pos_file /var/log/fluentd/messages.pos
tag messages
</source>
# Output
<match messages>
type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 8
hard_timeout 60s
<server># <= 送信先サーバーの指定
name log_proxy
host 192.168.1.1
port 24224
</server>
</match>

17. fluentdの設定（2）

18. fluentdの設定（2）
# Input
<source>
type forward
port 24224
bind 0.0.0.0
</source>
# Output
<match messages>
type s3
aws_key_id ACCESS_KEY
aws_sec_key SECRET_KEY
path /
!
s3_bucket BUCKET_NAME
s3_endpoint END_POINT
s3_object_key_format %{time_slice}%{path}_%{index}.%{file_extension}
!
time_slice_format %Y/%m/%d/
time_slice_wait 10m
store_as text
</match>

19. lifecycleの設定

20. lifecycleの設定

21. lifecycleの設定

22. 注意したい点

23. 氷河は簡単には溶かせない

24. 氷河は簡単には溶かせない
• 一旦Glacierに入れてしまうと出すのに4時間ほどかかる
• アーカイブする期限については検討が必要

25. HeartBeatがUDP

26. HeartBeatがUDP
• fluentdはforward先が生きているかudpで見ている
• SecurityGroupの設定を足すか、fluentdの設定にオプ
ションを入れる必要あり
heartbeat_type tcp # v0.10.31以降

27. Terminateするとログが消える

28. Terminateするとログが消える
• fluentdはシャットダウン時にバッファをflushするが、
いわゆる電プチだとアウト
• これを解決する方法は…

29. ごめんなさい

30. 参考リンク
・fluentdで始めるログ管理【基本編】
http://blog.excale.net/index.php/archives/1704
!
・fluentdで始めるログ管理【フォワード設定まとめ】
http://blog.excale.net/index.php/archives/1997
!
・これは便利！fluentdが更に便利になるfluent-plugin-forest
http://blog.excale.net/index.php/archives/2506

31. CDP
Log Aggregation パターン
参考URL
http://aws.clouddesignpattern.org/index.php/CDP:Log_Aggregation_%E3%83%91%E3%82%BF
%E3%83%BC%E3%83%B3

32. クラウド時代の
ログ運用を始めよう

33. ご清聴ありがとうございました