Recommandé
Contenu connexe
En vedette
En vedette (20)
Similaire à Fluentd勉強会 （導入編 TreasureData活用）
Similaire à Fluentd勉強会 （導入編 TreasureData活用） (20)
Dernier
Dernier (8)
Fluentd勉強会 （導入編 TreasureData活用）
- 1. fluentd 勉強会 at ipros 導入編 TreasureData活用 株式会社イプロス カイゼンチームリーダー 竹内孝志
- 3. 導入編の目的 fluentd, td-agentを使ったことがない人 が・・・ td-agentとTreasureDataを使って ・ログの収集ができるようになる ・データの集計ができるようになる
- 7. TreasureData概要 TreasureDataとはトレジャーデータが提供す るクラウドデータウェアハウスサービスのこ とをいう。 正式名称『Treasure Data Cloud Data Warehousing Service』。 クラウドストレージ上の任意のデータに対す るアクセス，および大規模な集計ジョブを走 らせることが可能。
- 16. TreasureDataへ接続 $ td account –f Enter your Treasure Data credentials. Email: ※TreasureDataのIDとパスワードを入力する。
- 17. TreasureDataの操作 DB作成 $ td db:create データベース名 $ td table:create データベース名テーブル名 データ投入 $ td sample:apache apache.json $ td table:import データベース名 テーブル名--json apache.json tail -n 1 apache.json {"host":"200.129.205.208","user":"","method":"GET","path”:"/category/electronics”,"code":200,"refe rer":"-","size":62, "agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","time":1334035906}
- 18. TreasureDataの操作 データベースの確認 $ td tables データにアクセス $ td query -w –d データベース名 "SELECT v['code'] AS code, COUNT(1) AS cnt FROM テーブル名 GROUP BY v['code']"
- 21. td-agentインストール yumコマンドでtd-agentをインストール $ sudo vi /etc/yum.repos.d/td.repo $ sudo yum install -y td-agent td.repo [treasuredata]name=TreasureDatabaseurl= http://packages.treasure-data.com/redhat/$basearchgpgcheck=0
- 22. td-agentインストール 起動 $ /etc/init.d/td-agent start APIキー確認 $ td account -f $ td apikey:show
- 24. apacheのログ送信 td-agent.conf <match td.*.*> type tdlog apikey XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX auto_create_table buffer_type file buffer_path /var/log/td-agent/buffer/td use_ssl true </match> <source> type tail path /var/log/httpd/httpd.access_log pos_file /tmp/httpd.access.log.pos format apache tag td.test.httpd </source>
- 25. 自由形式のログを送信 こんなアクセスログがあったとする。 アクセスログ 2013-10-22 07:46:37,028 1270859 2013-10-17 2013-10-22 09:03:46,635 1197675 2013-10-19 2013-10-22 12:32:25,593 1189472 2013-10-22 2013-10-22 12:33:05,671 1271888 2013-10-22 2013-10-22 12:38:21,005 1272255 2013-10-22 2013-10-22 12:41:40,961 1021213 2013-10-22 2013-10-22 12:43:46,654 1271174 2013-10-19 2013-10-22 12:44:43,604 1077677 2013-10-22 2013-10-22 12:45:38,035 1272280 2013-10-22 2013-10-22 12:47:23,007 1080238 2013-10-22 2013-10-22 12:47:38,265 1271174 2013-10-19
- 26. 自由形式のログを送信 設定ファイルに送信するログの記述を追加する td-agent.conf <source> type tail path /var/ipros/log/followmailopen.log tag td.applog<%= env_suffix %>.followmailopen format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) (?<memberid>S+) (?<senddate>d{4}-d{2}-d{2})/ pos_file /var/log/td-agent/td.applog.followmailopen.pos </source>
- 27. フォーマットの指定方法 format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) 定型文 各カラムのフォーマット (?<memberid>S+) (?<senddate>d{4}-d{2}-d{2})/ カラム名 フォーマット
- 29. googledriveと連携 スケジュール作成時にスプレッドシートを指定 する $ td sched:create [スケジュール名]"0 7 * * *" -t "Asia/Tokyo" -d applog --result „gspreadsheet://[ユーザー名]:[パスワード] @[ドメイン名]/[ドライブ名]/[シート名]?mode=replace' “SELECT ・・・・・・・・・・・” ※td-agentもしくはtoolbeltが入ったマシンからコマンドを実行する。
- 36. 導入時に発生した問題 特になし
- 41. ご清聴 ありがとうございまし た