Soumettre la recherche
Mettre en ligne
それFluentdで! #fluentd
•
Télécharger en tant que PPTX, PDF
•
41 j'aime
•
8,684 vues
Atsuko Shibuya
Suivre
社内で実はあまり知らない、という声もあって、それfluentdでできるんだけどなぁという実装が多かったので、勉強会してみました。
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 52
Télécharger maintenant
Recommandé
Kibanaでログを可視化してみた
Kibanaでログを可視化してみた
Daigou Harada
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
daisuke-a-matsui
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Apache Drill で見る Twitter の世界
Apache Drill で見る Twitter の世界
Masaru Watanabe
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
Recommandé
Kibanaでログを可視化してみた
Kibanaでログを可視化してみた
Daigou Harada
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
Norikra + Fluentd+ Elasticsearch + Kibana リアルタイムストリーミング処理ログ集計による異常検知
daisuke-a-matsui
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Apache Drill で見る Twitter の世界
Apache Drill で見る Twitter の世界
Masaru Watanabe
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Masaru Kobashigawa
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
Jun Ohtani
イケてる分析基盤をつくる
イケてる分析基盤をつくる
Atsushi Hayakawa
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
ISUCON夏期講習2015_2 実践編
ISUCON夏期講習2015_2 実践編
SATOSHI TAGOMORI
Treasure Agent Monitoring Service (ベータ)
Treasure Agent Monitoring Service (ベータ)
Treasure Data, Inc.
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
Atsushi Hayakawa
20120721_ishkawa
20120721_ishkawa
Yosuke Ishikawa
データ分析基盤として Rancher・k8s で始まるのか調査してみた
データ分析基盤として Rancher・k8s で始まるのか調査してみた
YASUKAZU NAGATOMI
20141220 clrh etw
20141220 clrh etw
Takayoshi Tanaka
Bundler 2 の胎動
Bundler 2 の胎動
Koichi ITO
mysqlftppc 紹介
mysqlftppc 紹介
Hiroaki Kawai
Ruby on rails on hudsonの活用事例
Ruby on rails on hudsonの活用事例
Maki Toshio
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
moai kids
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
Shinsuke Sugaya
AngularFireで楽々バックエンド
AngularFireで楽々バックエンド
Yosuke Onoue
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
Kouhei Sutou
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
fluent-plugin-norikra #fluentdcasual
fluent-plugin-norikra #fluentdcasual
SATOSHI TAGOMORI
Contenu connexe
Tendances
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Masaru Kobashigawa
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Shinsuke Sugaya
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
Jun Ohtani
イケてる分析基盤をつくる
イケてる分析基盤をつくる
Atsushi Hayakawa
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
ISUCON夏期講習2015_2 実践編
ISUCON夏期講習2015_2 実践編
SATOSHI TAGOMORI
Treasure Agent Monitoring Service (ベータ)
Treasure Agent Monitoring Service (ベータ)
Treasure Data, Inc.
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
Atsushi Hayakawa
20120721_ishkawa
20120721_ishkawa
Yosuke Ishikawa
データ分析基盤として Rancher・k8s で始まるのか調査してみた
データ分析基盤として Rancher・k8s で始まるのか調査してみた
YASUKAZU NAGATOMI
20141220 clrh etw
20141220 clrh etw
Takayoshi Tanaka
Bundler 2 の胎動
Bundler 2 の胎動
Koichi ITO
mysqlftppc 紹介
mysqlftppc 紹介
Hiroaki Kawai
Ruby on rails on hudsonの活用事例
Ruby on rails on hudsonの活用事例
Maki Toshio
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
moai kids
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
Shinsuke Sugaya
AngularFireで楽々バックエンド
AngularFireで楽々バックエンド
Yosuke Onoue
Google bigquery導入記
Google bigquery導入記
Yugo Shimizu
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
Kouhei Sutou
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
Takuji Shimokawa
Tendances
(20)
Osc2012.dbに行ってきました
Osc2012.dbに行ってきました
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch Authプラグインでアクセスコントロール
Elasticsearch入門 pyfes 201207
Elasticsearch入門 pyfes 201207
イケてる分析基盤をつくる
イケてる分析基盤をつくる
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
ISUCON夏期講習2015_2 実践編
ISUCON夏期講習2015_2 実践編
Treasure Agent Monitoring Service (ベータ)
Treasure Agent Monitoring Service (ベータ)
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
20120721_ishkawa
20120721_ishkawa
データ分析基盤として Rancher・k8s で始まるのか調査してみた
データ分析基盤として Rancher・k8s で始まるのか調査してみた
20141220 clrh etw
20141220 clrh etw
Bundler 2 の胎動
Bundler 2 の胎動
mysqlftppc 紹介
mysqlftppc 紹介
Ruby on rails on hudsonの活用事例
Ruby on rails on hudsonの活用事例
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
ESFluteによるElasticsearchでのO/Rマッパーを用いた開発
AngularFireで楽々バックエンド
AngularFireで楽々バックエンド
Google bigquery導入記
Google bigquery導入記
いろいろ考えると日本語の全文検索もMySQLがいいね!
いろいろ考えると日本語の全文検索もMySQLがいいね!
JavaScriptから利用するFirebase
JavaScriptから利用するFirebase
En vedette
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
fluent-plugin-norikra #fluentdcasual
fluent-plugin-norikra #fluentdcasual
SATOSHI TAGOMORI
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Sadayuki Furuhashi
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Kentaro Yoshida
fluentd を利用した大規模ウェブサービスのロギング
fluentd を利用した大規模ウェブサービスのロギング
Yuichi Tateno
Fluentd v1 and Roadmap
Fluentd v1 and Roadmap
Treasure Data, Inc.
Fluentdの使い方
Fluentdの使い方
Tomohiro Goya
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
崇介 藤井
リクルート流Elasticsearchの使い方
リクルート流Elasticsearchの使い方
Recruit Technologies
Life of an Fluentd event
Life of an Fluentd event
Kiyoto Tamura
RN4020のお話
RN4020のお話
Tomohiro Goya
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~
じゅん なかざ
Fluentdがよくわからなかった話
Fluentdがよくわからなかった話
Shunsuke Michii
fluentdとnorikraが便利そうだから使ってみようよ
fluentdとnorikraが便利そうだから使ってみようよ
ara_ta3
セキュアなサーバを構築しよう(CentOS 5.xまで対応)
セキュアなサーバを構築しよう(CentOS 5.xまで対応)
Kensuke Nezu
fluentd設定行数とシステム複雑性のカジュアルな話
fluentd設定行数とシステム複雑性のカジュアルな話
Kenta Suzuki
fluentdとnorikraが便利そうだから使ってみようよ
fluentdとnorikraが便利そうだから使ってみようよ
ara_ta3
社内向けTech Talk資料~Fluentdの基本紹介~
社内向けTech Talk資料~Fluentdの基本紹介~
Daisuke Ikeda
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
gree_tech
Fluentd v0.12 master guide
Fluentd v0.12 master guide
N Masahiro
En vedette
(20)
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
fluent-plugin-norikra #fluentdcasual
fluent-plugin-norikra #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
fluentd を利用した大規模ウェブサービスのロギング
fluentd を利用した大規模ウェブサービスのロギング
Fluentd v1 and Roadmap
Fluentd v1 and Roadmap
Fluentdの使い方
Fluentdの使い方
Elasticsearchを使うときの注意点 公開用スライド
Elasticsearchを使うときの注意点 公開用スライド
リクルート流Elasticsearchの使い方
リクルート流Elasticsearchの使い方
Life of an Fluentd event
Life of an Fluentd event
RN4020のお話
RN4020のお話
既存システムへの新技術活用法 ~fluntd/MongoDB~
既存システムへの新技術活用法 ~fluntd/MongoDB~
Fluentdがよくわからなかった話
Fluentdがよくわからなかった話
fluentdとnorikraが便利そうだから使ってみようよ
fluentdとnorikraが便利そうだから使ってみようよ
セキュアなサーバを構築しよう(CentOS 5.xまで対応)
セキュアなサーバを構築しよう(CentOS 5.xまで対応)
fluentd設定行数とシステム複雑性のカジュアルな話
fluentd設定行数とシステム複雑性のカジュアルな話
fluentdとnorikraが便利そうだから使ってみようよ
fluentdとnorikraが便利そうだから使ってみようよ
社内向けTech Talk資料~Fluentdの基本紹介~
社内向けTech Talk資料~Fluentdの基本紹介~
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
[デブサミ秋2015] 新卒入社エンジニアが2年間fluentdを運用して学んだ事いろいろ
Fluentd v0.12 master guide
Fluentd v0.12 master guide
Similaire à それFluentdで! #fluentd
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Oshitari_kochi
Cockpit紹介
Cockpit紹介
atk1234
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
株式会社スカイアーチネットワークス
elasticsearchプラグイン入門
elasticsearchプラグイン入門
Shinsuke Sugaya
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
Shinsuke Sugaya
IaC化の3つのポイント
IaC化の3つのポイント
山下 達也
Ansible AWXで一歩進んだプロビジョニング
Ansible AWXで一歩進んだプロビジョニング
sugoto
Xcode グループとフォルダー参照 #yhios
Xcode グループとフォルダー参照 #yhios
Tomohiro Kumagai
SwiftとCocoaPodsで始めるサクサクiOS開発!
SwiftとCocoaPodsで始めるサクサクiOS開発!
Koji Shiraishi
Spring Bootハンズオン ~Spring Bootで作る マイクロサービスアーキテクチャ! #jjug_ccc #ccc_r53
Spring Bootハンズオン ~Spring Bootで作る マイクロサービスアーキテクチャ! #jjug_ccc #ccc_r53
Toshiaki Maki
アプリケーションエンジニアのためのクラウドインフラ再入門 (2/3)
アプリケーションエンジニアのためのクラウドインフラ再入門 (2/3)
Takashi Sogabe
Netラボ2012年3月勉強会ライトニングトーク
Netラボ2012年3月勉強会ライトニングトーク
david9142
ChefユーザのためのAnsible入門
ChefユーザのためのAnsible入門
Mahito Ogura
あるインフラエンジニアの過去と未来
あるインフラエンジニアの過去と未来
Tsubasa Hirota
MicroServiceArchitecture
MicroServiceArchitecture
Kaseya Hiroshi
Next-L Enju 開発ワークショップ #8
Next-L Enju 開発ワークショップ #8
Kosuke Tanabe
Twilio の API を SQL で操作!? 〜 CData Drivers for Twilio 製品のご紹介 〜
Twilio の API を SQL で操作!? 〜 CData Drivers for Twilio 製品のご紹介 〜
CData Software Japan
持続的な運用開発のために社内基盤を整えている話 〜auditのCI組み込みやlintの社内PKG化〜
持続的な運用開発のために社内基盤を整えている話 〜auditのCI組み込みやlintの社内PKG化〜
bitbank, Inc. Tokyo, Japan
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Shinsuke Sugaya
Programming AWS with Python
Programming AWS with Python
Yasuhiro Matsuo
Similaire à それFluentdで! #fluentd
(20)
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Cockpit紹介
Cockpit紹介
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
AWSでシステム構築工数を1/10にしつつ、高品質化も実現した枠組みのご紹介
elasticsearchプラグイン入門
elasticsearchプラグイン入門
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
LastaFluteに移行したFessとElasticsearch+ESFluteによるDBFlute環境
IaC化の3つのポイント
IaC化の3つのポイント
Ansible AWXで一歩進んだプロビジョニング
Ansible AWXで一歩進んだプロビジョニング
Xcode グループとフォルダー参照 #yhios
Xcode グループとフォルダー参照 #yhios
SwiftとCocoaPodsで始めるサクサクiOS開発!
SwiftとCocoaPodsで始めるサクサクiOS開発!
Spring Bootハンズオン ~Spring Bootで作る マイクロサービスアーキテクチャ! #jjug_ccc #ccc_r53
Spring Bootハンズオン ~Spring Bootで作る マイクロサービスアーキテクチャ! #jjug_ccc #ccc_r53
アプリケーションエンジニアのためのクラウドインフラ再入門 (2/3)
アプリケーションエンジニアのためのクラウドインフラ再入門 (2/3)
Netラボ2012年3月勉強会ライトニングトーク
Netラボ2012年3月勉強会ライトニングトーク
ChefユーザのためのAnsible入門
ChefユーザのためのAnsible入門
あるインフラエンジニアの過去と未来
あるインフラエンジニアの過去と未来
MicroServiceArchitecture
MicroServiceArchitecture
Next-L Enju 開発ワークショップ #8
Next-L Enju 開発ワークショップ #8
Twilio の API を SQL で操作!? 〜 CData Drivers for Twilio 製品のご紹介 〜
Twilio の API を SQL で操作!? 〜 CData Drivers for Twilio 製品のご紹介 〜
持続的な運用開発のために社内基盤を整えている話 〜auditのCI組み込みやlintの社内PKG化〜
持続的な運用開発のために社内基盤を整えている話 〜auditのCI組み込みやlintの社内PKG化〜
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Programming AWS with Python
Programming AWS with Python
Dernier
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Dernier
(7)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
それFluentdで! #fluentd
1.
それfuentdで! - 社内勉強会資料 - 2014/03/04 @boheanimato
2.
自己紹介 のりしろエンジニア。 プロジェクトで落っこちてきた、 なんか細々としたことを拾い上げてやってます。 Twitter : boheanimato -SIer
1999/10~ -Yahoo! 2005/11~ -Indival 2007/7~
3.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – apacheログの集約、集計、活用 – MySQLの更新履歴をfluentdでSolrにいれる -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
4.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – Apacheログの集約、集計、活用 – MYSQLの更新履歴をfluentdでSolrにいれる – もっといろんなこと -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
5.
こんなことができるようになります -ログを一箇所に集約!集計!格納! MySQL、MongoDB、Solr、Redis、 elasticsearch、 Hadoopに簡単にはいります -サーバの閾値監視、通知! Zabbixに値を送れたりします メールおくれます、電話もかけれます
6.
アーキテクチャ簡単紹介 一般的にログ収集ソフトウェアは 何らかの「イベント」を検知し、 その内容を発生時刻などの情報とともに ファイルやデータベースなどのストレージなどに出力す る、という処理を行います。 fluentdでも同じです。 ただ、fluentdでは イベントの受け取り(input)、 バッファに一時的に保存し(buffer)、 ストレージなどへの出力(output) がすべてプラグインとして実装されています。
7.
アーキテクチャ簡単紹介 柔軟なログ収集を可能にする「fluentd」入門 - さくらのナレッジ
: http://knowledge.sakura.ad.jp/tech/1336/ ・テキストファイルの末尾か らイベントを読み込む ・TCPソケットをリッスンし て、イベントストリームを受 信する ・syslogプロトコル経由でレ コードを取得 ・ほかのfluentdのノートに 出力する ・MongoDBへとレコードを出 力する ・ファイルに書き出す
8.
アーキテクチャ簡単紹介
9.
プラグイン 超豊富 Fluentd plugins :
http://fluentd.org/plugin/
10.
こんなことができるようになります 「細かい単位で常にログを回収し続ける仕組み」 をいったんfluentdでつくっておくと → プラグイン実装 → プラグインが豊富 なので、 回収したログをファイルに出力していたが、 elasticsearchにも格納しようとした場合、 プラグインを追加して設定するだけで、 その要求にすぐに応えられます。
11.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – apacheログの集約、集計、活用 – MySQLの更新履歴をfluentdでSolrにいれる -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
12.
システム構成 APIServerWebServer Elasticsearch Redis GrouthForcast Raw File StorageServer WebServer forwarder fluent-agent-lite Aggregator Worker serializer Fluentd +
plugin watcher Raw File
13.
APIServerWebServer Elasticsearch Redis GrouthForcast Raw File StorageServer WebServer forwarder fluent-agent-lite Aggregator Worker serializer Fluentd +
plugin watcher Raw File apacheのログを集約(Forwarder)
14.
apacheのログを集約(Forwarder) LTSV - Labeled
Tab-Separated Values テキストのフォーマットの仕様。 タブ区切りのフィールドで、ラベルと値を持ちます。 主にログ、特に httpd のアクセスログなどに適用すると便利。 後で、ログの解析の属性指定やelasticsearchに格納する際のカ ラム名として利用。 LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイア リー : http://d.hatena.ne.jp/naoya/20130209/1360381374
15.
apacheのログを集約(Forwarder) LTSV - Labeled
Tab-Separated Values Apacheの設定をこうしておくと、 LogFormat "domain:%Vthost:%htserver:%Atident:%ltuser:%uttime:%{%Y/%m/%d %H:%M:%S %z}ttmethod:%mtpath:%U%qtprotocol:%Htstatus:%>stsiz e:%btreferer:%{Referer}itagent:%{User-Agent}itresponse_time:%D" combined_lts こうなります タブ区切りで、ラベル:値で出力されます。
16.
apacheのログを集約(Forwarder) fluent-agent-lite INPUTプラグイン ログ収集専用のエージェント 正規表現をパースしないため、動作が軽く、負荷の高いアプリ ケーションサーバに同居させてもCPUを使わない。 現状、そのままのログをシェルで集約して、それをもとにバッ チが動いて集計しているので、 既存の仕組みをそのままで、導入できる! #fluentd 用ログ収集専用のエージェント fluent-agent-lite
書いた - tagomorisのメモ置き場 : http://d.hatena.ne.jp/tagomoris/20120314/1331716214
17.
apacheのログを集約(Forwarder) fluent-agent-lite インストールはプラグインを rpmで入れるか、 Gitからcloneして./install.shするか td-agentはインストールしません
18.
apacheのログを集約(Forwarder) fluent-agent-lite Forward先のサーバ 集約したいログ
19.
apacheのログを集約(Forwarder) Fluentdのログ構造 -Tag – ログの種類。 Fluentdではログの管理を「タグ」で管理します。 タグはイベントを発生させる側などで指定します。 -Time – ログの時刻をUNIX時刻で表したもの -Record –
ログの内容がJSONオブジェクトではいります アプリケーション側でのパースが容易 Tag : koala.www. Time : 137084495 Record: {k1:100, k2 :value1}
20.
apacheのログを集約(Forwarder) fluent-agent-lite -Tag 前述の記述の場合、 以下の3つのタグがついたレコードが流れます。 -koala.www -koala.app -koala.stat -Record そのまま、messageというattributeが付いた中に入っ て送られます。 レコードのattributeも変更可 (デフォルトmessage) Tag : koala.www.
Time : 137084495 message : {ログが1行づつ入りま す}
21.
apacheのログを集約 (Aggregater/worker/serializer) APIServerWebServer Elasticsearch Redis GrouthForcast Raw File StorageServer WebServer forwarder fluent-agent-lite Aggregator Worker serializer Fluentd +
plugin watcher Raw File
22.
td-agentをインストール http://docs.fluentd.org/categories/installation apacheのログを集約 (Aggregater/worker/serializer)
23.
fluent-plugin-file-alternative OUTPUTプラグイン 出力フォーマットを自由に変更できる! (fluentd 標準のファイル出力プラグイン out_file
はメッ セージをJSONにシリアライズして出力するというものなので) 前述のプラグインとあわせると、 「そのままのログを集約して一か所で出力!」がfluentdで実現 できるわけです。 #fluentd fluent-plugin-file-alternative released! - tagomorisのメモ置 き場 : http://d.hatena.ne.jp/tagomoris/20120316/1331886385 apacheのログを集約 (Aggregater/worker/serializer)
24.
設定ファイルの記述ポイント2つ /etc/td-agent/td-agnet.conf -source イベントの受信方法を指定 -match 受信したイベントをどのように処理するかを 条件文とともに指定 条件はタグの名前 条件にマッチしたら、次のプラグインに 処理が渡されます apacheのログを集約 (Aggregater/worker/serializer)
25.
fluent-plugin-file-alternative koala.www.*のタグにマッチしたイベントを処理 apacheのログを集約 (Aggregater/worker/serializer) forward TCP/IPを使ってイベントを受け取る。
26.
ログでました /tmp/ koala.access.20140228_0.log.gz apacheのログを集約 (Aggregater/worker/serializer)
27.
さらに、このLTSVのログをパースして elasticsearchにいれてしまいます apacheのログを集約 (Aggregater/worker/serializer)
28.
apacheのログを集約 (Aggregater/worker/serializer) LTSV形式をパースして Elasticsearchにいれてる fluent-plugin-parser fluent-plugin-elasticsearch
29.
fluent-plugin-parser 最初、そのままelasticsearchにデータを流すと、messageタグの中には いったまんまelasticsearchインデックスが作成されてしまい、うおおお とか思っていたのですが、 @tagomorisさんから、アドバイスいただきました。 fluent-plugin-parser released! -
tagomorisのメモ置き場 : http://d.hatena.ne.jp/tagomoris/20120402/1333363444 apacheのログを集約 (Aggregater/worker/serializer) 負荷の問題がないのなら、 fluent-plugin-parser で ltsv をparse してしまえばいいと思いますよ
30.
-parse実行前 apacheのログを集約 (Aggregater/worker/serializer)
31.
elasticsearch apacheのログを集約 (Aggregater/worker/serializer)
32.
kibana apacheのログを集約 (Aggregater/worker/serializer)
33.
kibana apacheのログを集約 (Aggregater/worker/serializer) LTSVでつけたラベル毎に検索 できる
34.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – apacheログの集約、集計、活用 – MySQLの更新履歴をfluentdでSolrにいれる -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
35.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) 画像、JS、CSSを対象外に 200以外のステータスは捨てる GET以外のメソッドは捨てる fluent-plugin-rewrite Index.phpはtopとして扱う グルーピングする
36.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) fluent-plugin-rewrite このプラグインを用いると、ひとつひとつのmessageについて、 指定したkeyのvalueが特定のパタンにマッチしたら、 -valueを書き換えて、再emitする -そのmessageを無視する -マッチした文字列をtagに追加して、再emitする ということができる。また、それらのルールを複数指定するこ とも可能。 fluent-plugin-rewriteというプラグインを作成した #fluentd -
delirious thoughts : http://blog.kentarok.org/entry/2012/07/01/000518
37.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) fluent-plugin-rewrite タグ毎にグルーピングできました
38.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) fluent-plugin-numeric-monitor fluent-plugin-forest / fluent-plugin-growthforecast レスポンスタイムの集計 集計をgrowthforcastにくわせる
39.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) fluent-plugin-numeric-monitor 指定したフィールド(の数値)について、min/max/avg およ び指定したパーセンタイル値を算出する。 パーセンタイル値は複数指定できるので、 たとえば 90,
95, 98, 99 パーセンタイル値をそれぞれ出 力したりできる。 fluent-plugin-numeric-monitor v0.1.0 and fluent-plugin-numeric- counter v0.1.0 released! - tagomorisのメモ置き場 : http://d.hatena.ne.jp/tagomoris/20120706/1341560190
40.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) Growthforcast 定期的にGrowthForecastに値をPOSTするだけで、設定なしでグ ラフが作れます GrowthForecast - Lightning
fast Graphing / Visualization : http://kazeburo.github.io/GrowthForecast/index.ja.html
41.
apacheのログをURL毎にグルーピング (Aggregater/worker/serializer) Growthforcast
42.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – apacheログの集約、集計、活用 – MySQLの更新履歴をfluentdでSolrにいれる -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
43.
現状をこうしよう! (apacheログの集約、集計、活用) そこfluentdで! APIServerWebServer MySQL StorageServer WebServer SCP SCP SCP Batch
44.
現状をこうしよう! (MySQLの更新履歴をSolrにいれる) fluent-plugin-mysql-replicator
45.
運用面メモ Aggregator側:1プロセスでは1つのCPUコアしか使わない ので、サーバのリソースを使い切るために、複数プロセス を起動 →8プロセス起動させる (プロセッサ8つ、物理CPUは1つ、コア数4の場合) 割り当てポートは、24200~24207などに Forwarderから送信時に、ポート指定で送信するようにす る。 INPUTで受け取る大きさを考慮してバッファは指定するな ど、実運用で検討すべきパラメータはたくさんあります。 本番運用のまえに 各種パラメータとか流量は検討しよう!
46.
INDEX -fluentdの紹介 – こんなことができるようになります – アーキテクチャ簡単紹介 -こんなことをやってみました –
apacheのログを集約して、elasticsearchにいれて、kibanaでみてみる – apacheのログをURL毎にグルーピングしてレスポンスタイムを GrowthForecastでみてみる -現状をこうしよう! – apacheログの集約、集計、活用 – MySQLの更新履歴をfluentdでSolrにいれる -可視化について – 事前に考え抜くこと – 目的の明確化、KGIとKPI – 設計サンプル
47.
可視化について 今回はプロトタイプ作成のために、 とりあえず可視化できるよ! というのをしたのですが、 できることが把握できた後は、 何のため?という目的を明確化して 本番の実装はすすめていこう(自戒)
48.
可視化について 事前に考え抜くこと 「何を可視化するか」 「可視化すべきKPIを決める」 「具体的なKPIの中身を定義する」 目的から指標を決める 目的は何かを考え抜くこと
49.
可視化について 目的の明確化、KGIとKPIを決める 目標:「売り上げ向上」 KGI(Key Goal indicator) 目標そのものを定量的に評価するもの –
「売上」 KPI(Key Performance indicator) KGIの構成要素を細分化したもの KGIを達成するために何が必要かを定量的にあらわ す指標 – 「顧客数、一人あたり単価、PV、継続率」
50.
可視化について 項目 内容 目的 一目でサーバ情報の異常や傾向を把握できるだけでなく、気になった ところを拡大して調査できるようにする データ変数 ⇔視覚変数 時間(間隔尺度)⇔
X座標(定量性・順序性) 各種サーバ情報(比例尺度)⇔ Y座標(定量性・順序性) 利用する 可視化手法 折れ線グラフ 推奨Web特性 アニメーション(リアルタイムでのデータ反映) インタラクション(時間の選択範囲)
51.
可視化について 読むといいかも(参考図書)
52.
おわりに ありがとうございました
Télécharger maintenant