Fluentd in #tkrk10

•

8 j'aime•3,048 vues

SATOSHI TAGOMORI

About Fluentd in TokyoRubyKaigi10

Technologie

Fluentd:
The ruby based middleware
across the world

TAGOMORI Satoshi (@tagomoris)
2013/01/14
TokyoRubyKaigi10 #tkrk10

13年1月14日月曜日

TAGOMORI Satoshi (@tagomoris)
NHN Japan Corp.

13年1月14日月曜日

Fluentd

"Fluentd" is a lightweight and ﬂexible log
collector. Fluentd receives logs as JSON streams,
buffers them, and sends them to other systems
like Amazon S3, MongoDB, Hadoop, or other
Fluentds.

http://ﬂuentd.org

13年1月14日月曜日

Fluentd
easy to install/setup (from rubygems.org)
plugins
easy to install (from rubygems.org)
easy to write (with ruby!)
stability (no one crashes in this 1 year)
throghput (17500 msgs/sec)
td-agent (rpm/deb: ruby and ﬂuentd and some plugins)

13年1月14日月曜日

Fluentd plugins
Input plugins
Output plugins
Buffer plugins
Output plugins as ﬁlters
ﬁltering, transformation, conversion, aggregation, ...
89 plugins! (2013/01/12)

13年1月14日月曜日

Semi-Realtime aggregation
in Fluentd (with growthforecast)
HTTP Response Status (2xx, 3xx, 4xx, 5xx)

HTTP Response Times (Avg, [50,90,95,98,99]%tiles)

Beside of transferring

13年1月14日月曜日

Fluentd loggers

Ruby, Perl, Python, Node.js, PHP
Java, Scala, D
Haskell, Erlang, Lua, R

13年1月14日月曜日

Fluentd is used with

HTTP Access logs, application logs, ...
MongoDB, Cassandra, Redis, Couch, MySQL,
PostgreSQL, ....
AWS S3, Hadoop HDFS, TreasureData, ...
Flume, Scribe, Kafka, ...
Zabbix, GrowthForecast, Splunk, IRC, ...

13年1月14日月曜日

Fluentd vs.

rsync + batches
rsyslog / syslog-ng
ﬂume / storm / kafka

13年1月14日月曜日

What Fluentd is

What be wanted for long long time
from any languages
by platform engineers
by application engineers
by service maintainers

13年1月14日月曜日

Fluentd users

may be newbie rubyists (or not)
wants to work with many rubyists!

Thanks!

13年1月14日月曜日

Contenu connexe

Similaire à Fluentd in #tkrk10

Log analysis with Hadoop in livedoor 2013SATOSHI TAGOMORI

NPStudy LT Lagopus Router v19.07Tomoya Hibi

Apache Spark 1000 nodes NTT DATANTT DATA OSS Professional Services

Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiSATOSHI TAGOMORI

LLTLIVE in Shibuya 2013.12.13maru_cc

Webサーバ勉強会 LT資料学松崎

2012/03/31 Apacheスタートスクリプト読書会発表資料Yasutaka Hamada

ペパボ福岡支社におけるRubyの活用事例Uchio Kondo

OSSで支えられるライブドアの巨大ログ集計 #nhntechSATOSHI TAGOMORI

ロボットシステム学2015年第12回Ryuichi Ueda

Javascript1-1Jun Chiba

20120731 c4 saリリースパーティltKaz Watanabe

Streaming Audio over HTTP 1.1 to FlaskCharles Heckroth

Similaire à Fluentd in #tkrk10 (13)

Log analysis with Hadoop in livedoor 2013

NPStudy LT Lagopus Router v19.07

Apache Spark 1000 nodes NTT DATA

Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi

LLTLIVE in Shibuya 2013.12.13

Webサーバ勉強会 LT資料

2012/03/31 Apacheスタートスクリプト読書会発表資料

ペパボ福岡支社におけるRubyの活用事例

OSSで支えられるライブドアの巨大ログ集計 #nhntech

ロボットシステム学2015年第12回

Javascript1-1

20120731 c4 saリリースパーティlt

Streaming Audio over HTTP 1.1 to Flask

Plus de SATOSHI TAGOMORI

Ractor's speed is not light-speedSATOSHI TAGOMORI

Good Things and Hard Things of SaaS Development/OperationsSATOSHI TAGOMORI

Maccro Strikes BackSATOSHI TAGOMORI

Invitation to the dark side of RubySATOSHI TAGOMORI

Hijacking Ruby Syntax in Ruby (RubyConf 2018)SATOSHI TAGOMORI

Make Your Ruby Script ConfusingSATOSHI TAGOMORI

Hijacking Ruby Syntax in RubySATOSHI TAGOMORI

Lock, Concurrency and Throughput of Exclusive OperationsSATOSHI TAGOMORI

Data Processing and Ruby in the WorldSATOSHI TAGOMORI

Planet-scale Data Ingestion Pipeline: BigdamSATOSHI TAGOMORI

Technologies, Data Analytics Service and Enterprise BusinessSATOSHI TAGOMORI

Ruby and Distributed Storage SystemsSATOSHI TAGOMORI

Perfect Norikra 2nd SeasonSATOSHI TAGOMORI

Fluentd 101SATOSHI TAGOMORI

To Have Own Data Analytics Platform, Or NOT ToSATOSHI TAGOMORI

The Patterns of Distributed Logging and ContainersSATOSHI TAGOMORI

How To Write Middleware In RubySATOSHI TAGOMORI

Modern Black Mages Fighting in the Real WorldSATOSHI TAGOMORI

Open Source Software, Distributed Systems, Database as a Cloud ServiceSATOSHI TAGOMORI

Fluentd Overview, Now and ThenSATOSHI TAGOMORI

Plus de SATOSHI TAGOMORI (20)

Ractor's speed is not light-speed

Good Things and Hard Things of SaaS Development/Operations

Maccro Strikes Back

Invitation to the dark side of Ruby

Hijacking Ruby Syntax in Ruby (RubyConf 2018)

Make Your Ruby Script Confusing

Hijacking Ruby Syntax in Ruby

Lock, Concurrency and Throughput of Exclusive Operations

Data Processing and Ruby in the World

Planet-scale Data Ingestion Pipeline: Bigdam

Technologies, Data Analytics Service and Enterprise Business

Ruby and Distributed Storage Systems

Perfect Norikra 2nd Season

Fluentd 101

To Have Own Data Analytics Platform, Or NOT To

The Patterns of Distributed Logging and Containers

How To Write Middleware In Ruby

Modern Black Mages Fighting in the Real World

Open Source Software, Distributed Systems, Database as a Cloud Service

Fluentd Overview, Now and Then

Dernier

業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）Hiroshi Tomioka

論文紹介：Selective Structured State-Spaces for Long-Form Video UnderstandingToru Tamaki

論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...Toru Tamaki

新人研修　後半 2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイスCRI Japan, Inc.

Amazon SES を勉強してみるその３2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.

LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルCRI Japan, Inc.

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Gamesatsushi061452

Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）Hiroshi Tomioka

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）NTT DATA Technology & Innovation

Amazon SES を勉強してみるその２2024/04/26の勉強会で発表されたものです。iPride Co., Ltd.

Dernier (11)

業務で生成AIを活用したい人のための生成AI入門講座（社外公開版：キンドリルジャパン社内勉強会：2024年4月発表）

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding

論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...

新人研修　後半 2024/04/26の勉強会で発表されたものです。

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス

Amazon SES を勉強してみるその３2024/04/26の勉強会で発表されたものです。

LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games

Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）

Amazon SES を勉強してみるその２2024/04/26の勉強会で発表されたものです。

Fluentd in #tkrk10

1. Fluentd: The ruby based middleware across the world TAGOMORI Satoshi (@tagomoris) 2013/01/14 TokyoRubyKaigi10 #tkrk10 13年1月14日月曜日

2. TAGOMORI Satoshi (@tagomoris) NHN Japan Corp. 13年1月14日月曜日

3. 13年1月14日月曜日

4. Fluentd "Fluentd" is a lightweight and ﬂexible log collector. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like Amazon S3, MongoDB, Hadoop, or other Fluentds. http://ﬂuentd.org 13年1月14日月曜日

5. Fluentd easy to install/setup (from rubygems.org) plugins easy to install (from rubygems.org) easy to write (with ruby!) stability (no one crashes in this 1 year) throghput (17500 msgs/sec) td-agent (rpm/deb: ruby and ﬂuentd and some plugins) 13年1月14日月曜日

6. Fluentd plugins Input plugins Output plugins Buffer plugins Output plugins as ﬁlters ﬁltering, transformation, conversion, aggregation, ... 89 plugins! (2013/01/12) 13年1月14日月曜日

7. Semi-Realtime aggregation in Fluentd (with growthforecast) HTTP Response Status (2xx, 3xx, 4xx, 5xx) HTTP Response Times (Avg, [50,90,95,98,99]%tiles) Beside of transferring 13年1月14日月曜日

8. Fluentd loggers Ruby, Perl, Python, Node.js, PHP Java, Scala, D Haskell, Erlang, Lua, R 13年1月14日月曜日

9. Fluentd is used with HTTP Access logs, application logs, ... MongoDB, Cassandra, Redis, Couch, MySQL, PostgreSQL, .... AWS S3, Hadoop HDFS, TreasureData, ... Flume, Scribe, Kafka, ... Zabbix, GrowthForecast, Splunk, IRC, ... 13年1月14日月曜日

10. Fluentd vs. rsync + batches rsyslog / syslog-ng ﬂume / storm / kafka 13年1月14日月曜日

11. Fluentd users 13年1月14日月曜日

12. What Fluentd is What be wanted for long long time from any languages by platform engineers by application engineers by service maintainers 13年1月14日月曜日

13. Fluentd users may be newbie rubyists (or not) wants to work with many rubyists! Thanks! 13年1月14日月曜日

Fluentd in #tkrk10

Recommandé

Recommandé

Contenu connexe

Similaire à Fluentd in #tkrk10

Similaire à Fluentd in #tkrk10 (13)

Plus de SATOSHI TAGOMORI

Plus de SATOSHI TAGOMORI (20)

Dernier

Dernier (11)

Fluentd in #tkrk10