Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方

•

6 j'aime•3,686 vues

2017年10月10日開催の『データ分析基盤構築入門』出版記念イベントでの発表スライドです。ログ収集には欠かせないFluentdだけでなく、データ分析基盤のデータ処理ワークフローを支えるDigdagとEmbulkの活用方法もまとまっている書籍です。 https://www.amazon.co.jp/dp/477419218X

Technologie

page
Fluentd
6
rewrite-tag-ﬁlter
geoip
mysql-replicator
munin
twitter
anonymizer
mysql-query
gamobile
watch-process
twilio
sentry
feedly

page 18
Fluentd Fluentd
No.1 Fluentd
Digdag Embulk

page 21
Web Fluentd
Fluentd
Fluentd Elasticsearch Kibana
Fluentd
page_type:
device_type: PC, SP, MB
utm_source : URL

page 25
SQL
KPI
 
2 Fluentd  
Embulk&Digdag

page 26
Fluentd v0.12
Kibana
Digdag Embulk
Fluentd Embulk
Gihyo Digital Publishing PDF

Recommandé

Python 3.9からの新定番zoneinfoを使いこなそうRyuji Tsutsui

Redmineチューニングの実際と限界(旧資料) - Redmine performance tuning(old), See Below.Kuniharu（州晴） AKAHANE（赤羽根）

怖くないSpring Bootのオートコンフィグレーション土岐孝平

Kubernetesでの性能解析～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）NTT DATA Technology & Innovation

今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -onozaty

マイクロサービスにおける結果整合性との戦いota42y

PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントのユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)Koichiro Matsuoka

マルチテナント化で知っておきたいデータベースのことAmazon Web Services Japan

Recommandé

Python 3.9からの新定番zoneinfoを使いこなそうRyuji Tsutsui

Redmineチューニングの実際と限界(旧資料) - Redmine performance tuning(old), See Below.Kuniharu（州晴） AKAHANE（赤羽根）

怖くないSpring Bootのオートコンフィグレーション土岐孝平

Kubernetesでの性能解析～なんとなく遅いからの脱却～（Kubernetes Meetup Tokyo #33 発表資料）NTT DATA Technology & Innovation

今からでも遅くないDBマイグレーション - Flyway と SchemaSpy の紹介 -onozaty

マイクロサービスにおける結果整合性との戦いota42y

PostgreSQLの行レベルセキュリティと SpringAOPでマルチテナントのユーザー間情報漏洩を防止する (JJUG CCC 2021 Spring)Koichiro Matsuoka

マルチテナント化で知っておきたいデータベースのことAmazon Web Services Japan

劇的改善 Ci４時間から５分へ〜私がやった１０のこと〜aha_oretama

マイクロサービスアーキテクチャとは何かYusuke Suzuki

Tackling ComplexityYoshitaka Kawashima

SPAセキュリティ入門～PHP Conference Japan 2021Hiroshi Tokumaru

マイクロにしすぎた結果がこれだよ！mosa siru

チケット駆動開発の解説～タスク管理からプロセス改善へakipii Oga

DBスキーマもバージョン管理したい！kwatch

フロー効率性とリソース効率性について #xpjugItsuki Kuroda

WebAssemblyのWeb以外のことぜんぶ話すTakaya Saeki

Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno

Ormとの付き合い方豊明尾古

ドメイン駆動設計のための Spring の上手な使い方増田亨

ログ解析を支えるNoSQLの技術Drecom Co., Ltd.

PostgreSQLアンチパターンSoudai Sone

Node.js Native ESM への道〜最終章: Babel / TypeScript Modules との闘い〜Teppei Sato

MongoDBの監視Tetsutaro Watanabe

俺のTerraform CI/CD ライフサイクルHonMarkHunt

Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考えるpospome

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティスAmazon Web Services Japan

ヤフー社内でやってるMySQLチューニングセミナー大公開Yahoo!デベロッパーネットワーク

Improve data engineering work with Digdag and Presto UDFKentaro Yoshida

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方Kentaro Yoshida

Contenu connexe

Tendances

劇的改善 Ci４時間から５分へ〜私がやった１０のこと〜aha_oretama

マイクロサービスアーキテクチャとは何かYusuke Suzuki

Tackling ComplexityYoshitaka Kawashima

SPAセキュリティ入門～PHP Conference Japan 2021Hiroshi Tokumaru

マイクロにしすぎた結果がこれだよ！mosa siru

チケット駆動開発の解説～タスク管理からプロセス改善へakipii Oga

DBスキーマもバージョン管理したい！kwatch

フロー効率性とリソース効率性について #xpjugItsuki Kuroda

WebAssemblyのWeb以外のことぜんぶ話すTakaya Saeki

Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno

Ormとの付き合い方豊明尾古

ドメイン駆動設計のための Spring の上手な使い方増田亨

ログ解析を支えるNoSQLの技術Drecom Co., Ltd.

PostgreSQLアンチパターンSoudai Sone

Node.js Native ESM への道〜最終章: Babel / TypeScript Modules との闘い〜Teppei Sato

MongoDBの監視Tetsutaro Watanabe

俺のTerraform CI/CD ライフサイクルHonMarkHunt

Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考えるpospome

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティスAmazon Web Services Japan

ヤフー社内でやってるMySQLチューニングセミナー大公開Yahoo!デベロッパーネットワーク

Tendances (20)

劇的改善 Ci４時間から５分へ〜私がやった１０のこと〜

マイクロサービスアーキテクチャとは何か

Tackling Complexity

SPAセキュリティ入門～PHP Conference Japan 2021

マイクロにしすぎた結果がこれだよ！

チケット駆動開発の解説～タスク管理からプロセス改善へ

DBスキーマもバージョン管理したい！

フロー効率性とリソース効率性について #xpjug

WebAssemblyのWeb以外のことぜんぶ話す

Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24

Ormとの付き合い方

ドメイン駆動設計のための Spring の上手な使い方

ログ解析を支えるNoSQLの技術

PostgreSQLアンチパターン

Node.js Native ESM への道〜最終章: Babel / TypeScript Modules との闘い〜

MongoDBの監視

俺のTerraform CI/CD ライフサイクル

Goのサーバサイド実装におけるレイヤ設計とレイヤ内実装について考える

[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス

ヤフー社内でやってるMySQLチューニングセミナー大公開

Plus de Kentaro Yoshida

Improve data engineering work with Digdag and Presto UDFKentaro Yoshida

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方Kentaro Yoshida

トレジャーデータ導入体験記リブセンス編Kentaro Yoshida

Hivemallで始める不動産価格推定サービスKentaro Yoshida

爆速クエリエンジン”Presto”を使いたくなる話Kentaro Yoshida

Fluentdのお勧めシステム構成パターンKentaro Yoshida

MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"Kentaro Yoshida

MySQLユーザ視点での小さく始めるElasticsearchKentaro Yoshida

Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasualKentaro Yoshida

MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記Kentaro Yoshida

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウKentaro Yoshida

Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記Kentaro Yoshida

MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索〜InnoDB FTS編〜」Kentaro Yoshida

Plus de Kentaro Yoshida (13)

Improve data engineering work with Digdag and Presto UDF

TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方

トレジャーデータ導入体験記リブセンス編

Hivemallで始める不動産価格推定サービス

爆速クエリエンジン”Presto”を使いたくなる話

Fluentdのお勧めシステム構成パターン

MySQLと組み合わせて始める全文検索プロダクト"elasticsearch"

MySQLユーザ視点での小さく始めるElasticsearch

Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual

MySQL 5.6への完全移行を実現したTritonnからMroongaへの移行体験記

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

Tritonn (MySQL5.0.87+Senna)からの mroonga (MySQL5.6) 移行体験記

MySQL Casual Talks Vol.4 「MySQL-5.6で始める全文検索〜InnoDB FTS編〜」

Dernier

Apidays New York 2024 - Scaling API-first by Ian Reasor and Radu Cotescu, Adobeapidays

Repurposing LNG terminals for Hydrogen Ammonia: Feasibility and Cost SavingEdi Saputra

Axa Assurance Maroc - Insurer Innovation Award 2024The Digital Insurer

Understanding Discord NSFW Servers A Guide for Responsible Users.pdfUK Journal

ProductAnonymous-April2024-WinProductDiscovery-MelissaKlemkeProduct Anonymous

+971581248768>> SAFE AND ORIGINAL ABORTION PILLS FOR SALE IN DUBAI AND ABUDHA...?#DUbAI#??##{{(☎️+971_581248768%)**%*]'#abortion pills for sale in dubai@

A Year of the Servo Reboot: Where Are We Now?Igalia

The 7 Things I Know About Cyber Security After 25 Years | April 2024Rafal Los

Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FMESafe Software

Deploy with confidence: VMware Cloud Foundation 5.1 on next gen Dell PowerEdg...Principled Technologies

Scaling API-first – The story of a global engineering organizationRadu Cotescu

presentation ICT roal in 21st century educationjfdjdjcjdnsjd

Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...Miguel Araújo

HTML Injection Attacks: Impact and Mitigation StrategiesBoston Institute of Analytics

Top 5 Benefits OF Using Muvi Live Paywall For Live StreamsRoshan Dwivedi

Top 10 Most Downloaded Games on Play Store in 2024SynarionITSolutions

Exploring the Future Potential of AI-Enabled Smartphone Processorsdebabhi2

Strategies for Unlocking Knowledge Management in Microsoft 365 in the Copilot...Drew Madelung

Strategies for Landing an Oracle DBA Job as a FresherRemote DBA Services

Strategize a Smooth Tenant-to-tenant Migration and Copilot Takeoffsammart93

Dernier (20)

Apidays New York 2024 - Scaling API-first by Ian Reasor and Radu Cotescu, Adobe

Repurposing LNG terminals for Hydrogen Ammonia: Feasibility and Cost Saving

Axa Assurance Maroc - Insurer Innovation Award 2024

Understanding Discord NSFW Servers A Guide for Responsible Users.pdf

ProductAnonymous-April2024-WinProductDiscovery-MelissaKlemke

+971581248768>> SAFE AND ORIGINAL ABORTION PILLS FOR SALE IN DUBAI AND ABUDHA...

A Year of the Servo Reboot: Where Are We Now?

The 7 Things I Know About Cyber Security After 25 Years | April 2024

Cloud Frontiers: A Deep Dive into Serverless Spatial Data and FME

Deploy with confidence: VMware Cloud Foundation 5.1 on next gen Dell PowerEdg...

Scaling API-first – The story of a global engineering organization

presentation ICT roal in 21st century education

Mastering MySQL Database Architecture: Deep Dive into MySQL Shell and MySQL R...

HTML Injection Attacks: Impact and Mitigation Strategies

Top 5 Benefits OF Using Muvi Live Paywall For Live Streams

Top 10 Most Downloaded Games on Play Store in 2024

Exploring the Future Potential of AI-Enabled Smartphone Processors

Strategies for Unlocking Knowledge Management in Microsoft 365 in the Copilot...

Strategies for Landing an Oracle DBA Job as a Fresher

Strategize a Smooth Tenant-to-tenant Migration and Copilot Takeoff

Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方

2. page 2

6. page Fluentd 6 rewrite-tag-ﬁlter geoip mysql-replicator munin twitter anonymizer mysql-query gamobile watch-process twilio sentry feedly

7. page 7

8. page 8 2017 9

9. page 9  

10. page 2017 9 10  

11. page 11

12. page 12

13. page 13 Fluentd 328 Embulk 202

14. page 14 Amazon 1

15. page 15

16. page 16 Amazon

17. page     17

18. page 18 Fluentd Fluentd No.1 Fluentd Digdag Embulk

19. page 19

20. page 20 !

21. page 21 Web Fluentd Fluentd Fluentd Elasticsearch Kibana Fluentd page_type: device_type: PC, SP, MB utm_source : URL

22. page 22 1

23. page 23 SQL ID ID ID

24. page 24 !

25. page 25 SQL KPI   2 Fluentd   Embulk&Digdag

26. page 26 Fluentd v0.12 Kibana Digdag Embulk Fluentd Embulk Gihyo Digital Publishing PDF

27. page Thanks! 27