Soumettre la recherche
Mettre en ligne
Fluentとmongoで作るサービス
•
2 j'aime
•
5,411 vues
直也 堀松
Suivre
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 31
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Lt
Lt
LGA128
20120512
20120512
YAMANE Toshiaki
Rubyist started to learn Groovy - things important to leran new LL
Rubyist started to learn Groovy - things important to leran new LL
Uchio Kondo
NDEF Writerを使ってみよう
NDEF Writerを使ってみよう
Hirokuma Ueno
coinsLT#0 tkbctf3 miocatができるまで
coinsLT#0 tkbctf3 miocatができるまで
Mei Akizuru
LTSの準備をチョットやってみた。lxcチョット触ってみた
LTSの準備をチョットやってみた。lxcチョット触ってみた
Naoki Matsumoto
第1部「一時間で覚えるruby」
第1部「一時間で覚えるruby」
Hiromu Shioya
Hubotで遊ぶ
Hubotで遊ぶ
treby
Recommandé
Lt
Lt
LGA128
20120512
20120512
YAMANE Toshiaki
Rubyist started to learn Groovy - things important to leran new LL
Rubyist started to learn Groovy - things important to leran new LL
Uchio Kondo
NDEF Writerを使ってみよう
NDEF Writerを使ってみよう
Hirokuma Ueno
coinsLT#0 tkbctf3 miocatができるまで
coinsLT#0 tkbctf3 miocatができるまで
Mei Akizuru
LTSの準備をチョットやってみた。lxcチョット触ってみた
LTSの準備をチョットやってみた。lxcチョット触ってみた
Naoki Matsumoto
第1部「一時間で覚えるruby」
第1部「一時間で覚えるruby」
Hiromu Shioya
Hubotで遊ぶ
Hubotで遊ぶ
treby
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Takuya Ueda
IMのはなし
IMのはなし
stibear (stibear1996)
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
Takuya Ueda
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
abend_cve_9999_0001
ググリワードを探す話
ググリワードを探す話
toru ishikawa
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
Kohki Yamagiwa
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
monochrojazz
Open Licensing?
Open Licensing?
真行 八田
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Takuya Ueda
Goとテスト
Goとテスト
Takuya Ueda
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
monochrojazz
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Hirokuma Ueno
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Oda Shinsuke
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Takuya Ueda
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Shoichi Matsuda
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
Nobukazu Hanada
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
Yuki Ishikawa
ルネサスナイト
ルネサスナイト
yamanekko
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
Katsuhiro Endo
PHPでOpenCVしてみた
PHPでOpenCVしてみた
直也 堀松
BigQuery + Fluentd
BigQuery + Fluentd
徹 上野山
Contenu connexe
Tendances
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Takuya Ueda
IMのはなし
IMのはなし
stibear (stibear1996)
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
Takuya Ueda
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
abend_cve_9999_0001
ググリワードを探す話
ググリワードを探す話
toru ishikawa
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
Kohki Yamagiwa
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
monochrojazz
Open Licensing?
Open Licensing?
真行 八田
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Takuya Ueda
Goとテスト
Goとテスト
Takuya Ueda
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
monochrojazz
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Hirokuma Ueno
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Oda Shinsuke
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Takuya Ueda
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Shoichi Matsuda
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
Nobukazu Hanada
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
Yuki Ishikawa
ルネサスナイト
ルネサスナイト
yamanekko
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
Katsuhiro Endo
Tendances
(20)
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会2
IMのはなし
IMのはなし
今日から始めるGopher - スタートGo #0 @GDG名古屋
今日から始めるGopher - スタートGo #0 @GDG名古屋
ハニーポットで見る攻撃手法(特に結論はありません)
ハニーポットで見る攻撃手法(特に結論はありません)
ググリワードを探す話
ググリワードを探す話
ウェブエンジニアとしての1年目を振り返って
ウェブエンジニアとしての1年目を振り返って
python-ptraceでプロセスメモリエディタっぽいことをしよう
python-ptraceでプロセスメモリエディタっぽいことをしよう
Open Licensing?
Open Licensing?
Goroutineと channelから はじめるgo言語
Goroutineと channelから はじめるgo言語
Goとテスト
Goとテスト
ret2libcとpopretで初等的BOF攻撃
ret2libcとpopretで初等的BOF攻撃
NDEF WriterとOSとPaSoRi
NDEF WriterとOSとPaSoRi
Osc2011 shibutra-toruuetani
Osc2011 shibutra-toruuetani
仕事でも Groovy を使おう!
仕事でも Groovy を使おう!
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
Goroutineとchannelから始めるgo言語@初心者向けgolang勉強会
TddでFizzBuzzしてみる in Swift
TddでFizzBuzzしてみる in Swift
Unity3dにおけるus c# boo比較
Unity3dにおけるus c# boo比較
運用で爆発四散しないためのメタプログラミングとの付き合い方
運用で爆発四散しないためのメタプログラミングとの付き合い方
ルネサスナイト
ルネサスナイト
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
MTDDC Hokkaido : テンプレートタグでBrainf*ckを作ってみた
En vedette
PHPでOpenCVしてみた
PHPでOpenCVしてみた
直也 堀松
BigQuery + Fluentd
BigQuery + Fluentd
徹 上野山
はじめての datadog
はじめての datadog
Naoya Nakazawa
20141008物体検出器
20141008物体検出器
Takuya Minagawa
Opencv object detection_takmin
Opencv object detection_takmin
Takuya Minagawa
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
Takehiro Suemitsu
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
Kentaro Yoshida
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
Amazon Web Services Japan
OpenCVの基礎
OpenCVの基礎
領一 和泉田
OpenCVをAndroidで動かしてみた
OpenCVをAndroidで動かしてみた
徹 上野山
局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
MPRG_Chubu_University
OpenCVを用いた画像処理入門
OpenCVを用いた画像処理入門
uranishi
OpenCV 3.0 on iOS
OpenCV 3.0 on iOS
Shuichi Tsutsumi
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Norishige Fukushima
En vedette
(14)
PHPでOpenCVしてみた
PHPでOpenCVしてみた
BigQuery + Fluentd
BigQuery + Fluentd
はじめての datadog
はじめての datadog
20141008物体検出器
20141008物体検出器
Opencv object detection_takmin
Opencv object detection_takmin
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
AWSでAPI Gatewayから非同期でLambdaを起動してS3にファイルアップロードしようとしたらハマった話。
Fluentdのお勧めシステム構成パターン
Fluentdのお勧めシステム構成パターン
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
AWS Black Belt Techシリーズ リザーブドインスタンス & スポットインスタンス
OpenCVの基礎
OpenCVの基礎
OpenCVをAndroidで動かしてみた
OpenCVをAndroidで動かしてみた
局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
OpenCVを用いた画像処理入門
OpenCVを用いた画像処理入門
OpenCV 3.0 on iOS
OpenCV 3.0 on iOS
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
画像処理ライブラリ OpenCV で 出来ること・出来ないこと
Similaire à Fluentとmongoで作るサービス
UnityでのLINQ活用例
UnityでのLINQ活用例
Ryota Murohoshi
オレオレ言語実装に役立つプル型ASTウォーカーAPI
オレオレ言語実装に役立つプル型ASTウォーカーAPI
隆行 神戸
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
Shohei Okada
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
Eric Sartre
doctest を書こう @ pycon kansai
doctest を書こう @ pycon kansai
YosukeHojo
なぜ今OSGiか
なぜ今OSGiか
Hiroki Kondo
社内発表資料
社内発表資料
ssuser0b0d0b
Seq2Seqでボットづくり
Seq2Seqでボットづくり
Masato Fujitake
Similaire à Fluentとmongoで作るサービス
(8)
UnityでのLINQ活用例
UnityでのLINQ活用例
オレオレ言語実装に役立つプル型ASTウォーカーAPI
オレオレ言語実装に役立つプル型ASTウォーカーAPI
働き方が大きく変わった 入社3年目のときのとあるエピソード
働き方が大きく変わった 入社3年目のときのとあるエピソード
ぼくとしりとりの約3.0*10^3日間戦争
ぼくとしりとりの約3.0*10^3日間戦争
doctest を書こう @ pycon kansai
doctest を書こう @ pycon kansai
なぜ今OSGiか
なぜ今OSGiか
社内発表資料
社内発表資料
Seq2Seqでボットづくり
Seq2Seqでボットづくり
Dernier
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Dernier
(9)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Fluentとmongoで作るサービス
1.
FluentdとMongoで作る サービス PHPStudy 73rd @kogarasi_cross
2.
は、、、初20枠です!
3.
自己紹介 名前: こがらし Twitter: @kogarasi_cross 仕事:
Unityを使って飛び跳ねます(物 理)
4.
こんな感じ …なんか違う
5.
冗談はさておき…
6.
まずは登場人物を紹介
7.
8.
Fluentdとは ログ収拾のためのツール とってもPluggableなツール いろんなものを投げれる いろんなものをはける
9.
Fluentdとは Part.2 何を投げれるのか? ログファイル(Tail PHPとかからプッシュ(Socket TwitterのStream←重要
10.
Fluentdとは Part.3 何に投げれるのか 標準出力・ファイル・S3 MySQL/MongoDB…各種DB WebSocket
11.
Fluentdとは Part.4 つまるところ何でもいける! 内部でJSONだったりMsgPackを使って いる。 そういうのをプラグイン上で処理出来れ ばOK
12.
etc めっちゃいろんなプラグインがあります zabbixとか(zabbixってなに twilioとか http://fluentd.org/plugin/
13.
14.
MongoDBとは JSONぽいのを扱えるNoSQL DB Capped Collectionとかいうものがある (これを使う) JSを使って内部で集計処理とかやらせら れる
15.
Capped Collection 保持できるデータ量に制限(Capped)が ついたもの 指定したデータ数・データサイズになる と、自動的に古いものから削除してくれる ※ただし、ユーザー操作でデータの削除や 途中挿入・並び替えは出来ない
16.
ということで本題
17.
あれ、Fluentdって ログ収拾ツールだよね?
18.
そうです! そんなFluentdが今回は主役です!
19.
簡単な物から まずはFluentd単体で! Twitterから“なう"を集める http://nowtter.kogarasi.com
20.
中身 TwitterプラグインでPublic Streamを取得 Rewriteプラグインで”なう”が含まれるツ イートを抽出(日本語なのでTwitter APIで のフィルタリングが出来ない) WebSocketプラグインでクライアントへ転 送(簡単にWSサーバーになってくれる)
21.
チェックポイント サーバーサイドのコーディングしてない
22.
ゲームに転用← 「Stream Fighter」 至って普通のシューティング …ただし、敵が ”つぶやきによって出現すること以外は”
23.
つぶやきの量=時間帯に よってスクリームの沸く 量が変わる ピーク時にやるとかなり つらい
24.
チェックポイント ユーザーに伝わらない←
25.
+MongoDBで Twitterで雨っぽいことを抽出して、各地 のお天気を表示 http://kogarasi.com/weather
26.
27.
簡単な流れ Twitterプラグインでつぶやきを取得 集めたつぶやきから単語で抽出 抽出したつぶやきをMongoDBに片っ端から投げ込 む! Jenkinsで定期的にデータを集計しておく 集計データから現在の状況を表示する
28.
チェックポイント Capped Collectionを利用しているので、 古いデータが自動的に破棄されていく ↑難しいデータ管理とか必要無い 雨には反応するけど、晴れには反応し ない\(^_^)/
29.
まとめ 基本的な部分は動くように”設定”するだ け(Fluentd/MongoDB/Jenkins) コーディングしてるのはフロントエンド に近い部分のみ と思ったけど、集計処理とかは書いてた …
30.
質問とかそういうの
31.
ご清聴 ありがとうございました
Télécharger maintenant