Soumettre la recherche
Mettre en ligne
OLD_Lt traffic analyse_OLD
•
0 j'aime
•
283 vues
@ otsuka752
Suivre
OLD_Lt traffic analyse_OLD
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 31
Recommandé
20141220 clrh etw
20141220 clrh etw
Takayoshi Tanaka
Lagopusとvagrant
Lagopusとvagrant
Masaru Oki
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Stream2の基本
Stream2の基本
shigeki_ohtsu
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Katsunori Kanda
Twitter Client for ZSH (2)
Twitter Client for ZSH (2)
Yutaka Tsumori
Pldir 0630
Pldir 0630
Takefumi MIYOSHI
StarlingAssetmanagerの説明
StarlingAssetmanagerの説明
utweb
Recommandé
20141220 clrh etw
20141220 clrh etw
Takayoshi Tanaka
Lagopusとvagrant
Lagopusとvagrant
Masaru Oki
Fluentd+elasticsearch+kibana(fluentd編)
Fluentd+elasticsearch+kibana(fluentd編)
Daisuke Kikuchi
Stream2の基本
Stream2の基本
shigeki_ohtsu
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Katsunori Kanda
Twitter Client for ZSH (2)
Twitter Client for ZSH (2)
Yutaka Tsumori
Pldir 0630
Pldir 0630
Takefumi MIYOSHI
StarlingAssetmanagerの説明
StarlingAssetmanagerの説明
utweb
Atc15_reading_networking_session
Atc15_reading_networking_session
紘也 金子
PostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read Scalability
Ohyama Masanori
Node-v0.12の新機能について
Node-v0.12の新機能について
shigeki_ohtsu
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Akihiro Kitada
Webサーバの性能測定
Webサーバの性能測定
Ryo Maruyama
JavaScriptで加速度・回転情報を取得してみた
JavaScriptで加速度・回転情報を取得してみた
iPride Co., Ltd.
test
test
guestb7b0d1
pmacct, kafka, presto, re:dash を使った高速なflow解析
pmacct, kafka, presto, re:dash を使った高速なflow解析
Kaname Nishizuka
システムパフォーマンス勉強会#8
システムパフォーマンス勉強会#8
shingo suzuki
20150715 xflow kikuta_final
20150715 xflow kikuta_final
Kazumasa Ikuta
SDN Japan: ovs-hw
SDN Japan: ovs-hw
ykuga
フロー技術によるネットワーク管理
フロー技術によるネットワーク管理
Motonori Shindo
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Panda Yamaki
Trema の紹介とネットワーク仮想化への応用
Trema の紹介とネットワーク仮想化への応用
kazuyas
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
Akira Kanaoka
Apache Spark+Zeppelinでアドホックなネットワーク解析
Apache Spark+Zeppelinでアドホックなネットワーク解析
npsg
ログブラウズ、解析サービスSumologicの紹介
ログブラウズ、解析サービスSumologicの紹介
Yasuhiro Araki, Ph.D
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
CLOUDIAN KK
nftables: the Next Generation Firewall in Linux
nftables: the Next Generation Firewall in Linux
Tomofumi Hayashi
NSG フローログを支える技術 - NVF Advanced Flow Logging
NSG フローログを支える技術 - NVF Advanced Flow Logging
順也 山口
OpenFlow
OpenFlow
Takashi Ohmoto
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
Hiroki Kashiwazaki
Contenu connexe
Tendances
Atc15_reading_networking_session
Atc15_reading_networking_session
紘也 金子
PostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read Scalability
Ohyama Masanori
Node-v0.12の新機能について
Node-v0.12の新機能について
shigeki_ohtsu
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Akihiro Kitada
Webサーバの性能測定
Webサーバの性能測定
Ryo Maruyama
JavaScriptで加速度・回転情報を取得してみた
JavaScriptで加速度・回転情報を取得してみた
iPride Co., Ltd.
test
test
guestb7b0d1
Tendances
(7)
Atc15_reading_networking_session
Atc15_reading_networking_session
PostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read Scalability
Node-v0.12の新機能について
Node-v0.12の新機能について
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Reactive Streams に基づく非同期処理プログラミング 〜 Reactor を使ってみた
Webサーバの性能測定
Webサーバの性能測定
JavaScriptで加速度・回転情報を取得してみた
JavaScriptで加速度・回転情報を取得してみた
test
test
Similaire à OLD_Lt traffic analyse_OLD
pmacct, kafka, presto, re:dash を使った高速なflow解析
pmacct, kafka, presto, re:dash を使った高速なflow解析
Kaname Nishizuka
システムパフォーマンス勉強会#8
システムパフォーマンス勉強会#8
shingo suzuki
20150715 xflow kikuta_final
20150715 xflow kikuta_final
Kazumasa Ikuta
SDN Japan: ovs-hw
SDN Japan: ovs-hw
ykuga
フロー技術によるネットワーク管理
フロー技術によるネットワーク管理
Motonori Shindo
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Panda Yamaki
Trema の紹介とネットワーク仮想化への応用
Trema の紹介とネットワーク仮想化への応用
kazuyas
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
Akira Kanaoka
Apache Spark+Zeppelinでアドホックなネットワーク解析
Apache Spark+Zeppelinでアドホックなネットワーク解析
npsg
ログブラウズ、解析サービスSumologicの紹介
ログブラウズ、解析サービスSumologicの紹介
Yasuhiro Araki, Ph.D
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
CLOUDIAN KK
nftables: the Next Generation Firewall in Linux
nftables: the Next Generation Firewall in Linux
Tomofumi Hayashi
NSG フローログを支える技術 - NVF Advanced Flow Logging
NSG フローログを支える技術 - NVF Advanced Flow Logging
順也 山口
OpenFlow
OpenFlow
Takashi Ohmoto
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
Hiroki Kashiwazaki
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
Yosuke Mizutani
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Sotaro Kimura
Hokkaido.cap #osc11do Wiresharkを使いこなそう!
Hokkaido.cap #osc11do Wiresharkを使いこなそう!
Panda Yamaki
Fluentd meetup #2
Fluentd meetup #2
Tomohiro Ikeda
hbstudy#06
hbstudy#06
tsakaguchi
Similaire à OLD_Lt traffic analyse_OLD
(20)
pmacct, kafka, presto, re:dash を使った高速なflow解析
pmacct, kafka, presto, re:dash を使った高速なflow解析
システムパフォーマンス勉強会#8
システムパフォーマンス勉強会#8
20150715 xflow kikuta_final
20150715 xflow kikuta_final
SDN Japan: ovs-hw
SDN Japan: ovs-hw
フロー技術によるネットワーク管理
フロー技術によるネットワーク管理
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Hokkaido.cap#1 Wiresharkの使い方(基礎編)
Trema の紹介とネットワーク仮想化への応用
Trema の紹介とネットワーク仮想化への応用
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
透過型確率的パケットマーキング装置の提案と開発(オープンルータコンペティション発表資料)
Apache Spark+Zeppelinでアドホックなネットワーク解析
Apache Spark+Zeppelinでアドホックなネットワーク解析
ログブラウズ、解析サービスSumologicの紹介
ログブラウズ、解析サービスSumologicの紹介
Flume cassandra real time log processing (日本語)
Flume cassandra real time log processing (日本語)
nftables: the Next Generation Firewall in Linux
nftables: the Next Generation Firewall in Linux
NSG フローログを支える技術 - NVF Advanced Flow Logging
NSG フローログを支える技術 - NVF Advanced Flow Logging
OpenFlow
OpenFlow
第6回インターネットと運用技術シンポジウム WIPセッション
第6回インターネットと運用技術シンポジウム WIPセッション
アドテク×Scala×パフォーマンスチューニング
アドテク×Scala×パフォーマンスチューニング
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Hokkaido.cap #osc11do Wiresharkを使いこなそう!
Hokkaido.cap #osc11do Wiresharkを使いこなそう!
Fluentd meetup #2
Fluentd meetup #2
hbstudy#06
hbstudy#06
Plus de @ otsuka752
NS & NSID of Amazon Route 53
NS & NSID of Amazon Route 53
@ otsuka752
OLD_LT_DNS_OLD
OLD_LT_DNS_OLD
@ otsuka752
Hijack the domain name
Hijack the domain name
@ otsuka752
Route53 で親子同居
Route53 で親子同居
@ otsuka752
reusable delegation set のススメ (Route53)
reusable delegation set のススメ (Route53)
@ otsuka752
DNS64 (El capitan and unbound-1.5.1)
DNS64 (El capitan and unbound-1.5.1)
@ otsuka752
raspi + soracom #pakeana33
raspi + soracom #pakeana33
@ otsuka752
192.0.0.4 on android
192.0.0.4 on android
@ otsuka752
a little more about CaptureFilter
a little more about CaptureFilter
@ otsuka752
iptables BPF module 効果測定
iptables BPF module 効果測定
@ otsuka752
how to defend DNS authoritative server against DNS WaterTorture
how to defend DNS authoritative server against DNS WaterTorture
@ otsuka752
how to decrypt SSL/TLS without PrivateKey of servers
how to decrypt SSL/TLS without PrivateKey of servers
@ otsuka752
WireEdit のススメ
WireEdit のススメ
@ otsuka752
Measurement of Maximum new NAT-sessionsper second / How to send packets
Measurement of Maximum new NAT-sessionsper second / How to send packets
@ otsuka752
about tcpreplay-edit
about tcpreplay-edit
@ otsuka752
超簡単!? Punycode 変換 ~国際化・日本語ドメイン~
超簡単!? Punycode 変換 ~国際化・日本語ドメイン~
@ otsuka752
毎日 dig ったら分かったこと ~新 gTLD~
毎日 dig ったら分かったこと ~新 gTLD~
@ otsuka752
萌え萌えドメイン名一覧(.moe)
萌え萌えドメイン名一覧(.moe)
@ otsuka752
about Tcpreplay
about Tcpreplay
@ otsuka752
パケットが教えてくれた ルートサーバが 13個の理由
パケットが教えてくれた ルートサーバが 13個の理由
@ otsuka752
Plus de @ otsuka752
(20)
NS & NSID of Amazon Route 53
NS & NSID of Amazon Route 53
OLD_LT_DNS_OLD
OLD_LT_DNS_OLD
Hijack the domain name
Hijack the domain name
Route53 で親子同居
Route53 で親子同居
reusable delegation set のススメ (Route53)
reusable delegation set のススメ (Route53)
DNS64 (El capitan and unbound-1.5.1)
DNS64 (El capitan and unbound-1.5.1)
raspi + soracom #pakeana33
raspi + soracom #pakeana33
192.0.0.4 on android
192.0.0.4 on android
a little more about CaptureFilter
a little more about CaptureFilter
iptables BPF module 効果測定
iptables BPF module 効果測定
how to defend DNS authoritative server against DNS WaterTorture
how to defend DNS authoritative server against DNS WaterTorture
how to decrypt SSL/TLS without PrivateKey of servers
how to decrypt SSL/TLS without PrivateKey of servers
WireEdit のススメ
WireEdit のススメ
Measurement of Maximum new NAT-sessionsper second / How to send packets
Measurement of Maximum new NAT-sessionsper second / How to send packets
about tcpreplay-edit
about tcpreplay-edit
超簡単!? Punycode 変換 ~国際化・日本語ドメイン~
超簡単!? Punycode 変換 ~国際化・日本語ドメイン~
毎日 dig ったら分かったこと ~新 gTLD~
毎日 dig ったら分かったこと ~新 gTLD~
萌え萌えドメイン名一覧(.moe)
萌え萌えドメイン名一覧(.moe)
about Tcpreplay
about Tcpreplay
パケットが教えてくれた ルートサーバが 13個の理由
パケットが教えてくれた ルートサーバが 13個の理由
OLD_Lt traffic analyse_OLD
1.
トラフィック解析のススメ ~L3-SW と DNS
サーバの解析結果~ 2015/03/16 @otsuka0752
2.
トラフィックの可視化(昔) • SNMP/RRD-database/per 5[min] •
SNMP agent + server • MRTG/cacti/munin/etc… • 指定した/取得可能なカウンタだけ • 1-5[min]間隔で読んで平均化
3.
トラフィックの可視化(昔) (サンプル)
4.
トラフィックの可視化(最近) • NetFlow/sFlow • (Jflow/Cflowd/NetStream/AppFlow/...) •
flow ベースでカウント • n パケットごとにサンプリング • Cisco Systems の *Flow 対応機器 • Catalyst 4500/6500/7600 • IOS 7200/7500/10000 • IOS-XR CRS/ASR9000
5.
トラフィックの可視化(最近) (サンプル)
6.
トラフィックの可視化(最近) (サンプル)
7.
「可視化」だけでなく 「解析」できる仕組み
8.
トラフィックの解析 • 全パケットの情報をデータベースに • ほぼリアルタイム(1-2分遅れ) •
bulk-load でなく stream も面白い !? • イマドキの綺麗な U/I で • Webブラウザで click!
9.
L3-SW (某サービス開発環境)
10.
トラフィック合計[Byte] 平均フレームサイズ[Byte] L3-SW(1)
11.
時刻ごとのトラフィックと プロトコル分布 時刻ごとのフレーム数と プロトコル分布 1秒未満の間隔で計算 L3-SW(2)
12.
プロトコルの分布 1:ICMP / 6:TCP
/ 17:UDP トラフィック分布 (Src/Dst IP + Protocol) L3-SW(3)
13.
フレームサイズの分布と トラフィックとプロトコル フレームサイズの分布と フレーム数とプロトコル L3-SW(4)
14.
DNS cache servers (某サービス本番環境)
15.
1台目と 2台目の偏り Request/Response DNS パケットの大きさ 名前解決要求の分布 DNS(1)
16.
dns.flags.response • Request/Response は概ね同数になる •
攻撃されると(NW 上に) Response が増える傾向 • 単位時間あたりの割合をみるのが正しい
17.
2台のクライアントからの 2つの名前解決要求が 大多数を占めている ラベル数が 34 のドメイン
!? DNS(2) 上グラフの ゴミを除去
18.
dns.count.labels • ラベル数( ‘.’
で区切られた文字列の数) • . (ROOT) 0 • jp. 1 • example.jp. 2 • www.example.jp. 3 • AAAA の PTR 34 • ゴミ Request も多数 • mobirouter.xxx と tenporouter.xxx • 2台のクライアントからだけ届いている
19.
XX からの *.example
の問い合わせ状況 DNS(3)
20.
dns.qry.name:*.example • *.example のリクエストだけ抽出 •
XXXXXX の PC が繫がった (?) • 開発用の XX も含む…が一般 XX っぽい
21.
日本語(マルチバイト)ドメインの問い合わせ状況 DNS(3)
22.
dns.qry.name:*xn--* xn--eckwa2aa3a9c8j8bve9d.gamewith.jp モンスターストライク.gamewith.jp xn--n8jvdsa6soa5jz01vtb9bg6lk11hdbi.jp 魔法使いと黒猫のウィズ.jp xn—sss29j37w.example.example.TLD
太田店.example.example.TLD xn--u9jvfi5fv563byzsc.gamewith.jp 黒猫のウィズ.gamewith.jp xn--zckqu2gra1duc2140ehfh3i0c.com モンストマルチ掲示板.com www.xn--o9j0bk8t7cqhlg.com www.まとめニュース.com xn--hhrv7mnywxjd.biz XXXX.biz
23.
xvideo の名前解決要求元 DNS(4)
24.
xviceo の名前解決要求が多いクライアントの 名前解決要求の状態(xvideo とそれ以外) DNS(5)
25.
システム概要
26.
システム概要 pcap ファイル
27.
1. Switch でポートミラー(または) 2.
サーバでパケットキャプチャして pcap に 3. pcap ファイルを Embulk に input 4. Embulk で parse 5. Elasticsearch に output 6. kibana で Elasticsearch にアクセス 7. nginx に Web ブラウザからアクセス システム概要
28.
参考> Elasticsearch $ curl
"localhost:9200/_cat/indices?v" health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open .kibana 1 1 110 3 99.3kb 99.3kb yellow open dns011x-new 5 1 12961210 0 2gb 2gb yellow open d-l3-core01-new 5 1 14175437 0 1.3gb 1.3gb $ curl “localhost:9200/d-el3-core01-new/_mapping?pretty" { “d-l3-core01-new" : { "mappings" : { "embulk" : { "properties" : { (snip) "eth.type" : { "type" : "string", "index" : "not_analyzed" }, "frame.len" : { "type" : "long" }, "frame.protocols" : { "type" : "string", "index" : "not_analyzed" }, (snip) 1200万行/2.0GB DNS の payload まで DB に 1400万行/1.3GB DNS 関連を含めず
29.
参考 http://www.wireshark.org/ http://www.embulk.org/ http://www.elastic.co/ http://www.elastic.co/products/elasticsearch http://www.elastic.co/products/kibana http://nginx.org/
30.
まとめと感想 • トラフィック解析は楽しい • 業務に役立つかも
(楽しいだけかも) • 通信量が気になる LTE コンテンツの トラフィック状況を 解析してみるかも 解析中
31.
END