イベントトラフィックに対するトラフィックエンジニアリング http://www.janog.gr.jp/meeting/janog33/program/traffic.html 概要 iOS7が発表になり、インターネットでのトラフィック量にも変化が見られ、JANOG/NANOGでも通常時のトラフィック量との違いが盛んに報告されました。iOS7アップデート、Windowsアップデート、楽天スーパーセール、AKB48総選挙?などイベントによるトラフィックの変化を見ることで、トラフィックエンジニアリングやCDNなど施してる対策などを議論したいと思います。 発表者 土屋 師子生 (シスコシステムズ合同会社) 亀井 聡 (エヌ・ティ・ティ・コミュニケーションズ株式会社) 松下 太志 (九州通信ネットワーク株式会社) 岩崎 磨 (楽天株式会社)

1. イベントトラフィックに対するトラフィックエンジニアリング
CDN配信の仕組みと国内における配備状況
JANOG33 in Beppu
NTT コミュニケーションズ株式会社
先端IPアーキテクチャセンタ
亀井聡 <skame@nttv6.jp>

2. 自己紹介
〜2012.06 @ NTT 研究所
品質とかトラヒックとか
2012.07〜 @ NTT コミュニケーションズ
インターネット計測と分析（BigData?）
JANOG13 「広がるP2Pサービスとインターネットインフ
ラへの影響」2003.10
JANOG14 「オーバーレイネットワークの可能性と. その
インパクト」2004.07
JANOG/信学会IA研究会共催「[特別講演]コンテンツ配信
を中心とした国内インターネットの構造分析」2012.09
2

3. 土屋さんの疑問に答える
何でCDN以外からトラフィックが来るの？
フローレベルだとトランジット系ISP内のキャッシュから流れて
来ることがあります．
マルチCDN？
冗長性確保のためか，最近増えてるようです．
自社CDNとAkamai等を組み合わせて提供する事業者も．
ローカルにいるのにIX経由？
混雑時間帯だとピアとかローカルキャッシュとか使わず流れて
くることがわりとあるようです．
3

4. 発表概要
Internet での経路制御
Internet におけるコンテンツ配信
Contents Delivery Network
Internet 上での観測による現状
ISPオペレーションにおける課題
まとめ
4

5. 5
INTENRNETでの経路制御

6. 6
Internetでの経路制御
AS(Autonomous System)とBGP(Border Gateway Protocol)
運用単位としてのAS
自律分散の単位
自分の中は見える
隣りへのリンクは見える
隣りまでは制御できる場合もある
AS
BGP

7. 7
Internetでの経路制御
ピアとトランジット
経路表のサイズとTier1
• 全部の経路を知っているのがTier1
ピアリングによる相互融通
• 上位に流すのはコストがかかるので
Tier 1 ISPs
IX
Tier 2 ISP
Tier 2 ISP

8. 8
Internetでの経路制御
課金と負担，受益者
ISPユーザは何を買っているのか
回線代金とファシリティと接続料金
トランジット，ペイドピア
Tier1への課金を利用者間で割り勘「していた」
利用者から集めたお金で回線と接続に投資

9. 9
INTENRNETにおけるコンテンツ配信

10. 10
Internetにおけるコンテンツ配信
配信サーバと回線契約
コンテンツ配信の場合は何を買うのか
サーバと回線，接続料，ファシリティ「だった」
オンプレ，コロケ，レンタルサーバ，クラウド，……
オンプレだとAS取ってサーバ用意してトランジット買って．
最近はクラウドで，CDN経由で，マルチCDNとクラウドで云々

11. 11
Internetにおけるコンテンツ配信
ハイパージャイアントの影響力の急上昇
HyperGiant
CDN
EyeBall
(アクセス
プロバイダ)
北米のバックボーントラヒックの
上位占有組織の変遷(Arbor調べ)．
すべてTier1
(キャリア)
ISP間接続構造の変化
C. Labovitz, “Internet Traffic 2007 - 2011,”
Global Peering Forum. Santi Monica, CA. April 2011.

12. 12
Internetにおけるコンテンツ配信
キャッシュ，CDN，ハイパージャイアント
安く仕入れて付加価値をつけて高く売る
スケールメリットとスケールアウト
接続料金が無料ピアやCDN自身によって支えられる．
• 原資はコンテンツホルダや，場合によっては公告収入．
Tier1 ISP
Tier1 ISP
トランジット料
大手 ISP
トランジット料
大手 ISP
トランジット料
地域ISP
CSP
地域ISP
利用料
ユーザ
Hyper
Giants
ユーザ
ピアリング
キャッシュ配置

13. 13
CONTENTS DELIVERY NETWORK

14. 14
Contents Delivery Network
キャッシュの基本
ローカルに貯めて二度目はローカルから
オリジンに取りに行かない
10〜15年前
限られた帯域を効率的に使うためのキャッシュ．
〜5年前
海外トランジットが高価な国(発展途上国)では利用が進む．
ブロードバンド化が進展した先進国では，リバースキャッシュの需
要が高まる．
あわせてCDN(リバースキャッシュ+αのネットワーク的配備)も普及．
ここ数年
改正著作権法(2010.01)による国内でのキャッシュ適法化．
ハードウェアの進歩(キャリアグレード機器の登場)
P2Pに次ぐ課題として，ハイパージャイアントが台頭．

15. 15
Contents Delivery Network
CDNは分散化されたリバースキャッシュ
品質要件を満たす中で安い回線を使う
空いてるサーバを使う（マルチテナントで大群化効果）
上位のトランジットAS
その他Akamai AS
どこかの
トランジットAS
自分のAS
ピア先AS

16. 16
Contents Delivery Network
AkamaiとGoogle
Akamaiのエッジキャッシュの挙動
• あらかじめ設定したネットワークに対する応答を最寄りサーバに制
御．対象ISPでDNSを引かないとわからない．
YouTubeの制御は複数方式が混在
• YouTubeサーバがアクセス元のアドレスを見て，最寄りサーバURLが
書き込まれたHTMLファイルが戻る．
制御ポリシーはブラックボックス
Google
Akamai
2)最寄りサーバ
が入ったHTML
AkamaiDNS
3)HTTP GET
1)DNSリクエスト
2)最寄りサーバ
を応答
1)HTTP GET
3)HTTP GET

17. 17
Contents Delivery Network
GGCとAURA AANP（Akamaiキャッシュ）
ISP内部にキャッシュを配置．管理はGoogle/Akamai．
このタイプのキャッシュは他ASにはトラフィックは吐かない．
上位系ISPでは他社向けに吐くキャッシュも（Akamaiの場合）

18. 18
INTERNETでの観測による状況

19. 19
Internetでの観測による状況
HTTP上位におけるハイパージャイアントとCDN
Other
Google
EdgeCast
LimeLight
Akamai

20. 20
Internetでの観測による状況
Akamaiトラフィックに何が含まれているのか
Apple
Windows Update
Symantec, Trendmicro
Playstation, Nexon
Macromedia, Sun Microsystems
:
HTTPリクエストを引っかけないとわからない！
アドレスも刻一刻と変化する．

21. 21
Internetでの観測による状況
フローでマクロに捉えればいいかといえば
非Akamai ASからの配信もあるので難しい．
Akamaiはどこから来るの？
その他Akamai AS
上位のトランジットAS
どこかの
トランジットAS
自分のAS
ピア先Akamai AS

22. 22
Internetでの観測による状況
Google/Akamaiローカルキャッシュノード（モニタ調査）
当該ASから吐かれるAkamaiコンテンツが存在するかどうか
2013
AS#
AKAMAI
○
○
○
GGC
2012
○
○
○
○
○
○
○
AS#
AKAMAI
○
○
○
GGC
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
45
○
○
○
○
○
○
○
○
○
○
○
○
39
45
32

23. 23
Internetでの観測による状況
国内でAkamaiコンテンツを吐いているAS（モニタ調査）
AS20940 Akamai International B.V.
AS4713 NTT Communications Corporation
AS2497 Internet Initiative Japan Inc.
AS2527 So-net Entertainment Corporation
AS9824 Technology Networks Inc.
AS2514 NTT PC Communications, Inc.
AS4725 SOFTBANK TELECOM Corp.
AS2516 KDDI CORPORATION
AS18126 Chubu Telecommunications Company, Inc.
AS9609 eAccess Ltd.
AS10013 FreeBit Co.,Ltd.
AS2519 VECTANT Ltd.
AS7679 Kyushu Telecommunication Network
Co.,Inc.
AS7670 Energia Communications, Inc.
AS4721 Japan Cablenet Limited
AS9354 Community Network Center Inc.
AS9365 its communications Inc.
AS10026 Pacnet Global Ltd
AS7522 STNet, Incorporated
AS18081 Kintetsu Cable Network Co., Ltd.
AS2914 NTT America, Inc.
AS4704 Fusion Communications Corp.
AS9600 Sony Business Solutions Corporation

24. 24
Internetでの観測による状況
ここ３日ほどいくつかのISPで測定してみました．
apple-IP by ISPs

25. 28
Internetでの観測による状況
/24の単位でも結構動いている
観測ISPにより挙動は異なる．
観測CPによっても挙動は異なる．
同じISPでもエリアによっても違う．
ASレベルではそれほどダイナミックな動きは見られない．
とはいえiOSショックの時にはかなり動いたとの話も．
次のアップデート時には計測仕込んでおきます……．

26. 29
ISPオペレーション上での課題

27. 30
ISPオペレーション上での課題
BGP「だけ」じゃわからないことが増えている
上位ISPでも制御できないものが増えている
コンテンツまでは見れない（ことが多い）
混んでくるととんでもないところから来ることも
近いかどうかだけではなく，品質を確保できる安い線を選ぶ．
切り分けたいへん

28. 31
まとめ

29. まとめ
経路やフローだけだと辛い昨今，CPやCDNの都合で曲が
るトラフィック．
設備増強方針に影響．たくさん打っても使ってもらえな
いと……．
マクロデータでいいのでなんとか事後提供いただけない
ですかねぇ
e.g.容量多目の数社分のトラフィック（iOSとか）がどう流れた
かとか，CP毎のアドレスブロックの割当て状況とか．
CDN事業者にとって必要な情報や理想的なインフラって
あるの？
32