テクノロジーだけにとどまらず、その設計思想から具体的なポリシーまで、Google のグローバルネットワークの核心に迫ります。ユニークなネットワークに興味がある方は必見の価値あり！

1. Cloud Onr
Cloud OnAir
Cloud OnAir
Google Cloud Networking Deep Dive!
その技術と設計の紹介
2018 年 8 月 9 日 放送

2. Agenda
Cloud OnAir
1
3
2
4
インフラストラクチャ
サービス
ロードバランサー
ハイブリッド
注意！
「Networking Deep Dive!」と銘打ってはいますが
コンテナ関連のネットワーキングは出てきませんので
悪しからずご了承ください。

3. Cloud OnAir
Cloud OnAir
インフラストラクチャ

4. Cloud OnAir
=The Datacenter as a Computer
世界中のデータセンターを
一つの計算機として扱う

5. Cloud OnAir
ネットワーク
将来のリージョンと
ゾーン
現在のリージョンと
ゾーン数
3
22
3
3
3
3 3
3
3
3
3
4
3 3 3
3
3
3
3
3
3
数十万マイルにおよぶ光ファイバー、海底ケーブルへの投資
過去 3 年間で 3 兆円以上のインフラ投資
Google グローバルインフラストラクチャ
リージョン (ゾーン) 開設予定
Hong Kong (3) H2 2018
Zurich (3) H1 2019
Osaka (3) H1 2019

6. Cloud OnAir
ポスター g.co/poster
申し訳ありませんが、
現時点では米国内のみへ
の発送となっています。
代わりに、高解像度の
画像ファイルを
ダウンロードいただけます。

7. Cloud OnAir
海底ケーブルの建設
バージニア北部リージョン ロンドンリージョン
光伝送装置
送電装置
欧州の顧客米国の顧客
海底ケーブル
深海用外装(シース)
浅海用外装(シース)
陸揚局
(Landing Station)
陸揚局
(Landing Station)
通信拠点
(Point of presence)

8. Cloud OnAir
Google ネットワークのイノベーション
Software
Defined
Load
Balancer
Software
Defined
Network
Virtualization
Software
Defined
Data Centers
Software
Defined
WAN
2006
2008
2010
2012
2014
Google
Global
Cache
Freedome
Watchtower
BwE
Onix
B4
Jupiter Andromeda
Maglev
QUIC
私たちの分散コンピューティング
インフラストラクチャでは、
これまでにはないネットワークを必要
としました

9. Cloud OnAir
独自のソフトウェアとネットワーク
● Espresso
○ インターネットから Google の
ネットワークに接続する経路の最適化
● B2
○ Google とインターネットを接続するネット
ワーク
● B4
○ Google のデータセンター間を接続する
グローバルネットワーク
● Jupiter
○ Google データセンター内を 1 Pbps で
繋ぐネットワーク
複数階層における独自の技術的な工夫で
高速なネットワークを実現

10. Cloud OnAir
Google リージョン間の経路最適化
● 通信の優先度に基づく、
公平な帯域の割り当て
● 最短経路を優先的に選択し、
必要に応じて長い経路に変更
● 例 : FG1 高優先度, FG2 低優先度
A
B
C
D
FG1
A から B へ
● 20 G bps 要求
● 20 G bps 割当
高優先度なので優先割当
FG2
A から C へ
● 10 G bps 要求
● 5 G bps 割当
低優先度なので迂回
10 G
10 G
10 G
5 G
5 G

11. Cloud OnAir
● 高価なリンクを有効活用
○ 帯域をぎりぎりまで利用
○ 例：海底ケーブル
● 同時に、優先度の高いトラフィックを
識別しパケットロスが発生しないよう
コントロール
Traffic Engineering と帯域制御
帯域/リンクの利用率
パケット数
低優先度トラフィックのパケットロス
高優先度トラフィックのパケットロス
Google での計測

12. Cloud OnAir
データセンターネットワーク帯域の変遷

13. Cloud OnAir
Firehose 1.1
(2006)
Watchtower
(2008)
Saturn
(2009)
Jupiter
(2012)
データセンタースイッチの変遷
Middle
Block

14. Cloud OnAir
● バックプレーンを持たない
構造を採用
● 40Gbps x1 / 10Gbps x4
切り替え型チップを採用
● Centauri モジュール
(4RU/2LC)を組み合わせる
ブロック方式を採用
Jupiter
(Merchant Sillicon 4つ)
(Centauriモジュール 4つ)
(Middle Block 6つ)

15. Cloud OnAir
輻輳制御アルゴリズム: TCP BBR
● “Bottleneck Bandwidth and Round-trip propagation time”
● YouTube にてスループットが 4% 向上、ラウンドトリップタイム(RTT)が 33% 短縮
● GCP サービス (Cloud Spanner、Cloud Storage 等) からGCP ユーザーの皆さまへの
通信や、インターネットのエンドユーザーへの通信 (Google Cloud Load Balancing、Cloud
CDN 等) に利用されています
Google 調べ

16. Cloud OnAir
Cloud OnAir
サービス

17. Cloud OnAir
世界をまたいだプライベートネットワークを簡単に利用可能
US West
10.10.0.0/26
US East
10.50.0.0/26
従来型VPC 従来型VPC
アプリケーションサー
バー
アプリケーション
サーバー
Internet
US West US East
Google VPC
10.10.0.0/26 10.50.0.0/26
アプリケーション
サーバー
アプリケーション
サーバー
従来型の VPC Google の VPC

18. Cloud OnAir
VPCを構成する要素の関係性
Virtual Private Cloud
us-west1-a
us-west2
プロジェクト
10.10.1.0/24
10.10.2.0/24
us-east4 europe-west2
10.10.3.0/24
us-east1-b
us-west1-b
us-east1-c
eu-east1-c
eu-east1-b
リージョン
ゾーン
サブネット
ルート

19. Cloud OnAir
$ gcloud compute networks create test --subnet-mode custom
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/global/networks/test].
NAME SUBNET_MODE BGP_ROUTING_MODE IPV4_RANGE GATEWAY_IPV4
test CUSTOM REGIONAL
$ gcloud compute networks subnets create testsubnet1 --network test --range 192.168.0.0/24
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/regions/asia-northeast1/subnetworks/testsubnet1].
NAME REGION NETWORK RANGE
testsubnet1 asia-northeast1 test 192.168.0.0/24
$ gcloud compute networks describe test --format="flattened(subnetworks[].basename())"
subnetworks[0]: testsubnet1
$ gcloud compute instances create test-instance --network test --subnet testsubnet1 --zone asia-northeast1-b
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/zones/asia-northeast1-b/instances/test-instance].
NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS
test-instance asia-northeast1-b n1-standard-1 192.168.0.2 104.198.117.39 RUNNING
$ gcloud compute firewall-rules create allow-management --network test --allow tcp:22,tcp:3389,icmp
最もシンプルな VPC の作成

20. Cloud OnAir
VPC をグローバルに拡張
$ gcloud compute networks subnets create testsubnet2 --network test --range 10.1.2.0/24 --region us-central1
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/regions/us-central1/subnetworks/testsubnet2].
NAME REGION NETWORK RANGE
testsubnet2 us-central1 test 10.1.2.0/24
$ gcloud compute instances create instance-us-central1 --network test --subnet testsubnet2 --zone us-central1-b
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/zones/us-central1-b/instances/instance-us-central1].
NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS
instance-us-central1 us-central1-b n1-standard-1 10.1.2.2 35.232.62.213 RUNNING
$ gcloud compute ssh instance-us-central1 --zone us-central1-b
(...)
admin@instance-us-central1:~$ ping 192.168.0.2
PING 192.168.0.2 (192.168.0.2) 56(84) bytes of data.
64 bytes from 192.168.0.2: icmp_seq=1 ttl=64 time=122 ms
64 bytes from 192.168.0.2: icmp_seq=2 ttl=64 time=121 ms
64 bytes from 192.168.0.2: icmp_seq=3 ttl=64 time=121 ms
(...)
testsubnet1
192.168.0.0/24
asia-northeast1
testsubnet2
10.1.2.0/24
us-central1
10.1.2.2192.168.0.2

21. Cloud OnAir
サブネットの拡張
$ gcloud compute networks subnets expand-ip-range testsubnet1 --prefix-length 22
The IP range of subnetwork [testsubnet1] will be expanded from
192.168.0.0/24 to 192.168.0.0/22. This operation may take several
minutes to complete and cannot be undone.
Do you want to continue (Y/n)? y
Updated [https://www.googleapis.com/compute/v1/projects/scratch-205603/regions/asia-northeast1/subnetworks/testsubnet1].
$ gcloud compute instances create instance1 --network test --subnet testsubnet1 --private-network-ip 192.168.3.253
Created [https://www.googleapis.com/compute/v1/projects/scratch-205603/zones/asia-northeast1-b/instances/instance1].
NAME ZONE MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP STATUS
instance1 asia-northeast1-b n1-standard-1 192.168.3.253 35.200.84.32 RUNNING
まめ知識：サブネットごとに次のアドレスが予約されます。
● ネットワーク アドレス（CIDR 範囲の最初のアドレス）
● デフォルト ゲートウェイ アドレス（CIDR 範囲の 2 番目のアドレス）
● 予約アドレス（CIDR 範囲の最後から 2 番目のアドレス）
● ブロードキャスト アドレス（CIDR 範囲の最後のアドレス）
まめ知識：GCE インスタンスのネットマスクはサブネットの
プレフィックス長とは独立にすべて /32 で設定されています。
$ ip -4 addr show dev eth0 | grep inet
inet 192.168.0.2/32 brd 192.168.0.2 scope global eth0

22. Cloud OnAir
ルート
● 各インスタンスからの通信は「ルート」を参照してルーティングされます
● ルートはグローバルなリソースとなります
○ リージョンごと、サブネットごとの設定ではありません
■ これはすべてのサブネットのルートの設定が同じ階層の設定であることを示してもいます
○ VPC 内のすべてのインスタンスが(リージョン・サブネットによらず)参照します
■ tag を利用することで、インスタンス(グループ)ごとに利用するルートを指定することもできます
● 下記例で 0.0.0.0/0 へのルートは削除できますが、それ以外の2 つのルートはローカルルートなので
削除できません
○ 0.0.0.0/0 へのルートを削除した場合、外部からすべてのインスタンスに到達できなくなります
● 同じルートが複数ある場合5-tuple のハッシュにもとづくECMP (Equal Cost Multi Path) になります
$ gcloud compute routes list --filter="network:test"
NAME NETWORK DEST_RANGE NEXT_HOP PRIORITY
default-route-1e11ab011df307eb test 10.1.2.0/24 test 1000
default-route-6a63aecff8150066 test 192.168.0.0/22 test 1000
default-route-7ddfadae649db40f test 0.0.0.0/0 default-internet-gateway 1000

23. Cloud OnAir
ファイアウォール
● 内向き/外向きのファイアウォール (許可/不許可ルール)
● ステートフル (コネクション単位)
● 柔軟なグルーピング方式: タグ
● 分散: ホストでの実施 → 輻輳ポイントが無いGCP Firewall
内向き
FW
外向き
FW内向き
FW Compute
Engine
Compute
Engine
Compute
Engine
Compute
Engine
Redタグ Blueタグ
まめ知識：ファイアウォールの
設定を変更しても、すでに存在
する接続は切断されません。

24. Cloud OnAir
Compute Engine のスループット
内向き (Ingress)
● 特別な制限は無いですが 10 Gbit/秒 程度と想定してください
(ただし SLA による値ではなく将来的に変更される可能性もあります)
外向き (Egress)
● 1 vCPU 当たり 2 Gbit/秒 (0.5 vCPUかそれ以下の場合 1 Gbit/秒)
○ 最大 8 vCPU で 16 Gbit/秒
● 1 ストリームで平均 8.5 Gbps 程度、複数ストリームで平均 15 Gbps 程度達成可能
● 外向きの通信：インターネットとの通信、外部 IP との通信、VPC内の通信、
GCP サービスとの通信、パーシステントディスクへの書き込み

25. Cloud OnAir
VPC Service Controls
API ベースの GCP サービスに保存された
データにセキュリティ境界を作成
● VPC 外部からのアクセスを制限
● VPC 内部から API へのアクセスを制限
● 「プロジェクト」単位のコントロール
(Alpha)
仮想的なセキュリティ境界線を
定義し、データ漏えいから保護
● アクセス制御の誤設定
● 不審なユーザーによる認可されていない
クラウドリソースへのデータコピー
● インターネット経由からセンシティブな
情報を得ようとする攻撃者

26. Cloud OnAir
GCP 内外でのネットワークセキュリティのポイント
VPC ネットワーク
Google
Cloud
Storage
Internet
GlobalLB
ウェブサーバー
on GKE
アプリケーション
on GCE
BigQuery
VPC
Firewall
Cloud Armor
+ IAP
VPC Service
Controls
API ベースのサービス
オンプレミス
Interconnect
VPC
Firewall
VPC
Firewall
VPC Service
Controls
VPC Service
Controls
VPC Service
Controls
VPC Service
Controls
VPC
Firewall

27. Cloud OnAir
共有 VPC (Shared VPC)
グローバルで共有された VPC
● 中央管理された
ネットワーク
● RFC 1918 IP アドレスの
範囲を集中管理
○ サブネット
単位での利用許可
● ネットワークの
ポリシーを一元管理
● フォルダーにも対応
Firewalls
ルート
VPN
Web アプリサービス 課金サービス
サブネット サブネット
10.128.0.0/24 10.148.0.0/24
グローバルネットワーク
Shared VPC ホストプロジェクト
オンプレミス
データセンター
Shared VPC サービスプロジェクト

28. Cloud OnAir
VPC Flow Logs
記録されるトラフィックの経路
● VPC 内のトラフィック(③)
● VPC とオンプレミス環境間の
フロー (① ②)
● インスタンスとインターネット
上のエンドポイント間のフロー(④)
● インスタンスとGoogle の
サービス間のフロー(⑤)
VPC Flow Logs の特性 - Near real time
● 5秒間隔のサンプリング
● 4秒の処理時間(中央値)
● 10秒の伝達時間(中央値)

29. Cloud OnAir
VPC の裏側 - Andromeda
Virtual Machine Controller
OpenFlow FrontEnd
Virtual Machine Controller
VM
Coprocessor
Open
vswitch
Host
Mgmt
Andromeda Dataplane
VMVM
VM
Replicated
Virtual machine controller
Virtual Machine ControllerVirtual Machine Controller
Sharded
Virtual machine controller
Virtual Machine ControllerVirtual Machine Controller
Virtual machine controller
OpenFlow FrontEnd OpenFlow FrontEnd
VM
Coprocessor
Open
vswitch
Host
Mgmt
Andromeda Dataplane
VMVM
VM
VM
Coprocessor
Open
vswitch
Host
Mgmt
Andromeda Dataplane
VMVM
VM
“Network Virtualization for Google Cloud Platform”

30. Cloud OnAir
Andromeda データプレーン
● Secure
○ ユーザースペースでの単一目的の実装
● Robust
○ カーネル空間での実装と異なり
システム全体への影響が限定的
● Fast
○ ロック、同期処理、システムコールを避け、
メモリの使用を最適化
○ 一つのコアを占有
○ > 3M PPS、> 30 Gbps
● Rapid release
○ 無停止アップグレードが可能
Fastpath
VM1
Guest VM
vnic TX vnic RX
VM2
Guest VM
vnic TX vnic RX
Coprocessor
Coprocessor
NIC Host
Andromeda
Dataplane
Ingress
engine
Egress
engine
No root

31. Cloud OnAir
● 専用のソフトウェア
ゲートウェイ
● より大きな
ネットワークをサポート
● その後のフローは
VM ホストにオフロード
Hoverboards - スケーリングのために
HoverboardHoverboardHoverboard
低優先ルート
Host 10.1.2.4
vmB
vmC
仮想
スイッチ
vmD
Host 10.1.2.5
vmE
vmV
vmZvmX → vmZ
フローを
オフロード
仮想
スイッチ
仮想
スイッチ
Host 10.1.1.3
vmE
vmV
vmZ

32. Cloud OnAir
MapReduce、TensorFlow、HPC
などのオンデマンドのワークロー
ドのための大規模なネットワーク
の構成に必要な時間が、
Hoverboards によって37 倍改善
しました
Hoverboards で大規模なネットワーク作成を迅速に作成
Google での計測

33. Cloud OnAir
Google の 経路最適化技術をフル活用できる Premium Tier
主なパブリッククラウドと同等の Standard Tier
22-33%
安いコスト
経路最適化技術をサービス化 - Network Service Tiers

34. Cloud OnAir
Cloud Armor
ユースケース
● IP ブラックリスト/ホワイトリスト(beta)
● 地域(Geo)ベースのアクセス制限 (beta)
● SQLi/XSS 防御 (alpha)
● カスタムルールの作成 (alpha)
● Stackdriver による証跡
スケーラブルな DDoS 対策
● アプリケーションレベルの
攻撃に対する防御
● セキュリティパートナーによる
エコシステムとの統合

35. Cloud OnAir
Cloud CDN
全世界のエンドユーザーにリーチできる CDN
● > 130カ国
● 98% の ISP に 1 ホップで到達
● Google サービスと共通のインフラ
● SSL 対応、SYN-flood 対策
● HTTP2、QUIC、gRPC、IPv6 対応
● 大きなオブジェクト(< 5TB)も
キャッシュ可能 (Beta)

36. Cloud OnAir
Cloud CDN の裏側
インスタンス
インスタンス
インスタンス
us-central-1a
インスタンス
インスタンス
インスタンス
us-east-1b
L1 プロキシ
Maglev
L1 プロキシ
Maglev
POP
インメモリ キャッシュ
(O(X Tbytes))
Google (オンネット)
大規模キャッシュ (ディスク)
(O(XX Pbytes))
小さいオブジェクト用の中
規模キャッシュ (Flash)
(O(XXX Tbytes))
Large Cache
キャッシュ
ミス
ネットワークエッジ
Large Cache
ISP A
ISP N

37. Cloud OnAir
Cloud OnAir
ロードバランサー

38. Cloud OnAir
一つの IP アドレスでグローバルな Anycast
10.2.0.0/16
10.240.0.0/16
myapp.com
ASIA-SOUTHEAST1
myapp.com
EUROPE-WEST2
120.1.1.1
120.1.1.1
120.1.1.1
192.168.0.0/16Maya in
カリフォルニア
Bob in ロンドン
Shen in シンガポール
Google Global Load Balancing は世界中に分散しています
myapp.com
US-WEST1
192.168.1.0/24
DNS
www.myapp.com
A record 120.1.1.1

39. Cloud OnAir
エンドユーザから
最寄り拠点へ負荷分散
グローバルな地域分散ロードバランサー

40. Cloud OnAir
障害発生
他リージョンへ
分散
障害時に自動フェイルオーバー

41. Cloud OnAir
Cloud Load Balancing
HTTP(S) LB SSL Proxy TCP Proxy
Network LB Internal L4 LB Internal HTTP(S) LB*
Global
Regional
Compute
Engine
Kubernetes
Engine
Cloud Storage K8S on GCP
* 今後提供予定
ポート 25, 43, 110, 143, 195,
443, 465, 587, 700, 993, 995,
1883, 5222 をサポート

42. Cloud OnAir
ロードバランサーの選択
SSL
オフロード?
IPv6?
グローバルLB?
IPv6?グローバルLB?
(No SSLオフロード)
クライアントIP
を保持？
グローバル
IPv4/IPv6
リージョナル
IPv4
外部 内部

43. Cloud OnAir
HTTP(S) ロードバランサーの構成要素
targetHttpsProxies
urlMap sslCertificates
backends
instanceGroups
forwardingRules
targetHttpProxies
IPAddress IPProtocol
loadBalancingScheme
backendServices
quicOverridename
forwardingRules
IPAddressIPProtocol
loadBalancingScheme
portRangeportRange
portName
enableCDNbalancingMode
capacityScaler healthChecks
protocol

44. Cloud OnAir
SSL/TCP Proxy の構成要素
targetSslProxies
backends
instanceGroups
forwardingRules
targetTcpProxies
IPAddress IPProtocol
loadBalancingScheme
backendServices
proxyHeader
name
forwardingRules
IPAddressIPProtocol
loadBalancingScheme
portRangeportRange
portName
enableCDNbalancingMode
capacityScaler healthChecks
protocol
ipVersion
sslCertificatesproxyHeader
ipVersion
● HTTP(S) LB (前ページ)との大きな違い
は urlMap の有無
● SSL/TCP Proxy は L4 ロードバランス
のため urlMap は存在せず

45. Cloud OnAir
Network LB の構成要素
instances
targetPoolsname
forwardingRules
IPAddressIPProtocol
loadBalancingScheme
portRange
healthChecks
regioninstanceGroupManagers
targetSize
region
instanceGroup
instanceTemplate
namedPorts
● 他のロードバランサーとは異なり、
バックエンドサービスではなく、
ターゲットプールを利用

46. Cloud OnAir
Internal L4 LB の構成要素
backends
backendServicesname
forwardingRules
IPAddressIPProtocol
loadBalancingScheme
healthChecks
region
portssubnetwork
network
instanceGroups
balancingMode
protocol
region
● 中間的な構成
○ プロキシは無し
○ バックエンドサービスを利用
● 加えて VPC 内の必要な情報が追加

47. Cloud OnAir
● ロードバランシングの基本
○ エンドユーザーの近くのリージョンへルーティング
○ リージョン内(バックエンド)に複数のゾーンがある場合、
キャパシティに応じてバランシング
○ ゾーン内ではラウンドロビン
● バックエンドインスタンスへの通信
○ HTTP
○ HTTPS
○ HTTP/2 (beta)
● WebSocket プロキシもサポート
HTTP(S) ロードバランシング
* Session Affinityを使ってない場合

48. Cloud OnAir
● バックエンドの設定
● 当該バックエンドが処理する最大値の基準
(“Balancing mode”)
○ 平均 CPU 使用率
○ 秒間リクエスト数
○ 平均 CPU 使用率 or 最大秒間リクエスト数
● 超える場合は別バックエンドへルーティング
バランシングモード - ロードバランサー
まめ知識：Stackdriver の Nginx プラグインをインストール
いただくと、Active Connections、Reading Connections、
Writing Connections、Waiting Connections そして Requests
(/秒) などの値を簡単にグラフ化いただけます。
Nginx Plugin
https://cloud.google.com/monitoring/agent/plugins/nginx

49. Cloud OnAir
● オートスケーリングの基準
○ 平均 CPU 使用率 (“CPU usage”)
○ ロードバランサーの使用率 (“HTTP load balancing
usage”)
■ CPU 使用率、秒間リクエスト数、合わせ技
○ Stackdriver によるメトリクス (“Stackdriver
monitoring metric”)
○ 複数のメトリクス (“Multiple metrics”)
● インスタンスグループの種類
○ ゾーン単位 (Zonal)
○ リージョン単位 (Regional)
オートスケーリング - (マネージド)インスタンスグループ
まめ知識：一つのインスタンスグループを複数のバックエンド
サービスに登録することはできますが、設計 (設定)を複雑に
しないために、避けることをお勧めします。

50. Cloud OnAir
オートスケーリング動作の例
インスタンスを
減らす
インスタンス数を
維持
インスタンスを
増やす
メトリクスを
確認する
かつ
最小
インスタンス数で
はない
かつ
最大
インスタンス数
ではない
下記設定の場合の例
● インスタンスグループ
○ “Autoscale based on” : “HTTP load balancing usage”
(loadBalancingUtilization)
○ “Target load balancing usage” : 0.8 (80%)
(utilizationTarget)
● ロードバランサー
○ “Maximum RPS” : 100 per instance
(maxRatePerInstance)
まめ知識：Autoscaler はスケールダウンの判断に直近
10 分間の使用状況を利用します。詳細はドキュメント
「スケールダウンの遅延 」を参照ください。
また「接続ドレイン」を使用してる場合、
さらにスケールダウンに時間がかかる場合があります。

51. Cloud OnAir
ロードバランサー、オートスケーリングの
設計にあたっては下記ドキュメントを
参照いただくことをお勧めいたします
(日本語訳もあります)
Google Cloud Platform での
スケーラブル (Scalable) で復元力を
備えた (Resilient) ウェブ アプリケーションの
構築
https://cloud.google.com/solutions/scalable-an
d-resilient-apps
ベストプラクティス

52. Cloud OnAir
HTTP(S) Load
Balancing
HTTPS
us-central
App instance
Autoscaling
us-west
App instance
Autoscaling
asia
App instance
Autoscaling
Cloud Armor
Identity-aware Proxy (IAP)
Cloud Armor と
IAP の許可が
あって初めて
通過できる
Layer 3-7, 地域, WAF
アイデンティティ、コンテキストL3/L4 のボリュームベース、
プロトコルベースの
DDoS への自動対応
HTTP(S) LBからのトラフィックのみを許可し、
インターネットからの
トラフィックを拒否するように
ファイアウォールを設定してください
ベストプラクティス - HTTP(S) LB + Cloud Armor + IAP

53. Cloud OnAir
QUIC
● 遅延の少ない UDP ベースのプロトコル
○ HTTPS ロードバランサーでご利用いただけます
● Cedexis によるスループットの計測でも、 Cloud CDN で QUIC を有効にした際にスループットの向上が
確認できています
Cedexis 社による Google Cloud プロジェクトを
利用したベンチマークの結果
HTTPSロードバランサーにて利用可能！

54. Cloud OnAir
QUIC の有効化
chrome://net-internals/#quic
Chrome デベロッパーツール

55. Cloud OnAir
HTTP(S) LB の裏側 - Maglev にもとづく実装
Instance
Instance
Instance
us-central-1a
Instance
Instance
Instance
us-east-1b
Maglev
Maglev
Edge: Tier 1-POP
Caching infra
ネットワークエッジ
Caching infra
Edge: Tier 2
Global HTTP(S) LB, SSL/TCP プロキシ
GFE
= Google Front End
GFE

56. Cloud OnAir
Network LB の裏側 - Maglev にもとづく実装
Router
Load balancer
Service 1
internet
Backup LB
Service 2
Maglev 1
Service 1
Maglev 2
Service 2
Maglev 3
Service 1
Edge router N
Maglev N
Service N
ECMP
Consistent
hashing
Google の
Network Load Balancing
伝統的なプロキシ
internet
DSR

57. Cloud OnAir
Internal LB の裏側 - Andromeda にもとづく実装
VM controllers
OFEs
Health reporter
Health checkerClient VM
Load Balancer
Backend VM
Cluster fabric manager
OpenFlow
VM-VM
Health
Control
Backend VM
* OpenFlow Frontend

58. Cloud OnAir
Cloud OnAir
ハイブリッド

59. Cloud OnAir
Google Cloud Platform との直接接続の 5 つの方法
Carrier Peering
(no SLA)
Dedicated
Interconnect
プライベート IP (RFC1918) 接続
パブリック IP 接続
共用専有
Direct Peering
(no SLA)
Partner
InterconnectVPN

60. Cloud OnAir
各サービスの接続形態
Partner
Interconnect
Dedicated
Interconnect
10Gbps x N
50Mbps〜10Gbps
(50M, 100M, 200M, 300M, 400M, 500M,
1G, 2G, 5G, 10G)

61. Cloud OnAir
Dedicated Interconnect - 接続拠点
WASHINGTON D. C.
LONDON
AMSTERDAM
FRANKFURT
DALLAS
TOKYO
LOS ANGELES
HONG KONG
SAN FRANCISCO NEW YORK
SINGAPORE
CHICAGO
OSAKA
SYDNEY
TORONTO
PARIS
https://cloud.google.com/interconnect/docs/concepts/colocation-facilities
SEATTLE
KUALA LUMPUR
ATLANTA
MONTREAL
MUMBAI
MUNICH
DENVER
MARSEILLE
RIO DE JANEIRO
SÃO PAULO
STOCKHOLM
3
3
2
3

62. Cloud OnAir
Partner Interconnect のパートナーさま
最新のリストは下記ページをご確認ください
https://cloud.google.com/interconnect/docs/concepts/service-providers
日本でも多くのパートナーさまより、
ご提供いただいております。

63. Cloud OnAir
Cloud Router
EBGPスピーカープロセス
外部との動的経路制御に必須
VPC外への経路広告とVPC内への
経路インポート
すべてのリージョンのサブネットの
経路を広告可能
外部からの経路広告をすべての
リージョンへ伝播可能
プロジェクト
us-west1
10.240.0/24
us-west2
10.240.1/24
10.240.2/24
us-east1
.1
.1
10.239.2/24
10.240.1/24
10.240.0/24
10.140/16
10.140/16
BGP over
IPSEC
オンプレミス環境
AS 65513 AS 64500
us-west1
CLOUD ROUTER
VPC#1
R1

64. Cloud OnAir
高可用性のための構成 - Interconnect
SLA 99.99% を実現する構成
(月 4.38 分の停止時間相当)
SLA 99.9% を実現する構成
(月 43 分の停止時間相当)
アッシュバーン 2
アッシュバーン 1
ニューヨーク 1
ニューヨーク 2
ニューヨーク 1
ニューヨーク 2
● 99.9%
○ 2つ以上のリージョンに接続
○ 2つ以上のメトロエリアに接続
○ それぞれのメトロエリア内では異なるゾーンで接続
○ 各リージョンに2つ以上の Cloud Router (グローバル)
● 99.9%
○ メトロエリア内では異なるゾーンで接続
○ 2つ以上の Cloud Router

65. Cloud OnAir
高可用性のための構成 - VPN
● 2つのオンプレミス VPN ルータ
○ それぞれから VPN トンネル
● 2つの VPN Gateway
● Cloud Router から別々の
BGP セッション

66. Cloud OnAir
Cloud OnAir
Happy Networking!