for Kubernetes Meetup Tokyo #38

1. 1
© Internet Initiative Japan Inc.
Kubernetesと閉域網接続
株式会社インターネットイニシアティブ
SRE推進室
李 瀚

2. 2
自己紹介
2018/04 –:株式会社インターネットイニシアティブ（IIJ）
• 今:社内向けサービス基盤（Kubernetes）の開発・運用
• その前:社内向けサービス基盤（VMWare）の開発・運用
• そのさらに前:インターネットVPNサービスのデリバリ
https://eng-blog.iij.ad.jp/archives/7771
今回のお話

3. 3
目次
目的:PodにクライアントのIPアドレスを見せたい
• PodにクライアントのIPアドレスを見せるには
• ロードバランサとService type: LoadBalancer
• service.spec.externalTrafficPolicy
• PodにクライアントのIPアドレスを見せると困ること
• IPアドレスの衝突と回避
• 閉域網接続をKubernetesへ引き込むには
• v4⇔v6NAT変換

4. 4
お話すること
Kubernetes LB Client
前半 後半

5. 5
PodにクライアントのIPアドレスを見せるには

6. 6
Client IPアドレスの必要性
アクセスログの需要
• 一般的にはロードバランサを通すとClient IPはサーバまで到達しない
• HTTP(80)/HTTPS(443)の場合はヘッダーがつく: X-Forwarded-For
• 一般的なプロトコルは？？
• Sourceアドレスとしてサーバへ到達したい
https://nlab.itmedia.co.jp/nl/articles/2004/14/news081.html
127.0.0.1 - - [17/Jan/2021:03:35:32 +0000] "GET / HTTP/1.1" 200 427 "-" "curl/7.58.0"

7. 7
一般的なKubernetesのネットワーク (IPアドレスの書き換え 1/2)
Kubernetes
LB
Private
Public
インターネット

8. 8
Source IPの書き換え (IPアドレスの書き換え 2/2)
LB
Private
Public
src: x.x.x.x
src: y.y.y.y
Node
Service
Pod
src: z.z.z.z
①ロードバランサのIPに書き変わる
②NodeのIPに書き変わる
2回の書き換えがある

9. 9
Client IPアドレスをPodに晒すには
LB
Private
Public
src: x.x.x.x
Node
Service
Pod
service.spec.externalTrafficPolicy: Local
IP Transparency
https://kubernetes.io/docs/tutorials/services/source-ip/

10. 10
Client IPアドレスをPodに晒すには
LB
Private
Public
src: x.x.x.x
service.spec.externalTrafficPolicy: Local
IP Transparency
https://kubernetes.io/docs/tutorials/services/source-ip/
x.x.x.xへの経路をLBに向ける
Localにエンドポイントがあるかどうかを
HealthCheckPortで確認

11. 11
PodにクライアントのIPアドレスを見せると困ること

12. 12
IIJという会社について
インターネット/ネットワークの会社
• 「つなぐ」と「つないだ先」
• 接続サービスとコンテンツ
• IIJのサービス基盤では接続してきた顧客に対して
コンテンツを提供する

13. 13
Client IPと設備IP衝突の課題（一般構成）
Kubernetes
LB
Service CIDR: Private IP
Client: Global IP
Node
Pod
Service
Internet

14. 14
Client IPと設備IP衝突の課題
Kubernetes
LB
Node
Pod CIDR : 10.244.0.0/16,192.168.0.0/16
Service CIDR: 10.96.0.0/12
Client: 10.96.1.1

15. 15
ISP Shared Address
100.64.0.0/10
• RFC6598
• グローバルでもローカルでもないインターネットサービスプロバイダが利用
するセグメント
• 設備に割り当てることでClient IPと設備IPの衝突を回避

16. 16
Client IPと設備IP衝突の課題（ISP Shared Address構成）
Kubernetes
LB
Service CIDR: IP Shared Address
Client: Global/Private IP
Node
Pod
Service

17. 17
Client IPどうしの衝突
Kubernetes
LB
ClientB: 10.96.1.1
ClientA: 10.96.1.1

18. 18
解決したい課題
Kubernetes
LB
ClientB: 10.96.1.1
ClientA: 10.96.1.1
?

19. 19
閉域網接続をKubernetesへ引き込むには

20. 20
IPv6とIPv4 1/2
IPv6を使う
IPv4 32-bit 9
個 172.16.254.1
IPv6 128-bit 38
個 0123:4567:89ab:cdef:0123:4567:89ab:cdef
IPv4 /24 55000円 256個
IPv6 /48 55000円 個
https://www.nic.ad.jp/ja/ip/member/fee-table-2012.html
https://ipv4.global/
IPv4 ~$25/IP (66万円//24)

21. 21
IPv6とIPv4 2/2
XXXX:XXXX:XXXX:XXXX:XXXX:YYYY:ZZZZ:ZZZZ/96
グローバルPrefix 顧客識別ID
IPv4全セグメント

22. 22
IPv6 KubernetesとIPv4 Client
Kubernetes
LB
ClientB: 10.96.1.1
ClientA: 10.96.1.1
IPv6
IPv6
IKE Gate IKE Gate
IPv6
IPv4
IPv4

23. 23
IPv6 KubernetesとIPv4 Client
Kubernetes
LB
ClientB: 10.96.1.1
ClientA: 10.96.1.1
IKE Gate IKE Gate
fd00::0:10.96.1.1/96 fd00::1:10.96.1.1/96

24. 24
デュアルスタックKubernetesとIKE Gate(s)
Kubernetes
LB
Client
IPv4/IPv6
IPv4/IPv6
IKE Gate
IPv6
IPv4
LB
IPv4/IPv6
Internet
Client
IKE Gate
IPv4
……

25. 25
まとめ
IPv6を使えば閉域網でもPodにClient IPを晒すことができる
• PodにクライアントのIPアドレスを見せるには
• ロードバランサとService type: LoadBalancer: IP Transparency
• service.spec.externalTrafficPolicy: Local
• PodにクライアントのIPアドレスを見せると困ること
• IPアドレスの衝突と回避:ISP Shared Address AND/OR NAT
• 閉域網接続をKubernetesへ引き込むには
• v4⇔v6NAT変換
• デュアルスタックKubernetes

26. 26
Appendix

27. 27
service.spec.externalTrafficPolicy
$ kubectl explain service.spec.externalTrafficPolicy
KIND: Service
VERSION: v1
FIELD: externalTrafficPolicy <string>
DESCRIPTION:
externalTrafficPolicy denotes if this Service desires to route external
traffic to node-local or cluster-wide endpoints. "Local" preserves the
client source IP and avoids a second hop for LoadBalancer and Nodeport type
services, but risks potentially imbalanced traffic spreading. "Cluster"
obscures the client source IP and may cause a second hop to another node,
but should have good overall load-spreading.

28. 28
healthCheckPort
[worker] $ curl localhost:31689
{
"service": {
"namespace": "default",
"name": "test-local"
},
"localEndpoints": 1
}

29. 29
パケットの遷移 – 往路
Kubernetes
LB
ClientA: 10.96.1.1
IKE Gate
src: 10.96.1.1
dst: 172.16.1.1
[172.16.1.1]

30. 30
パケットの遷移 – 往路
Kubernetes
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00::0:10.96.1.1
dst: fd00::0:172.16.1.1 fd00::0:172.16.1.1
src: 10.96.1.1
dst: 172.16.1.1

31. 31
パケットの遷移 – 往路
LB
ClientA: 10.96.1.1
IKE Gate
fd00:1::0
fd00:1::1
fd00:1::2
nodePort: 30575
healthCheckPort: 31689
src: 10.96.1.1
dst: 172.16.1.1
src: fd00::0:10.96.1.1
dst: fd00::0:172.16.1.1
backends: [fd00:1::0]:30575

32. 32
パケットの遷移 – 往路
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00::0:10.96.1.1
dst: [fd00:1::0]:30575
fd00:1::0
fd00:1::1
fd00:1::2
nodePort: 30575
healthCheckPort: 31689
src: 10.96.1.1
dst: 172.16.1.1

33. 33
パケットの遷移 – 往路
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00::0:10.96.1.1
dst: [Pod IP]:[Container Port]
src: 10.96.1.1
dst: 172.16.1.1

34. 34
パケットの遷移 – 復路
LB
ClientA: 10.96.1.1
IKE Gate
src: [Pod IP]:[Container Port]
dst: fd00::0:10.96.1.1
src: 10.96.1.1
dst: 172.16.1.1

35. 35
パケットの遷移 – 復路
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00:1::0
dst: fd00::0:10.96.1.1
src: 10.96.1.1
dst: 172.16.1.1
route: fd00::0:0:0/96 via LB

36. 36
パケットの遷移 – 復路
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00::0:172.16.1.1
dst: fd00::0:10.96.1.1
src: 10.96.1.1
dst: 172.16.1.1
route: fd00::0:0:0/96 via IKE Gate
Kubernetes

37. 37
パケットの遷移 – 復路
LB
ClientA: 10.96.1.1
IKE Gate
src: fd00::0:172.16.1.1
dst: fd00::0:10.96.1.1
src: 10.96.1.1
dst: 172.16.1.1
Kubernetes

38. 38
パケットの遷移 – 復路
LB
ClientA: 10.96.1.1
IKE Gate
src: 172.16.1.1
dst: 10.96.1.1
src: 10.96.1.1
dst: 172.16.1.1
Kubernetes

39. 39