Calico(vxlan) Cross-CSP 설치 검토

검토 배경

해당 PR에서 Calico 설치 문제 없으나 Cross-CSP 환경에서 노드간 통신이 안되는 현상이 발견되어 수동 설치 테스트를 진행

검토 환경

Calico 테스트 버전 : 3.22.0, 3.22.2
멀티 CSP : AWS + GCP (tokyo 리전)
VXLAN 라우팅 적용, BGP 라우팅 방식은 고려 안함(Azure IP-in-IP 지원안함)
VXLAN calico/node 설정 (DaemonSet 환경변수)
- CLUSTER_TYPE : "k8s"
- IP : ""
- CALICO_NETWORKING_BACKEND : "vxlan"
- CALICO_IPV4POOL_IPIP : "Never"
- CALICO_IPV4POOL_VXLAN : "Always"
- CALICO_IPV4POOL_CIDR : "10.244.0.0/16"
- CALICO_IPV4POOL_BLOCK_SIZE : "24"
노드 어노테이션 "projectcalico.org/IPv4Address" 에 해당 노드의 공인IP 값 지정

설치 현황 -> 노드 간 통신 불가.

route
- Pod Cidr 각각 10.244.122.0/24, 10.244.124.0/24 로 지정됨
- Tunneling iface "vxlan.calico"
- iface "cali..." 는 Pod IP

# 노드 #1 (AWS, 54.64.9.64/192.168.10.28)
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         _gateway        0.0.0.0         UG    100    0        0 eth0
10.244.122.0    0.0.0.0         255.255.255.0   U     0      0        0 *
10.244.122.1    0.0.0.0         255.255.255.255 UH    0      0        0 calia9693f7b251
10.244.124.0    10.244.124.0    255.255.255.0   UG    0      0        0 vxlan.calico
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.10.0    0.0.0.0         255.255.255.0   U     0      0        0 eth0
_gateway        0.0.0.0         255.255.255.255 UH    100    0        0 eth0

# 노드 #2 (GCP, 35.189.140.156/192.168.29.28)
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         _gateway        0.0.0.0         UG    100    0        0 ens4
10.244.122.0    10.244.122.0    255.255.255.0   UG    0      0        0 vxlan.calico
10.244.124.0    0.0.0.0         255.255.255.0   U     0      0        0 *
10.244.124.1    0.0.0.0         255.255.255.255 UH    0      0        0 cali140ea26fc35
10.244.124.2    0.0.0.0         255.255.255.255 UH    0      0        0 cali4ab1529590f
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
_gateway        0.0.0.0         255.255.255.255 UH    100    0        0 ens4

다른 노드의 Pod IP로 ping 확인 -> Pending

# 노드 #1 (AWS, 54.64.9.64/192.168.10.28)
ping 10.244.124.1

# 노드 #2 (GCP, 35.189.140.156/192.168.29.28)
ping 10.244.122.1

네트워크 및 라우팅 체크

ip -d link show vxlan.calico
- vxlan.calico iface 는 vxlan 공인IP로 지정됨 (projectcalico.org/IPv4Address 어노테이션)

# 노드 #1 (AWS, 54.64.9.64/192.168.10.28)
8: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8951 qdisc noqueue state UNKNOWN mode DEFAULT group default
    link/ether 66:f6:10:93:e0:06 brd ff:ff:ff:ff:ff:ff promiscuity 0
    vxlan id 4096 local 54.64.9.64 dev eth0 srcport 0 0 dstport 4789 nolearning ttl inherit ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535

# 노드 #2 (GCP, 35.189.140.156/192.168.29.28)
9: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UNKNOWN mode DEFAULT group default
    link/ether 66:09:ac:35:3b:2d brd ff:ff:ff:ff:ff:ff promiscuity 0
    vxlan id 4096 local 35.189.140.156 dev ens4 srcport 0 0 dstport 4789 nolearning ttl inherit ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535

ip neigh show | grep vxlan.calico + bridge fdb | grep vxlan.calico
- APR, FDB 에서 MAC 주소 동일 여부 확인
- FDB destionation 공인IP 지정

# 노드 #1 (AWS, 54.64.9.64/192.168.10.28)
10.244.124.0 dev vxlan.calico lladdr 66:09:ac:35:3b:2d PERMANENT
66:09:ac:35:3b:2d dev vxlan.calico dst 35.189.140.156 self permanent

# 노드 #2 (GCP, 35.189.140.156/192.168.29.28)
10.244.122.0 dev vxlan.calico lladdr 66:f6:10:93:e0:06 PERMANENT
66:f6:10:93:e0:06 dev vxlan.calico dst 54.64.9.64 self permanent

ip link show

노드 #1에서 노드 #2의 FDB 의 MAC "66:f6:10:93:e0:06" 여부 확인

노드 #2에서 노드 #1의 FDB 의 MAC "66:09:ac:35:3b:2d" 여부 확인


# 노드 #1 (AWS, 54.64.9.64/192.168.10.28)
8: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8951 qdisc noqueue state UNKNOWN mode DEFAULT group default
link/ether 66:f6:10:93:e0:06 brd ff:ff:ff:ff:ff:ff

노드 #2 (GCP, 35.189.140.156/192.168.29.28)

9: vxlan.calico: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1410 qdisc noqueue state UNKNOWN mode DEFAULT group default link/ether 66:09:ac:35:3b:2d brd ff:ff:ff:ff:ff:ff



### flannel vxlan 설정과 비교

* 위에서와 같이 calico 의 경우 vxlan iface "vxlan.calico" 에  공인IP로 지정되어 있으나 flannel vxlan 환경에서 vxlan iface "flannel.1" 는 사실IP로 지정되어 있음 확인

itnpeople commented 2 years ago

Calico 설치 및 Ping 테스트 결과

CSP	라우팅	IPv4Address	설치	`ping`	비고
Cross-CSP	VXLAN	private-ip	O	X
Cross-CSP	VXLAN	public-ip	O	X
Cross-CSP	BGP	private-ip	X	.	calico/node 컨테이너가 시작되지 못함 ( 0/1 Running)
Cross-CSP	BGP	public-ip	X	.	(상동)
Single-CSP	VXLAN	private-ip	O	O
Single-CSP	VXLAN	public-ip	O	X
Single-CSP	BGP	private-ip	O	O
Single-CSP	BGP	public-ip	X	.	calico/node 컨테이너가 시작되지 못함 ( 0/1 Running)

vxlan, bgp 모두 Single CSP + private-ip 인 경우만 설치 및 Pod 라우팅 가능.
projectcalico.org/IPv4Address 어노테이션에 Public-IP를 지정한 경우
- bgp 인 경우 Single/Cross CSP 모두 설치 불가.
- vxlan 인 경우 Cross/Single CSP 모두 설치 가능하지만 bird 프로세스가 liveness 에서 제외 되었기 때문일 수 있음.

결론 (권장)

MCKS는 각 노드의 Internal-IP를 Public-IP로 지정하여 운영되는 형태.
flannel(canal)은 iface(flannel.1) 을 통해 Cross-CSP 노드 간 공인IP(flannel.alpha.coreos.com/public-ip)로 vxlan 터널링하는 간단한 L2기반 구조.
하지만 Clico(vxlan)는 L3기반 내부 Linux 라우팅 메커니즘을 가지고 있어서 Cross-CSP 에서 운영 불가한 것으로 보임.
Calico에서 vxlan 라우팅은 3.7 이상부터 지원되는것으로 명시되어 있으나 CrossSubnet 노드간 통신이 가능한 환경에서만 적용 가능한 것으로 판단.
MCKS(Public-IP 운영 구조) 에서는 Network-CNI로 Calico 를 활용하고자 할 때 Canal 사용 권장.

새부참조

https://github.com/itnpeople/cb-mcks-lab/tree/master/testing/docs/220428-calico-vxlan

cloud-barista / cb-ladybug

feat: add network cni calico #133