Duplicated private-ip problem on multiple regions

itnpeople commented 2 years ago

멀티 리전를 가진 클러스터에서 사설IP 중복으로 인한 Network-CNI 플러그인 오류 (Canal)

$ kubectl logs canal-27g5p -n kube-system -c calico-node

2022-01-11 01:09:35.029 [INFO][8] startup/startup.go 396: Early log level set to info
2022-01-11 01:09:35.030 [INFO][8] startup/utils.go 126: Using NODENAME environment for node name w-34-yvbp4
2022-01-11 01:09:35.030 [INFO][8] startup/utils.go 138: Determined node name: w-34-yvbp4
2022-01-11 01:09:35.030 [INFO][8] startup/startup.go 98: Starting node w-34-yvbp4 with version v3.20.0
2022-01-11 01:09:35.031 [INFO][8] startup/startup.go 401: Checking datastore connection
2022-01-11 01:09:35.054 [INFO][8] startup/startup.go 425: Datastore connection verified
2022-01-11 01:09:35.054 [INFO][8] startup/startup.go 108: Datastore is ready
2022-01-11 01:09:35.090 [INFO][8] startup/startup.go 713: Using autodetected IPv4 address on interface eth0: 192.168.1.234/24
2022-01-11 01:09:35.090 [INFO][8] startup/startup.go 530: Node IPv4 changed, will check for conflicts
2022-01-11 01:09:35.123 [WARNING][8] startup/startup.go 1074: Calico node 'c-2-tguu8' is already using the IPv4 address 192.168.1.234.
2022-01-11 01:09:35.123 [WARNING][8] startup/utils.go 48: Terminating
Calico node failed to start

itnpeople commented 2 years ago

MCIS 에 VPC가 없어 신규 생성 될 경우 멀티리전 VM private-ip 중복 생성
192.168.1.2.....

itnpeople commented 2 years ago

Private-IP 채번

리전 별 (VPC별?) private-ip 가 순서대로 채번
멀티 리전 클러스터 구성 시 private-ip 중복으로 인한 calico-cni 초기화 오류 발생 (canal)
aws, alibaba 와 같이 랜덤 채번되는 CSP 인 경우도 많은 노드를 가진 클러스터 생성 테스트 시 private-ip 중복 되는 경우 발생했음

현상

private-ip 가 auto-dectect 되면서 중복된 private-ip 기준으로 초기화 작업 수행

canal pod CrashLoopBackOff

NAME        STATUS   ROLES    AGE     VERSION   INTERNAL-IP      
c-1-du8cm   Ready    master   3m30s   v1.18.9   34.64.166.23     192.168.1.4    CrashLoopBackOff    asia-northeast3-a
c-2-43ma6   Ready    master   100s    v1.18.9   34.64.127.122    192.168.1.6                        asia-northeast3-a
c-3-qe3xv   Ready    master   2m47s   v1.18.9   34.64.118.242    192.168.1.5                        asia-northeast3-a
w-1-1om46   Ready    <none>   77s     v1.18.9   34.85.53.244     192.168.1.6    CrashLoopBackOff    asia-northeast1-a
w-2-krz7c   Ready    <none>   72s     v1.18.9   35.200.50.32     192.168.1.4                        asia-northeast1-a
w-3-kaw7h   Ready    <none>   63s     v1.18.9   104.198.95.173   192.168.1.5                        asia-northeast1-a

itnpeople commented 2 years ago

Kilo cni 경우 대량 노드 클러스터 생성 후 일정 시간 이후 클러스터가 shutdown 되는 현상 원인이 노드수의 문제가 아니라 private-ip 중복 문제일 수 있을것으로 추정됨
확인 필요

itnpeople commented 2 years ago

Kilo cni private-ip 중복 확인 사항

flannel 사용 설치 후 정상 동작 하나 kilo 설치 후 api-server 셧다운 현상 발생
kilo 설치 제거하면 셧다운 되었던 api-server 정상으로 회복됨
확인 CSP : azure, gcp
kilo 설치하면 아래와 같이 각 노드별 private-ip별로 default I/F 를 kilo0 I/F 로 라우팅테이블을 변경하면서 서로다른 CSP 의 동일한 private-ip 가 충돌하여 라우팅 테이블이 꼬이는 현상 발생하는 것으로 예상됨

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.1.1     0.0.0.0         UG    100    0        0 ens4
10.4.0.0        0.0.0.0         255.255.0.0     U     0      0        0 kilo0
10.244.2.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.1.1     0.0.0.0         255.255.255.255 UH    100    0        0 ens4
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.1.1     0.0.0.0         UG    100    0        0 ens4
10.4.0.0        0.0.0.0         255.255.0.0     U     0      0        0 kilo0
10.244.0.0      10.4.0.1        255.255.255.0   UG    0      0        0 kilo0
10.244.2.0      10.4.0.2        255.255.255.0   UG    0      0        0 kilo0
10.244.3.0      10.4.0.4        255.255.255.0   UG    0      0        0 kilo0
10.244.4.0      10.4.0.5        255.255.255.0   UG    0      0        0 kilo0
10.244.5.0      10.4.0.6        255.255.255.0   UG    0      0        0 kilo0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.1.1     0.0.0.0         255.255.255.255 UH    100    0        0 ens4
192.168.1.2     10.4.0.2        255.255.255.255 UGH   0      0        0 kilo0
192.168.1.4     10.4.0.1        255.255.255.255 UGH   0      0        0 kilo0
192.168.1.5     10.4.0.5        255.255.255.255 UGH   0      0        0 kilo0
192.168.1.6     10.4.0.6        255.255.255.255 UGH   0      0        0 kilo0
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.1.1     0.0.0.0         UG    100    0        0 ens4
10.4.0.0        0.0.0.0         255.255.0.0     U     0      0        0 kilo0
10.244.0.0      0.0.0.0         255.255.255.0   U     0      0        0 cni0
10.244.2.0      10.4.0.2        255.255.255.0   UG    0      0        0 kilo0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
192.168.1.1     0.0.0.0         255.255.255.255 UH    100    0        0 ens4
192.168.1.2     10.4.0.2        255.255.255.255 UGH   0      0        0 kilo0

cloud-barista / cb-ladybug

Duplicated private-ip problem on multiple regions #123