fix: Duplicated private-ip problem on multiple VPCs

[itnpeople]

현상

• 멀티 VPC 를 환경에 설치되는 클러스터 생성 시 network-cni 설치 후 etcd shutdown 되는 현상 발생
• 이슈 : #123

원인

• VM의 private-ip 중복으로 인한 network-cni 오동작이 원인
• VM IP 채번 방식 (Tumblebug)
  • VPC 생성 요청 시 지정된 cidr-block 내에서 채번
  • 채번방식 2종 - 랜덤 채번 방식은 AWS, Alibaba, 순서 채번 방식은 GCP, Azure, Tencent, IBM
  • 순서 채번 방식은 IP가 순서대로 증가 (192.168.1.2, 192.168.1.3, 192.168.1.4, .....)
• 동일한 cidr-block 로 지정된 멀티 VPC(멀티 리전 or CSP)로 클러스터를 구성할 경우 채번방식에 따라 VM들의 private-ip 중복될 가능성

검증 및 검토

• Canal 인 경우 해당 네트워크 오버레이의 노드 IP를 public-ip 로 detect 되도록 지정하면 문제 해결
  • calico : kubectl annotate node {{HOSTNAME}} projectcalico.org/IPv4Address=${PUBLIC_IP}
  • flannel : kubectl annotate node {{HOSTNAME}} flannel.alpha.coreos.com/public-ip-overwrite=${PUBLIC_IP}
• Kilo 경우는 private-ip 중복되면 반드시 문제 발생
  • VPC 생성 시 중복되지 않는 cidr-block 지정 필요

처리방법

• Canal은 private-ip 중복되어도 상관 없도록 처리
• Kilo는 동일 private-ip 가 지정될 경우는 해결방법이 없으므로 VPC 생성 시 cidr-block이 중복되지 않도록 처리
• cidr-block 중복 제거 방법
  • CSP별 cidr-blcok 범위를 지정하여 CSP별 cidr-block 중복 가능성 제거
  • AWS : 192.168.10.0/24 ~ 192.168.19.0/24
  • GCP : 192.168.20.0/24 ~ 192.168.29.0/24
  • Azure : 192.168.30.0/24 ~ 192.168.39.0/24
  • Alibaba : 192.168.40.0/24 ~ 192.168.49.0/24
  • Tencent : 192.168.50.0/24 ~ 192.168.59.0/24
  • IBM : 192.168.60.0/24 ~ 192.168.69.0/24
  • OpenStack : 192.168.70.0/24 ~ 192.168.79.0/24
  • cidr-block 은 해당 10개 범위 내에서 랜덤하게 지정되도록 하여 중복 확률 낮춤
• 단일 CSP + 멀티 VPC 클러스터를 구성 시
  • 낮은 확률로 private-ip 중복 가능성 있음
  • IP 중복 최대 확률은 1% 예상 - 순서 채번 방식의 CSP(GCP,Azure, Tencent, IBM)에서 멀티 리전 VCP가 최초 생성되는 경우
  • 33개 이상 노드 클러스터 운영시는 Canal 선택을 권장

추가 수정

• haproxy.cfg 에서 LB 되는 서버 목록이 public-ip 로 지정된 부분 수정 > private-ip로 변경
• bootstrap.sh package 설치 시 output 내용 조정
  • debconf 로그 제거
• network-cni 설치 순서를 node labels & annotations 지정 이후로 변경
• 소스 개선
  • 중복 상수 제거
  • bootstrap.sh region 파라메터 제거

Tested with

• CB-Spider (https://github.com/cloud-barista/cb-spider/releases/tag/v0.5.0)
• CB-Tumblebug (https://github.com/cloud-barista/cb-tumblebug/releases/tag/v0.5.0)
• 주요내용
  • gcp, azure, ibm 3개 CSP 총 7개 노드 기준 시험
  • Create a Cluster, Add nodes 처리 > 정상처리
  • etcd, api-server 정상동작 모니터링 > 확인완료
  • 멀티 CSP 노드 간 통신 > 확인완료

[joowons]

추가 테스트 완료

• gcp, ibm, azure, alibaba, aws, tencent 6개 CSP 5개 노드 기준 확인
• create cluster , add node 생성 확인
• etcd, api-server 정상동작 확인

Tested with

• CB-Spider (https://github.com/cloud-barista/cb-spider/releases/tag/v0.5.0)
• CB-Tumblebug (https://github.com/cloud-barista/cb-tumblebug/releases/tag/v0.5.0)

[itnpeople]

Big nodes 클러스터에서 CNI 플러그인별 테스트 결과

• Kilo
  • 33개 초과 노드 클러스터 생성 시 네트워크 구성 실패로 클러스터 shutdown 현상 발생
  • Logical-Groups 토플로지 방식을 사용하면 정상적으로 네트워크 구성되어 클러스터 shutdown 현상은 없으나 멀티 리전 노드 간 데이터 송수신 문제로 활용 불가
• Canal
  • 33, 35, 43, 53 노드 클러스터 생성에서 네트워크 구성 및 멀티 리전 노드간 데이터 송수신 문제 없음

Create a Cluster 네트워크 CNI 설정 파라메터 권장사항 : 33개를 초과하는 노드로 구성되는 클러스터의 경우 반드시 네트워크 CNI를 canal 로 지정