[Dev] cluster api workflow template 생성

[bluejayA]

Describe the Story

- [ ] A clear and concise description of what this story is.

기존 내용

• cluster-api-aws 차트를 이용하여 aws에 cluster를 생성한다. (TACODEV-908)
  • subnet binding 값을 가져와서 +machine pool에 넣어준다+ (TACODEV-911연관)
  • machine pool manifest 를 치환? 
  • decapod-base에서 argo-cd 의 argo-cd values 최상단 값 override 형식이 있어서.. 이걸 사용? [Parameter Overrides - Argo CD - Declarative GitOps CD for Kubernetes (argoproj.github.io)|https://argoproj.github.io/argo-cd/user-guide/parameters/]
  • 혹은, 이 부분은 helm chart + argo cd?  (chart value를 직접 업데이트)
  • workflow에서 helm template명령으로 manifest를 만들어 manifest repository에 넣어주는 방식? 
• cluster api provisioning이 끝나면 plugin도 설치한다.
• tks-cluster-lcm 서비스에 installation status를 갱신해야한다. (별도 workflow template으로 만들어서 활용)
• label 지정, node의 경우 (cluster-lcm에서?)
  • 3대를 전용 노드로 사용
  • 용도
    • LMA 노드
    • Ingress 컨트롤러 노드
    • Service-mesh 노드
  • taco-lma=enabled
  • taco-servicemesh=enabled
  • taco-ingress-gateway=enabled
  • taco-egress-gateway=enabled
  • taco-ingress-controller=enabled
• Ingress Controller 설치 (service type : node port)
  • [https://github.com/kubernetes/ingress-nginx/tree/main/charts/ingress-nginx]

08-18일 추가

• k8s cluster를 cluster api를 통해 만들고
  • 이것 끝났음을 어떻게 확인해서 넣어주나? 
  • job으로 만들어 cluster의 provisioning 상태를 지속적으로 확인? 보다는 아래와 연결하는 것도?
• cni, csi (플러그인) 을 배포하고
  • 하나의 wf에서 helm 배포 클러스터를 여러개로 나눌 수 있나?
• 임의의 3개 워크노드를 지정하여 라벨링 해주고
  • 이건 해주도록 하는 job?
  • 그냥 wf에서도 할수 있을거 같고
• ingress-controller 설치

Acceptance criteria (Validation Scenario)

- [ ] This is something that can be verified to show that this story is satisfied. - [ ] This should have information for QA to validate this story.

산출물

• Workflow Template
• Workflow Template 문서화

Additional information (Optional)

[intelliguy]

Gitops로 k8s 배포하면서 발견한 것과 봉착한 문제점

• 명명규칙이 존재해 아무 이름이나 cluster명으로 사용하면 안됨
• gitops로 저장하고 뭔가 변경하면서 클러스터에 직접 영향이 돌아감 -- resource의 namespace를 변경하니... tks-admin에 resource 이동이 발생하고 -- 이에 따라 aws에 신규 vpc 및 관련 자원들이 새로 생성됨 -- 기존 자원에 대비해 만들어졌던 애들이 삭제되는지 남아있는지 등은 명일 확인이 필요함..