KubeShare: A Framework to Manage GPUs as First-Class and Shared Resources in Container Cloud

[msyhu]

어떤 내용의 논문인가요? 👋

• 쿠버네티스는 CPU, memory 뿐만 아니라 다른 자원들도 Device plugin 으로 지원한다. 하지만, 이런 외부 자원의 경우 fractional allocation 을 허용하지 않는다. 이것은 낮은 GPU utilization 으로 이어진다.
• KubeShare 는 쿠버네티스가 GPU 자원을 fine-grained 하게 사용할 수 있도록 1급 클래스 자원 관리(first-class resource management) 를 해 준다. 이 때 first-class resource 란 리소스 엔티티가 확실하게 구분되고 resource manager 와 user 양 쪽에서 선택될 수 있는 것을 말한다. (주. 컨테이너 사이에 GPU 자원을 확실하게 interference 없이 isolation 할 수 있다는 것을 말하는 것 같다.)
• KubeShare 는 유저들이 locality 제약(affinity?) 를 지정해서 resource contention을 최소화시켰다.

Abstract (요약) 🕵🏻‍♂️

Container has emerged as a new technology in clouds to replace virtual machines (VM) for distributed applications deployment and operation. With the increasing number of new cloud-focused applications, such as deep learning and high performance applications, started to reply on the high computing throughput of GPUs, efficiently supporting GPU in container cloud becomes essential. While GPU virtualization has been extensively studied for VM, limited work has been done for containers. One of the key challenges is the lack of support for GPU sharing between multiple concurrent containers. This limitation leads to low resource utilization when a GPU device cannot be fully utilized by a single application due to the burstiness of GPU workload and the limited memory bandwidth. To overcome this issue, we designed and implemented KubeShare, which extends Kubernetes to enable GPU sharing with fine-grained allocation. KubeShare is the first solution for Kubernetes to make GPU device as a first class resources for scheduling and allocations. Using real deep learning workloads, we demonstrated KubeShare can significantly increase GPU utilization and overall system throughput around 2x with less than 10% performance overhead during container initialization and execution.

이 논문을 읽어서 무엇을 배울 수 있는지 알려주세요! 🤔

레퍼런스의 URL을 알려주세요! 🔗

https://dl.acm.org/doi/pdf/10.1145/3369583.3392679

오픈소스가 있다면 주소를 써 주세요!

https://github.com/NTHU-LSALAB/KubeShare

[msyhu]

Motivation

Resource Fragmentation

단순 round robin 방식으로 GPU를 할당하면 overcommit 과 undercommit 문제가 같이 발생한다. 따라서 locallity 를 고려하며 GPU를 1급 클래스 자원(리소스 엔티티가 확실하게 구분되고 resource manager 와 user 양 쪽에서 선택될 수 있는 것?) 으로 다루어야 위 문제를 고려할 수 있다.

Implicit and Late Binding

kubelet 이 GPU를 바인딩하게 할 경우 kubelet 말고는 아무도 pod-to-GPU binding 에 관여하지 못한다. 따라서 GPU를 다루고 바인딩 할 수 있는 새로운 모듈을 개발한다.

Requirements

• fine-grained allocation : GPU도 소숫점으로 할당할 수 있어야 한다.
• resource isolation : GPU의 컴퓨팅 시간, 메모리로 컨테이너 간 격리시킬 수 있어야 한다.
• locality awareness : interference를 줄이기 위해 GPU와 컨테이너 바인딩 위치를 조절할 수 있어야 한다.

[msyhu]

Method

• sharePod : GPU를 할당받은 pod
• vGPU Pool : KubeShare 가 GPU를 논리적으로 분할한 vGPU 들을 관리하는 Pool.
• KubeShare-Sched : client 요청에 따라 vGPU pool에서 vGPU를 선택하고 container와 맵핑 결정을 내리는 모듈.
• KubeShare-DevMgr : 스케줄러의 결정에 따라 실제로 sharePod을 생성하는 모듈.
• vGPU Device Library : 워커노드에서 GPU 관련 명령을 인터셉트해서 각 컨테이너를 Isolate 하고 throttle(조절?) 하는 모듈.

[msyhu]

Experiment