search

Swalloow / Swalloow.github.io

Swalloow Blog
http://swalloow.github.io
2 stars 0 forks source link

spark-on-kubernetes-scheduler/ #16

Open utterances-bot opened 1 year ago

utterances-bot commented 1 year ago

Spark on Kubernetes: 커스텀 스케줄러 | Swalloow Blog

Spark 3.4 버전부터 Customized K8S Scheduler 기능이 GA 되었습니다 👏🏻 그래서 오늘은 커스텀 스케줄러가 왜 필요하고 어떻게 적용할 수 있는지 정리해보려고 합니다. Spark Kubernetes Scheduling spark-k8s 쿠버네티스 환경에서 spark-submit을 실행하면 pod가 실행되는 순서는 다음과 같습니다. spark-submit 명령어 실행 Kube API를 통해 driver pod 생성 driv

https://swalloow.github.io/spark-on-kubernetes-scheduler/

whitelips commented 1 year ago

전통적인 pool 을 만들어서 리소스를 확보하고 나누는 방식이 여기서도 유효한 스케줄링으로 동작한다는 내용이군요. 흥미롭게 읽었습니다. 다음 내용도 기대할게요.

ssup2 commented 1 year ago

안녕하세요. 요즘에 Spark on Kubernetes에 관심이 많아 이것저것 공부하면서 정리중인데, 관련 내용들 정리해두신게 많아서 많이 배워갑니다. 감사합니다!