seoyeong200
commented
2 weeks ago 논의 필요
A/B로 구분해두는게 필요한가?- spark history server 가 필요한가?
- spark monioring official docs guide
- spark ui 에서 확인할 수있는 정보들의 lifespan이 application 구동되는 동안으로 한정적이기 때문에, history server 구동해서 spark event(both completed and incompleted)를 영구 스토리지에 materialized 하면 좋을거라 생각
- 현재 base image 로 사용하는 bitnami spark image의 entrypoint로 사용되는 shell script가 상위 베이스 이미지 자체에 빌드되어있는데, spark-master, spark-worker만 지원.
- 이것만 지원하는 이유가 있을 것 같습니다. spark event 데이터 자체도 물리적으로 저장하는게 사실 거의 취하는 방식이 아니라는 생각이 듭니다.
- spark base image를 어떤 솔루션으로 가져갈지도 정할때에 의견 있으시다면 공유해주기를 바랍니다.
- jvm 이미지에 직접 spark 환경 구성하고 커스텀할지, 인터넷에 있는 솔루션 사용할지?
- jvm 기반으로 직접 dockerfile 작성
- 이 경우도 레퍼런스로 사용할 수 있는 레포 많이 있음
- eg. https://github.com/mvillarrealb/docker-spark-cluster/tree/master
- or just use built image
bitnami/sparkimage - most popular, docker hub dockerfiledelta lake- the environment connected to delta lake is set up already, can read data from delta. docker hub, dockerfile- 추가 더 조사 필요
robert-min
요건 파악
Local Spark 활용을 위한 Docker 구축
: local 환경에서 개인이 spark를 사용해 데이터를 다뤄볼 수 있도록 docker desktop 사용하여 docker container로 패키징된 spark application, jupyter notebook, aws등 인프라에 연결 가능한 환경 개발
정리
A. (Local mode) Notebook에서 스파크를 이용한 데이터 처리 코드를 interactive하게 실행하고 실습하기 위한 환경
B. (Cluster mode - standalone) spark-submit으로 스크립트 제출하여 spark job을 실행시키는 환경
환경 분리 context
기존 컴포즈 파일 의 경우
master,workerspark-cluster와jupyter컨테이너를 띄워서 주피터 상에서 spark-cluster 내의 스파크 엔진을standalone cluster mode로 사용하게끔 설정이 되어있습니다.하지만 jupyterlab 컨테이너 자체에도 spark 가 설치되어있기 때문에, 노트북으로 실습하는 용도로 환경을 구성하는데에 spark-master, spark-worker도 함께 빌드하는게 불필요하다고 판단했습니다. 따라서 단순 pyspark 코드가 실행되는지 실습할때에는 (A)jupyterlab 컨테이너만 띄워 local mode(no cluster manager) 로 학습 및 개발이 진행되고, (B)클러스터의 경우 별도로(docker-compose_prod_test.yml) 띄울 수 있게끔 분리해두면 작업이 더 가벼워질 것이라 생각했습니다.
추가적으로 해당 컴포즈 파일이 실제 작업에 사용하는 pc의 사양에서 사용하기에 메모리 점유가 높아 작업이 실패한다는 케이스가 있었습니다. jupyter 작업 환경을 최대한 가볍게 가져간다면 해당 문제 또한 해결될 것이라 기대합니다.
🔗 관련 링크
📌 진행상황