[Spark] Local 환경에서 Spark 실행하기

[hooniegit]

로컬 환경에서 스파크를 실행하는 방법과 명령어들을 소개합니다 :)

🗣️ bash 커맨드

$ /Users/kimdohoon/app/spark/spark-3.2.4-bin-hadoop3.2/sbin/start-master.sh
# 대시보드에서 spark 호스트 주소 확인하기(예: spark://neivekim76.local:7077)

$ /Users/kimdohoon/app/spark/spark-3.2.4-bin-hadoop3.2/sbin/start-worker.sh\
   spark://neivekim76.local:7077 \
   -m 1g

🗒️ run-spark.sh

위에서 입력했던 커맨드들을 스크립트로 말아서 한번에 실행할 수 있어요!

#!/bin/bash
# run master
/Users/kimdohoon/app/spark/spark-3.2.4-bin-hadoop3.2/sbin/start-master.sh

# run worker
/Users/kimdohoon/app/spark/spark-3.2.4-bin-hadoop3.2/sbin/start-worker.sh \
spark://neivekim76.local:7077 \
-m 1g

실행 예시

$ ./run-spark.sh