[Spark] Spark Job Submit

[hooniegit]

스파크 작업은 zeppelin에서 연습하는 편이 좋지만, 반복되는 기능은 python 스크립트에 말아놓고 불러다 쓰고 싶을 때가 있어요. 그럴 때, python 스크립트를 job의 형태로 Spark에 보내줄 수 있습니다! 그 방법을 소개합니다.

🗒️ pyspark-submit.sh

메모리와 코어 수는 개인의 컴퓨터 상황에 맞게 적절히 조정해서 사용하세요 :) 요지는 'spark-submit'에게 python 스크립트를 던져주는 것입니다.

#!/bin/bash

SPARK_FILE="$1"

/Users/kimdohoon/app/spark/spark-3.2.4-bin-hadoop3.2/bin/spark-submit \
--master spark://neivekim76.local:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
$SPARK_FILE

실행 예시

# python 스크립트의 이름이 'sparkjob.py'인 경우!
$ ./pyspark-submit.sh sparkjob.py