RDD 테스트 에러 - Githubissues

plus1250-project / joba-Data

0 stars 1 forks source link

RDD 테스트 에러 #3

Closed MaryYoungae closed 2 years ago

MaryYoungae commented 2 years ago

(AWS - EC2) 하둡 - 스파크 환경 설정 이후 RDD 테스트 시 에러 발생

에러 메시지

cannot run program "python3": error=2, no such file or directory
...PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

발생 원인

spark 환경 설정에 python버전이 명시되어있지 않거나 명시된 버전과 실제 spark를 구동한 python 버전이 다를 경우.

해결 방법

/conf/spark-env.sh 에 python 버전에 대한 spark 환경 변수 **export PYSPARK_PYTHON=/home/hadoop/miniconda3/bin/python** 를 기입한다.
PYSPARK_PYTHON은 드라이버와 작업자 모두에서 PySpark에 사용할 바이너리 실행 파일로 기본값이 python3 이다.

[참고] https://github.com/polynote/polynote/issues/615