cannot run program "python3": error=2, no such file or directory
...PySpark cannot run with different minor versions.Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
발생 원인
spark 환경 설정에 python버전이 명시되어있지 않거나 명시된 버전과 실제 spark를 구동한 python 버전이 다를 경우.
해결 방법
/conf/spark-env.sh 에 python 버전에 대한 spark 환경 변수
**export PYSPARK_PYTHON=/home/hadoop/miniconda3/bin/python** 를 기입한다.
PYSPARK_PYTHON은 드라이버와 작업자 모두에서 PySpark에 사용할 바이너리 실행 파일로 기본값이 python3 이다.
(AWS - EC2) 하둡 - 스파크 환경 설정 이후 RDD 테스트 시 에러 발생
에러 메시지
발생 원인
해결 방법
[참고] https://github.com/polynote/polynote/issues/615