[CONFIG] Spark 구성

[wwkler]

• 목표 : Kafka Broker에 있는 최근 폴더 이름 path를 Spark가 받아서 하위 경로에 있는 이미지를 참고해서 train, test에 대한 메타 데이터를 만든다.

  • 할 일
  • [x] : EC2 서버 3대에 Spark Cluster를 구성한다.
  • [x] : Spark Submit을 통해 Job을 제출할 떄 수행하는 .py 파일의 내용을 만든다.
  • [x] : Airflow DAG를 만들어서 자동적으로 Spak Submit Job 제출을 해서 .py 파일을 돌아가도록 만든다.
  • [x] : Kafka로부터 최근 폴더 이름 path를 받아서 Spark Submit Job 제출을 해서 .py 파일이 돌아가도록 한다.