[Feature] Spark 구현

[wwkler]

이슈번호 : #7

목표 : Kafka Broker에 있는 최근 폴더 이름 path를 Spark가 받아서 하위 경로에 있는 이미지를 참고해서 train, test에 대한 메타 데이터를 만든다.

할 일:

• [x] : EC2 서버 3대에 Spark Cluster를 구성한다.
• [x] : Spark Submit을 통해 Job을 제출할 떄 수행하는 .py 파일의 내용을 만든다.
• [x] : Airflow DAG를 만들어서 자동적으로 Spak Submit Job 제출을 해서 .py 파일을 돌아가도록 만든다.
• [x] : Kafka로부터 최근 폴더 이름 path를 받아서 Spark Submit Job 제출을 해서 .py 파일이 돌아가도록 한다.

추가 작성

• [x] : Spark Monitoring 사전 설정 파일 추가, 그리고 Prometheous와 Grafana를 이용해서 Spark에 대한 지표를 어떻게 수집하고 시각화 할 수 있는지에 대한 방법론 제공

[wwkler]

@Kdreamtomaster 넵 그렇습니다. docker exec {컨테이너명} /opt/bintami/spark/sbin/spark-history-server.sh를 하던지

아니면 컨테이너 내부에 진입해서 /opt/bintami/spark/sbin/spark-history-server.sh를 하시면 되겠습니다.