[FEATURE] DataPipeline 전체적으로 Dag 으로 구성하기

[Kdreamtomaster]

• [x] 출발지 S3의 최신 변경 사항을 감지후(DB 기록 사항과 비교) 부분 작성

• [x] 목적지 S3에 COPY 부분 작성

• [x] 목적지의 신규 데이터 경로 DB에 insert 부분 작성

• [x] Spark가 데이터를 받아서 train.json, test.json을 수행하는 Application 실행 부분 작성

• 7 이슈에 구현사항 있으나 다시 언급하였습니다.

• [x] 최신 변경 사항 없을 시 분기 처리하여 곧바로 DAG 종료 부분 작성

[Kdreamtomaster]

해당 부분 테스트 결과 스크린 샷은 아래 링크에서 확인하시면 됩니다.

테스트 과정 및 결과