[FEATURE] S3 변경 사항을 감지하는 airflow DAG 만들기

[Kdreamtomaster]

22

코드가 작동하는 전제 상황

• 출발지 s3 옮기는 폴더와 목적지 s3로 받는 폴더의 디렉토리 구조는 같다
• ver{n+1} 의 데이터는 항상 ver{n} 의 데이터를 포함한다.

현재 코드의 경우 별도의 DB를 만들어서

path: 디렉토리 이름(최상위 경로만) created_at: 옮겨진 시간 으로 관리

출발지 s3 에서 가장 최근에 생성된 버전의 이름 뒤 숫자를 통해 마지막으로 올라간 버전을 db로 통하여 비교하여 s3 복제를 하는 방식입니다.

[Kdreamtomaster]

Merge가 되기전 기능적으로 수정사항이 많아 클로즈 후 재생성 하겠습니다.