[FEATURE] S3 변경 사항을 감지하는 airflow DAG 만들기 - Githubissues

DEProjTeam07 / coc-pipeline

1 stars 2 forks source link

[FEATURE] S3 변경 사항을 감지하는 airflow DAG 만들기 #22

Closed Kdreamtomaster closed 2 days ago

Kdreamtomaster commented 3 weeks ago

S3 변경 사항을 감지하는 airflow DAG 만들기

[x] S3 변경 사항 감지하는 DAG 작성 -> 작성완료하였습니다.
[x] 추가로 필요한 파이썬 패키지나 프로바이더가 있을경우 Dockerfile 업데이트 -> 따로없었습니다.
[x] DAG Test -> 테스트는 완료했으나 모델링 작업중이셔서 실 데이터로는 하지않았습니다.

Kdreamtomaster commented 3 weeks ago

https://www.restack.io/docs/airflow-knowledge-apache-s3-sensor-keys

Kdreamtomaster commented 2 days ago

전체 기능 구현상 변경점이 많았고 데이터 파이프라인 airflow Dag 이슈로 재생성하여 팔로업 하겠습니다.