feat: Airflow

[quasar529]

Description

• 유저 데이터를 사용한 재학습 파이프라인 구축 위해 airflow 구현

  Details

• 현재까지 2가지 dag 구상 중

  • 일정 주기마다 cloud storage 연결해서 데이터 다운로드 & Mongo DB에서 inference 데이터 다운로드 -> 데이터로 모델 학습

  • 이 때 고민이, 파일 모두 다운 받는 건 비효율적일 것 같아서, 기준 정해서 일정 기간 이후 데이터만 다운 받게 만들 수 없나 생각 중

  • 일정 기간 지나면 cloud storage에 있는 데이터 삭제

Reference / Image

https://www.notion.so/AIRFLOW-d388aac344884a8ebde1007eae8f78b5

[quasar529]

Train DAG