[Feature] airflow를 통한 전반적인 DataPipeline Dag 구성

[Kdreamtomaster]

변경사항

• 기존에 Txt 기반으로 최신 데이터 비교하던 함수부분을 DB를 활용하는 부분으로 변경 기존에는 출발지와 목적지에서의 데이터 폴더 명이 같다고 전제하에 새로운 데이터 식별을 하였으나 헷갈릴 수 있다는 의견이 있어 다르게 구상 하였고, 관련하여 함수 수정이 있었습니다.

docker-compose.yaml 의 52 번째줄 image: airflow_210_custom:3.0 의 경우 같은 경로의 Dockerfile을 이용하여 빌드 하실때 tag 옵션주셔서 생성하시면 됩니다.

[wwkler]

Airflow DAG TASK를 만드는 부분에서

  # 기존의 t2, t3, t4 태스크를 process_new_folder_task에 연결
  t2.set_upstream(process_new_folder_task)
  t3.set_upstream(t2)
  t4.set_upstream(t3)
  # Task 순서 설정
  t1 >> branch_task
  branch_task >> no_new_folder_task
  branch_task >> process_new_folder_task

작성하셨는데

  # Task 순서 설정
  t1 >> branch_task
  branch_task >> no_new_folder_task
  branch_task >> process_new_folder_task

  # 기존의 t2, t3, t4 태스크를 process_new_folder_task에 연결
  t2.set_upstream(process_new_folder_task)
  t3.set_upstream(t2)
  t4.set_upstream(t3)

이렇게 하는게 가시적으로 이해하게 쉬울 것 같다는 생각을 합니다.