log파일 생성 및 저장 완료

[hahahellooo]

3분마다 Airflow가 동작하도록 하여 중복 데이터 없이 log 파일 생성 및 저장 완료 했습니다.

log 파일

[GITSangWoo]

시간이 된다면 로그 파일을 airflow가 돌린 시간별로 남기고 두번째 airflow가 남긴 로그파일들을 순서대로 처리할 수 있게 만들수 있었으면 좋겠습니다. 그렇게 하면 왠지 실시간으로 파일들을 처리하는 느낌도 줄 수 있을 것 같습니다.

[hamsunwoo]

에어플로우 branchOperator를 사용은 어떠신가요??!!!!

[NishNovae]

이후 데이터베이스 업데이트 dag와 순차적으로 진행하게 하는 것도 좋을 것 같습니다

[GITSangWoo]

한 번 해보겠습니다! 아이디어 감사합니다