feat: airflow 주식 데이터 갱신 & 모델 배치 서빙

[classaen7]

Overview

• Airflow로 개장일 마다 주식 종목 데이터를 불러와서 유효한 데이터 저장 : renew_data.py

  • 해당 날짜가 개장일일 경우 주가 종목 갱신을 수행함
  • 주가 종목 별로 모델 예측 수행 시 최소 40일의 데이터가 필요하므로 이보다 작을 경우 저장하지 않음
  • db에 저장하기 전 임시로 csv 파일로 저장됨
  • 매일 13:00 UTC 시간으로 수행 (한국 시간 기준 오후 10시에 수행)
  • 해당 Dag의 수행시간은 약 10분 내외로 추정되어 한시간후에 저장된 주가 종목들을 기준으로 CNN 모델 예측 수행

• Airflow로 매일마다 저장된 주가 종목에 대하여 모델 예측 수행 : predict.py

  • 해당 날짜가 개장일일 경우 모델 예측 수행
  • renew_data.py에서 갱신된 주가 종목들에 대해 예측을 수행함
  • db에 저장하기 전 임시로 csv 파일로 저장됨
  • 날짜, 종목이름, 종목코드, 종가, 1~7일 뒤 예측에 대한 값 저장
  • 매일 14:00 UTC 시간으로 수행 (한국 시간 기준 오후 11시에 수행)

To Reviewer

• 환경 설정은 Airflow 실습 환경과 동일하게 수행했습니다.

• Airflow Webserver : airflow webserver --port 8080

• Airflow Scheduler : airflow scheduler

• Airflow 상에서 발생하는 오류를 최대한 수정하였지만 아직 보이지 않는 오류가 있을 수 있습니다. 코드를 돌리다 오류가 발생하는 경우 comment 달아주시길 바랍니다.

Issue Tags

• Closed: #100