[FEAT] Airflow를 이용한 배치서빙 & 주기적 DB 업데이트

[classaen7]

Background

• 서비스에 필요한 6가지의 주가 예측을 Airflow를 통한 배치서빙으로 구현
  • 주가 예측의 경우 장마감 시간 이후 해당 날짜의 주가 데이터는 더이상 변하지않는 데이터이며 예측에 꽤 많은 시간이 소요되는 작업이므로 배치서빙으로 결정
  • 여러 Task들에 대한 스케줄링 시간 설정
• 기존에 작성한 Airflow Baseline코드는 DB update, CNN predict에 대한 dag만 구현되어있음
  • 서비스에서 제공하는 주가 종목이 담긴 db table인 krx을 주기적으로 업데이트 하는 형식으로 변경
  • 다양한 모델들이 추가됨에 따라 model 폴더를 더 세분화

  • 114

To do

• [x] 주식 종목에 대한 Mysql Database 업데이트, 이에 따른 DB 테이블 구조 변경
• [x] 서비스하는 주가 종목에 대해서만 주가 예측을 할 수 있도록 파이프라인 변경 및 구체화
• [x] 주가 예측에 대한 모델 및 알고리즘 코드 이식
• [x] 주가 예측 Task들에 대한 스케줄링
• [x] 코드 Refactoring : 예측 모델 및 알고리즘, DB 관련 쿼리문 등