feat: Airflow 배치 서빙 및 Mysql 주기적 업데이트

Overview

기존의 베이스라인과 비교하여 많은 변화가 생김에 따른 Airflow 전체 수정
115
기존 파일 삭제 및 폴더명 변경
- Poetry 삭제 : Airflow는 Poetry를 통한 환경 세팅을 정상적으로 지원하지 않음 참조
- airflow db init 관련 파일 삭제 : Airflow 초기 세팅 시 자동으로 생성됨
- 여러 모델, 알고리즘들이 추가됨에 따른 폴더명 변경 : ex) model -> cnn_model
MySQL DB 관련 수정 사항
- DB 서버 변경
- SQL Query관련 Refactoring
Airflow 배치서빙에 대한 dag 구현 및 스케줄링
- 6가지의 모델, 알고리즘에 대한 배치 서빙 구현, DB 업데이트 코드 구현
- Airflow 상에서 코드가 실제로 돌아가는 시간인 logical date에 따른 각 task의 수행 구현 참조
- 장 마감 시간과 각 Task의 평균 수행시간을 고려한 스케줄링은 다음과 같음

Change Log

DB 관련 변경 사항
- DB서버 주소를 변경함에 따른 코드 수정 database/database.py
- DB 테이블 업데이트와 호출에 필요한 쿼리문을 utils/sql_query.py에 작성
- 관계형 DB 특성상 주가 종목 테이블과 다른 예측 테이블이 연결되어있기에 테이블 자체를 삭제하고 업데이트하던 기존의 방식은 부적절하다고 판단하여 krx 테이블의 date열을 추가하여 관리
Dag 관련
- 배치서빙, DB 업데이트에 대한 Refactoring 수행
- 모든 Dag 파일에 logical date에 따라 주가 예측을 수행할 주가 종목을 불러오도록 설정

To Reviewer

보안 관련 변수
- DB 접근 비밀번호, Naver API를 위한 ID, Secret 기입 필요 : 임시로 디스코드로 공유하고 추후 Config 파일이나 .env 파일로 공유 예정
Sentiment Model Weight
- Github의 용량 제한으로 인해 올리지 못한 가중치 파일은 디스코드에 공유되어 있음
Docker를 통한 Airflow 실행
- 개발 및 배포 환경은 Docker Hub의 레포지토리에 등록해 놓음
- Airflow Webserver
- docker run -v `pwd`:/app -dit -p 8080:8080 ciontentax/cv01_airflow_webserver:1.0 /bin/bash 도커 컨테이너 실행
- docker exec -it "Container ID" /bin/bash 컨테이너 진입
- cd app airflow 폴더 이동
- export AIRFLOW_HOME=`pwd` 환경변수 설정
- airflow db init db 초기화
- airflow users create ... 웹서버 사용자 정보 등록
- airflow webserver -p 8080 웹서버 실행
- Airflow Scheduler
- docker run -v `pwd`:/app -dit --gpus all ciontentax/cv01_airflow_scheduler:1.0 /bin/bash 도커 컨테이너 실행
- docker exec -it "Container ID" /bin/bash 컨테이너 진입
- cd app airflow 폴더 이동
- export AIRFLOW_HOME=`pwd` 환경변수 설정
- airflow db init db 초기화
- airflow scheduler 스케줄러 실행

Issue Tags

Closed: #127
See also: #130

DB 관련 변경 사항의 3번째 항목에 대한 코멘트입니다. 참조 테이블이 존재하는 테이블을 flush 하는 방법으로 다음과 같은 방법들이 있습니다.

단일 튜플 삭제: 데이터를 튜플(행) 단위로 삭제하는 방법. 가장 단순하고 안전하지만, 대량의 데이터를 삭제해야 할 때는 시간이 많이 걸릴 수 있음.
외래키 제약 조건 무시: 일부 데이터베이스 관리 시스템(DBMS)에서는 외래키 제약 조건을 일시적으로 무시하고 데이터를 삭제할 수 있는 기능 제공. MySQL에서는 SET FOREIGN_KEY_CHECKS=0;을 실행하여 외래키 검사를 일시적으로 비활성화할 수 있음. 이 후 데이터를 삭제하고, SET FOREIGN_KEY_CHECKS=1;을 실행하여 다시 활성화함. 이 방법을 사용할 때는 데이터 무결성에 주의 필요.
CASCADE 옵션 사용: 외래키 제약 조건을 설정할 때 ON DELETE CASCADE 옵션을 사용하면, 주 테이블의 데이터가 삭제될 때 참조하는 테이블의 관련 데이터도 자동으로 삭제됨.
임시적으로 외래키 제약조건 제거: 데이터를 삭제하기 전에 외래키 제약조건을 임시적으로 제거하고, 데이터 삭제 후 다시 제약조건을 추가하는 방법. 데이터의 무결성을 유지하기 위해 주의 필요.

저희가 제공받은 Naver Cloud Platform (ncp) 서버에서는 DB 용량을 크게 신경쓰지 않아도 될 것 같은데, NCP 서버 회수 후 AWS로 서비스를 운영하게 되면 스토리지 비용이 나가기 때문에 krx 테이블에 history가 쌓이는 것보다 flush되는 구조가 더 적절할 것 같습니다.

DB에 대한 코멘트에 대해 의견 남깁니다.

처음에 Airflow에서 krx 테이블을 관리하던 방식은 모든 데이터를 삭제하고 dag이 실행되는 날짜에 대한 상장 종목만을 테이블에 업데이트하는 방식으로 작동했습니다. 이 경우 테이블이 삭제되고 업데이트되는 시간 동안 krx 테이블에 데이터가 공백이 되는 시간이 발생합니다. 우리 서비스의 경우 krx 테이블에 있는 종목만을 사용자에게 제공하기 때문에 해당 테이블이 비어있는 시간동안은 서비스를 정상적으로 운용할 수 없습니다. 따라서 이러한 공백을 없애고자 krx 테이블에 주가 종목이 갱신되는 날짜인 date 열을 추가하여 테이블이 삭제되지 않는 방식으로 변경하였습니다. 열이 추가됨에 따라 db 용량이 커질 수 있지만 제공하는 주가 종목이 2천~3천개이며 이 크기의 데이터 수는 db 용량에 큰 영향을 주지 않을거라 보았습니다. 하지만 AWS로 서비스를 운용하게 되면 운용 비용에 대한 측면도 고려해야하기 때문에 추후 DB 구성 방식의 변경이 필요해 보입니다.

현재 생각되는 방식은 다음과 같습니다. Airflow를 통해 모든 테이블을 삭제하고 업데이트하는 형식이 아닌 미리 서비스할 주가 종목들을 필터링 한 뒤에 서비스에서 제외할 종목만을 삭제하는 형식으로 변환하는 방식이 가장 좋을 것 같습니다. 이때 위의 코멘트의 여러 삭제방법 중 하나를 적용하면 좋을 것 같습니다.

또한 DB 테이블 용량에 대해서는 krx 테이블 보다 계속해서 쌓이고 있는 모델 예측 테이블들의 경우 가장 큰 고려대상이라고 생각됩니다. 다른 테이블을 수정하면서 krx 테이블 또한 영향을 받을 수 있기 때문에 현재 테이블 업데이트 방식은 유지하되, AWS로 서비스를 운영하기 전까지 모든 테이블에 대한 재구성이 필요하다고 생각됩니다.

Further Task

Logical Date
- Task가 실행되는 시간은 End Data Interval을 기준으로 시작됨
- 현재 Task들은 Start ~ End Data Interval을 보는게 아닌 스냅샷 형태의 End Data Interval만 보기 때문에 실행시간을 logical_date라는 함수로 계산하여 적용하였음
- 이후 해당 방법을 Timetables을 이용한 방법으로 변경 예정
Dags 구성
- 현재 모든 task에 대한 dag이 단일로 구성되어있지만 이후 어느정도의 안정화에 들어서면 하나의 dag으로 합칠 예정
Docker
- Docker-Compose 파일을 만들어 위의 webserver와 scheduler 실행 과정을 간소화 예정

매일 종목 정보가 들어있는 테이블을 업데이트하는 이유는 상장 폐지된 종목을 필터링 하기 위함으로 알고 있는데, 말씀하신 것처럼 모든 종목 삭제가 아닌 업데이트가 필요한 종목만 삭제한다면 훨씬 시간적 비용이 절감될 것이라 생각합니다.
모델 예측 테이블의 경우 정확도 계산을 위해 history 정보가 필요하기 때문에 지금 구조를 그대로 가져가야 한다고 생각하는데, 과거 데이터를 언제까지 가지고 있을지를 AWS 비용과 함께 따져봐야 할 것 같습니다.

boostcampaitech6 / level2-3-cv-finalproject-cv-01