feat: Airflow 배치서빙과 Mysql db 업데이트 베이스라인 코드 작성 - Githubissues

boostcampaitech6 / level2-3-cv-finalproject-cv-01

level2-3-cv-finalproject-cv-01 created by GitHub Classroom

0 stars 1 forks source link

feat: Airflow 배치서빙과 Mysql db 업데이트 베이스라인 코드 작성 #115

Closed classaen7 closed 5 months ago

classaen7 commented 5 months ago

Overview

기존에 Airflow의 CSV 파일로 저장하던 방식을 mysql의 DB에 저장하는 방식으로 변경

Change Log

mysql DB 테이블에 저장함에 따라 database.py의 connection 설정
pymysql connection을 이용하므로 renew_data.py와 predict.py의 기존에 CSV 파일 형식으로 저장하던 코드를 Query를 통한 db 저장 방식으로 변경

To Reviewer

mysql의 connection을 설정하기 위한 비밀번호의 경우 보안을 위해 따로 공유하였으므로 database.py에 기입 필요
SQLModel과 Airflow의 충돌문제로 인해 Query문을 사용하는 pymysql을 사용하였음
현재 저장되는 데이터베이스 이름(airflow_test_db)과 테이블들의 이름은 테스트를 위한 명칭이며 추후 명확한 명칭으로 변경될 예정

Issue Tags

Closed: #114