[FEAT] 모델 관리를 위한 MLflow 활용

[2018007956]

Background

• 변성윤 마스터님의 <[Product Serving] 모델 관리와 모델 평가> 강의를 듣고, MLflow를 사용해보고자 함
• MLflow 간략 소개

  한 실험을 진행할 때, 모델 학습 코드를 실행(Run)할 때마다 여러 정보들이 로깅 됨

• WandB가 아닌 MLflow로 하는 이유
  • 새로운 플랫폼 경험
  • WandB는 SaaS(Software-as-a-Service)라서 회사에서 사용하는 경우 돈을 지불해야 함
  • 반면, MLflow는 오픈소스이기에 현업에서 많이 사용한다고 함

To do

• [ ] MLflow + FastAPI를 통합해서 특정 API 엔드포인트로 접근(Request)하면 실험 실행 또는 모델 결과 출력해보기
• [ ] 특정 experiment ID에서 제일 성능 좋은 모델 찾기와 같이 search_runs api를 사용하여 특정 Run 찾아보기
• [ ] FastAPI 로직에서 AB Test를 처리하고 결과가 어떻게 달라지는지 로깅해보며 유저들이 사용할 때 모델들의 차이가 있는지 확인