[Feature] CI/CD 초안

[wwkler]

이슈 번호 : #10

1. 배포 관련 폴더 구조와 관련된 설명

• .github/workflows/Real_CI_CD.yaml 그리고 .github/workflows/test.yaml

  • 두 파일의 차이는 mlflow를 어떤 것을 사용하는가 입니다. Real_CI_CD.yaml에서 mlflow를 사용하는 부분은 우리가 사용하고 있는 mlflow를 사용하고 있는 것이며, test.yaml에서 mfllow를 사용하는 부분은 Github Action Workflow를 일단 돌리기 위해서 제가 따로 mlflow를 만들어서 사용한 것 입니다. 즉 Real_CI_CD.yaml를 앞으로 사용하면 된다고 생각하면 되겠습니다. Automated Pipeline를 제외하고 모든 내용이 구현되어 있습니다.

  • 지금은 worflow_dispatch로써 수동으로 클릭해야 Github Action Workflow가 동작하는 구조

• logs있는 여러 log 파일

  • mlflow, flask, streamlit를 사용할 떄 나타나는 log를 저장하는 곳입니다.
  • github repository에 logs 폴더는 포함하지 않는 것이 좋다는 의견이 있어서 logs 폴더는 빼고 넣었습니다.

• src/models에 있는 여러 파이썬 파일

  • Flask에서 mlflow model registry에서 로드할 떄 필요한 부분이라 해서 넣었습니다.

• templates/index.html

  • Flask 서버가 돌고 있는지 확인하기 위한 용도로 주의깊게 볼 필요는 없습니다.

• flask_app.py

  • Server 4에 5000번 포트로 Open 되어 있는 mlflow model registry에서 Production 모델을 가져와야 하는데 지금 일단은 Test 모델 이름에 버전 1을 가져옵니다.

• requirements.txt

  • Flask와 Streamlit를 사용하기 위해 가상 환경(deployment_env)에서 설치한 패키지 목록입니다.

• streamlit_app.py

  • 클라이언트 웹 서비스 구현 파일이며, 예측하기 버튼을 클릭할 떄 Flask 서버와 통신합니다.

2. Github Action Workflow에서 systemd 방식을 사용해서 프로세스를 컨트롤하고 있는데 이와 관련된 설명

   • sudo systemctl start/stop real_mlflow를 하면 Self Hosted Server에서 참고하는 서비스 파일

   • (Server 4) sudo cat /etc/systemd/system/real_mlflow

     [Unit]
     Description=Real MLflow Tracking Server
     After=network.target
     
     [Service]
     User=ubuntu
     WorkingDirectory=/home/ubuntu/coc-model 
     ExecStart=/home/ubuntu/.pyenv/versions/modelenv-2/bin/mlflow server --host 0.0.0.0 --port 5000
     Environment="PATH=/home/ubuntu/.pyenv/versions/modelenv-2/bin:/usr/bin"
     Restart=always
     StandardOutput=append:/home/ubuntu/deployment/coc-model/logs/real_mlflow_app.log
     StandardError=append:/home/ubuntu/deployment/coc-model/logs/real_mlflow_app_error.log
     
     [Install]
     WantedBy=multi-user.target

   • sudo systemctl start/stop flask_app를 하면 Self Hosted Server에서 참고하는 서비스 파일

   • (Server 4) sudo cat /etc/systemd/system/flask_app

     [Unit]
     Description=Flask Application
     After=network.target
     
     [Service]
     User=ubuntu
     WorkingDirectory=/home/ubuntu/deployment/coc-model
     ExecStart=/home/ubuntu/.pyenv/versions/deployment_env/bin/python /home/ubuntu/deployment/coc-model/flask_app.py
     Environment="PATH=/home/ubuntu/.pyenv/versions/deployment_env/bin:/usr/bin"
     Restart=always
     StandardOutput=append:/home/ubuntu/deployment/coc-model/logs/flask_app.log
     StandardError=append:/home/ubuntu/deployment/coc-model/logs/flask_app_error.log
     
     [Install]
     WantedBy=multi-user.target
     

   • sudo systemctl start/stop streamlit_app 하면 Self Hosted Server에서 참고하는 서비스 파일

   • (Server 4) sudo vi /etc/systemd/system/streamlit_app

     [Unit]
     Description=Streamlit Application
     After=network.target
     
     [Service]
     User=ubuntu
     WorkingDirectory=/home/ubuntu/deployment/coc-model
     ExecStart=/home/ubuntu/.pyenv/versions/deployment_env/bin/streamlit run /home/ubuntu/deployment/coc-model/streamlit_app.py
     Environment="PATH=/home/ubuntu/.pyenv/versions/deployment_env/bin:/usr/bin"
     Restart=always
     StandardOutput=append:/home/ubuntu/deployment/coc-model/logs/streamlit_app.log
     StandardError=append:/home/ubuntu/deployment/coc-model/logs/streamlit_app_error.log
     
     [Install]
     WantedBy=multi-user.target
     

3. 깊게 봐줬으면 하는 곳

   • flask_app.py해서 mlflow Model Registry에서 Test 1 버전 모델을 가져오고 있는데 이 부분에 대한 피드백이 필요하다.