[experiment] 실험 관리 매뉴얼

[Gangtaro]

💡 Issue

개개인의 모델 실험 방법이 달라, 각자 평가한 모델의 성능 비교가 힘들다고 생각합니다. 이제 최근에 도입한 #10 #21 wandb sweep 기능을 활용하여 hyper parameter tunning을 할 수 있게 되었습니다. 해당 방법으로 도입한 모델 및 Feature의 성능 평가를 위해서 Best score를 통해서 도입된 기능의 도입 여부를 판단할 수 있게되면 좋겠다고 생각했습니다. 그에 따라, 실험 관리 매뉴얼 초본을 작성해보았습니다. 추가 사항이나 수정 사항을 말씀해주시면 감사하겠습니다. 원본은 팀 노션 페이지에 작성해놓았으며 여기에 댓글을 다시거나 해당 이슈에 댓글 달아주시기를 바랍니다.

초본

---

1. 모델 도입

   • 새로운 모델 도입 (Issue)
   • 모델 구축
   • 목적에 맞도록 학습 방법 세팅

2. 파라미터 직교화 및 리스트업

   • 모델 성능에 중요하게 작용되는 파라미터 조사
   • argparser와 같은 방법으로 조작 가능하게 구현

3. hyper parameter tunning으로 Best score 계산

   • 대략적인 성능 평가를 위해 hyper parameter tunning 실시
   • Validation score (해당 대회의 경우 Validation AUC-ROC) 기준으로 최고 성능을 나타내는 Parameter 조합 기록
   • model, Best score, parameter 실험 일지에 기록

업데이트 내용

---

• Wandb sweep (hyper-parameter tunning) 사용법 추가 (2022. 05. 04. 추가)

📝 TODO

📚 Reference

실험 관리 매뉴얼 | EGSBJ Notion workspace

[ahyeon0508]

실험 관리 매뉴얼 정리 감사합니다! +) wandb sweep 사용법 추가해도 될까요?!

[Gangtaro]

실험 관리 매뉴얼 정리 감사합니다! +) wandb sweep 사용법 추가해도 될까요?!

당연합니다!