[Feat] Wandb Sweep구현

[Rimo-rimo]

What

• Wandb Sweep for automating hyperparameter tunning

  Why

• 다양한 hyper-parameter를 통해 모델 최적화를 자동화 하기 위해

  TODO

• wandb sweep을 위한 yaml파일 생성
• 손쉽게 적용할 수 있기 위해 baseline 수정

[Rimo-rimo]

• 현재 arg.py에 있는 hyper-parameter들을 sweep에 적용할 수 있도록 구현하였습니다.

  • 적용 가능한 parameters : lr, optimizer, loss, scheduler, seed, batch, modeltype, modelname
  • 이 외에도 실험에 다르게 적용하고자 하는 parameter들을 추가로 더 적용할 수 있습니다.

• Wandb Sweep 사용 법

  • sweep.yaml에 다음과 같은 인자들을 정의 해줍니다.

    • program : 실행할 python 파일을 선택합니다. (ex, train.py)
    • method : 최적화 하는 방법을 선택합니다. grid, random, bayes가 있습니다.
    • metric : -> name : 최적화될 metric을 정의합니다.(wandb에 로깅되는 이름 그대로 적용해야 합니다. ex, valid/F1_score) -> goal : 위의 metric을 최대화(maximize)할것인지, 최소화(minimize)할것인지 선택합니다.
    • parameters : -> 적용하고자 하는 parameter를 기입하고, 이 파라미터의 범위를 정의합니다. -> values : 리스트의 형태로 적용하고자 하는 값을 원하는 만큼 기입합니다 -> min / max : 범위의 형태로 적용하고자 하는 값의 범위를 min, max로 적용 합니다.

  • sweep.yaml파일을 완성했다면 명령창에 다음과 같이 wandb명령어를 입력합니다.

    • wandb sweep sweep.yaml
    • Run sweep agent with 부분을 그대로 복사하여 입력해주면 학습이 진행됩니다.
    • wandb agent boostcampaitech3/art_cv15-code/o4ee8snr

  • sweep.yaml파일에 위의 모든 요소의 예시를 작성해 봤습니다. 참고하면 쉽게 이해할 수 있습니다.

  • sweep을 한 결과물을 아래와 같이 wandb에서 분석할 수 있습니다.

    

• sweep을 좀 더 현명하게 사용하는 방법

  • GPU가 놀고있다면, sweep으로 다양한 parameter를 실험해보면 좋을거 같아요.
  • 모든 파라미터에 대해서 다 sweep을 적용하면 시간적 리소스가 많이 듭니다. parameter의 큰 틀은 유지한 채 특정 값의 효과를 보기위한 용도로 사용하는게 좋을것 같습니다.