[experiment] 하이퍼파라미터 튜닝 툴 결정

[minchoul2]

💡 Issue

Hyperparameter Tunning 을 위한 Tool을 선택해봅시다.

1. WandB의 Sweep 기능

Sweep은 기본적으로 하이퍼 파라미터를 자동으로 최적화 해주는 도구 weep에서 제공하는 search 방식은 grid 방식, random 방식, bayes 방식 파라미터 튜닝이 완료 되면 WandB의 웹에서 제공되는 dashboard로 시각화

장점

• 기존의 실험기록이 이미 기록되어 있어 정신없게 돌아다니지 않아도 됨
• 친근한 코드와 방식

단점

• 다소 부족한 참고자료 ; 튜토리얼과 Docs만이 살길

2. Ray

캐글에서 많이쓰는 툴 대쉬보드 지원

장점

• 병렬처리로 빠른 연산가능(하다네요)

단점

• 로컬에서만 가능한 듯한 대쉬보드지원
• 다소 친근하지 못한 사용법

3. sklearn

가장 기본적인 하이퍼파라미터 튜닝 도구로 쉬운 구현이 장점

장점

• 쉽따쉬워

단점

• 대시보드 미지원
• 멋지지 않음

4. Hyperopt

Baysian Optimization 기반한 하이퍼파라미터 튜닝 라이브러리 RandomizedSearchCV, GridSearchCV 지원

장점

• 쉬운 사용법

단점

• 대시보드 미지원하는 듯

5. Optuna

캐글에서 많이들 사용함 혼자할때 쓰면 좋을 것 같은 툴

장점

• 직관적인 코드
• 최신 Automl

단점

• 대시보드는 노트북 파일에서 그래프를 그려봐야 하는듯함

※ 뺴먹은 툴이 있다면 알려주세용

📝 TODO

• [x] 사용할 툴 결정
• [x] 코드에 적용

📚 Reference

WandB 블로그 Ray 설명 - 변성윤 마스터님 블로그 hyperopt Docs Optuna 설명 블로그

[Gangtaro]

LGTM!!! 🚀🚀🚀 구현은 어렵지 않을것 같으니, Sweep 사용해보고 저는 Ray tune도 사용해보고 싶다는 생각이 드네요!! 정리해주시느라 수고많으셨습니다! 감사합니닷

[yst3147]

hyperopt도 있습니다

[ahyeon0508]

그대는 정리킹?! 감사합니다 민철님!

+) optuna도 있는 것으로 알고 있습니다!

[dongseoklee1541]

ㅋㅋㅋ 장단점까지 정리 멋져요

[minchoul2]

WandB가 저희한테는 제일 잘 맞을것같기도?!

[yst3147]

lightgbm에는 optuna도 쓰기 좋겠네요

[minchoul2]

수위이잎으로 결정