Hyperparameter optimization(HPO)에 관한 discussion

[yukyeongLee]

Grid/Random Search

• Grid search: hyperparameter 개수가 늘어날수록 전체 탐색시간이 기하급수적으로 증가
• Random search: 탐색시간 단축. 그러나 최선이 아닌 결과를 낼 가능성
• '사전지식(지난 탐색으로 얻은 정보)'를 다음 탐색에 충분히 반영하는 방향으로 발전

Bayesian Optimization

• 참고자료: 베이지안 최적화(Bayesian Optimization) 그림 1. 검은 점선 - objective function / 검은 실선 - surrogate model / 파란 영역 - 추정된 표준편차 / 녹색 실선 - acquisition function

• hyperparameter set x / objective function f(x)

• f(x)는 black-box function이라 surrogate model이 현재까지 조사된 (xi, f(xi)) 를 바탕으로 f(x)를 확률적 추정

• Acquisition function은 surrogate model을 참고해서 다음에 탐색할 x 후보를 추천

  • Surrogate model에서 함숫값이 크고, 표준편차는 작은 점이 선택

Optuna

• Tree-structured Parzen Estimator(TPE) 외에도 다양한 Bayesian Optimization 방법을 함께 사용
• Model specific한 장점
  • Model마다 tuning이 필요한 hyperparameter set이 다름
  • eg. 기존 lightgbm에 대응하는 optuna.integration.lightgbm
• Tuning 속도가 느린 단점