ML AutoML HPO

[junxnone]

Reference

• 2020 On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice
• vega - HPO Alogs

Brief

• HPO - Hyperparameter Optimization
• 用于评估超参对 metrics 的影响, 选取出一组合适超参
• 超参类型
  • 连续超参 - [0, 1]
  • 离散超参 - [0, 10, 1]
  • 类别超参- ["SGD", "Adam"]
  • 条件超参
• 单目标超参数优化算法
• 多目标超参数优化算法

按方式分类

分类	举例
Exhaustive search - 穷举	Random Search/Grid Search/Batch
Heuristic search - 启发式	Naïve Evolution/Anneal/Hyperband/PBT/
Bayesian Optimization - 贝叶斯优化	BO/SMBO/BOHB/BOSS/TPE/SMAC/Metis Tuner/GP Tuner
RL Based - 强化学习	PPO Tuner
Dynamic Resource Allocation - 动态资源分配

常用方法

Name	Time Complexity	局限	优点
Grid Search	O(nk)	时间消耗多	简单
Random Search	O(n)	相比 GS 有效
Gradient-based models	O(nk)	只支持连续超参
BO-GP	O(n3)
SMAC	O(nlogn)	并行化能力较差	对所有类型超参有效
TPE	O(nlogn)	并行化能力较差	对所有类型超参有效
Hyperband	O(nlogn)
BOHB	O(nlogn)	对所有类型超参有效
GA	O(n2)	并行化能力较差	对所有类型超参有效
PSO	O(nlogn)	对所有类型超参有效

Tools

• SIGOPT
• AutoML NNI