Automated Hyperparameter Tuning for Effective Machine Learning

[gaocegege]

https://pdfs.semanticscholar.org/ce60/a2a90be9ba9088f91b1bd51a2c1cabade1ae.pdf

个人觉得这篇文章不如 Google Vizier 抽象的好，做的事情几乎是一模一样的

[at15]

难得策策又开始看 paper

[gaocegege]

瞎说，只是放上来而已

[gaocegege]

这篇文章的相关工作介绍做的很好，介绍了常见的几种超参数搜索的方法：

• Grid Search
• Random Search
• Latin Hypercube Sampling (LHS)
• Optimization (GA, 贝叶斯优化之类的，都是此类)

此外，还总结了超参数训练的一些挑战所在：

• 参数可能不只是连续的，还有类型，整数变量这些
• 参数空间不连续可能导致 objective evaluation fails
• 空间可能是 noisy and nondeterministic
• objective evaluation 可能会失败，因为计算节点失败了，这可能会破坏搜索策略 (?)
• 通常，空间包含许多平面区域，其中许多配置产生非常相似的模型

当然，还有更大的问题是训练成本。

这篇论文的核心就是一张图，了解一下

[xplorld]

神奇，参数对效果不可微的话看起来只能画格子暴搜？

[gaocegege]

Optimization 类的算法用的好像是比较多的

[xplorld]

sgd 么

[gaocegege]

贝叶斯优化

[xplorld]

（思考）