junxnone / aiwiki

AI Wiki

https://junxnone.github.io/aiwiki

17 stars 2 forks source link

ML AutoML HPO BO #22

Open junxnone opened 2 years ago

junxnone commented 2 years ago

Bayesian Optimization

Bayesian Optimization - 贝叶斯优化
用于非凸函数(不可求导)优化
基于 [Gaussian Processes - 高斯过程]
不适用于高维空间
基于随机性和概率分布
采集函数

基础知识

原理

X = x1, x2, x3...xn - 超参数 f(x) - 黑盒函数/目标函数 Acquisition Function: 查询函数选择超参数 argmin - loss / argmax - accuracy...

分类

Name	Description
BO	Bayesian Optimization
SMBO	Sequential model-based optimization
BOHB	Bayesian Optimization Hyperband
ROAR	Random Online Aggressive Racing
SMAC	Sequential Model-based Algorithm Configuration
TPE	Tree-structured Parzen Estimator Approach

算法	代理函数	采集函数	优缺点	Details
BO	高斯过程	Expected Improvement	应用广泛，在低维空间表现出色
SMBO			只能处理数值型参数
BOBH				Hyperband + Byesian Optimization/TPE
ROAR
SMAC	回归随机森林	Upper Confidence Bound	对离散型变量表现出色	SMBO + 随机森林
TPE	高斯混合模型	Expected Improvement	高维空间表现出色，有论文表明最实用

BO

t=3 两个历史值(黑点), 一个新值(红点)
目标函数(黑色虚线)
代理模型目标函数均值(黑色实线)
代理模型目标函数方差(紫色区域)
根据 Acquisition Function(绿色区域) 获取最大值作为下一个采样点

PF - Prior Function - 先验函数

Name	Description
高斯过程回归

Reference