Open Beluuuuuuga opened 4 years ago
https://logmi.jp/tech/articles/322678
ハイパーパラメータ最適化の紹介
ハイパーパラメータの最適化はブラックボックスな関数の最適化 この発表ではブラックボックス最適化において有力なCMA-ESとベイズ最適化が存在
ベイズ最適化によるハイパーパラメータの最適化はGP-EIという手法とTPEが存在 まずはGP-EIから紹介
赤い部分がGPに予測された確率分布であり、下の緑がEIで算出した結果 右端が大きいので、右端でGPを更新
いまいちよくわからないのでまたこの部分は勉強
次はTPE HyperoptやOptunaがデフォルトで採用している
TPEはEIを使うという点まではGP-EIと同じ モデル化の部分がGP-EIと異なり、具体的にはGP-EIがp(y|x)をGP-EIで直接モデル化をしていたが、その代わりにp(x|y)とp(y)でモデル化
l(x)/g(x)を最大とするxがEIを一番大きくする 上の図の重なりをなるべく大きくする
ハイパーパラメータの個数が少ない問題に関してはGP-EIのほうが良い性能を示す 一方で次元が高い問題に関してはTPEのほうが良い性能
進化計算手法における有名な手法CMA-ESの説明
正規分布をサンプルします。このサンプルしたそれぞれの解に対して評価 良い解だったら大きな重みに、悪い解だったら小さい重みにと重み付けを行い、この重み付けを行ったものを用いて、正規分布のパラメータを更新
次元数が大きい場合は、CMA-ESの方が良い GP-EIの計算量はイテレーション数tに対して3乗に効いてくる
論文情報
https://logmi.jp/tech/articles/322678
一言で言うと
ハイパーパラメータ最適化の紹介
背景
ハイパーパラメータの最適化はブラックボックスな関数の最適化 この発表ではブラックボックス最適化において有力なCMA-ESとベイズ最適化が存在
ベイズ最適化によるハイパーパラメータの最適化はGP-EIという手法とTPEが存在 まずはGP-EIから紹介
赤い部分がGPに予測された確率分布であり、下の緑がEIで算出した結果 右端が大きいので、右端でGPを更新
次はTPE HyperoptやOptunaがデフォルトで採用している
TPEはEIを使うという点まではGP-EIと同じ モデル化の部分がGP-EIと異なり、具体的にはGP-EIがp(y|x)をGP-EIで直接モデル化をしていたが、その代わりにp(x|y)とp(y)でモデル化
ハイパーパラメータの個数が少ない問題に関してはGP-EIのほうが良い性能を示す 一方で次元が高い問題に関してはTPEのほうが良い性能
進化計算手法における有名な手法CMA-ESの説明
正規分布をサンプルします。このサンプルしたそれぞれの解に対して評価 良い解だったら大きな重みに、悪い解だったら小さい重みにと重み付けを行い、この重み付けを行ったものを用いて、正規分布のパラメータを更新
次元数が大きい場合は、CMA-ESの方が良い GP-EIの計算量はイテレーション数tに対して3乗に効いてくる
貢献
提案
実験・考察
補足・疑問など