機械学習におけるハイパーパラメータ最適化の理論と実践

論文情報

ハイパーパラメータ最適化の紹介

ハイパーパラメータの最適化はブラックボックスな関数の最適化この発表ではブラックボックス最適化において有力なCMA-ESとベイズ最適化が存在

ベイズ最適化によるハイパーパラメータの最適化はGP-EIという手法とTPEが存在まずはGP-EIから紹介

赤い部分がGPに予測された確率分布であり、下の緑がEIで算出した結果右端が大きいので、右端でGPを更新

いまいちよくわからないのでまたこの部分は勉強

次はTPE HyperoptやOptunaがデフォルトで採用している

TPEはEIを使うという点まではGP-EIと同じモデル化の部分がGP-EIと異なり、具体的にはGP-EIがp(y|x)をGP-EIで直接モデル化をしていたが、その代わりにp(x|y)とp(y)でモデル化

l(x)/g(x)を最大とするxがEIを一番大きくする上の図の重なりをなるべく大きくする

ハイパーパラメータの個数が少ない問題に関してはGP-EIのほうが良い性能を示す一方で次元が高い問題に関してはTPEのほうが良い性能

進化計算手法における有名な手法CMA-ESの説明

正規分布をサンプルします。このサンプルしたそれぞれの解に対して評価良い解だったら大きな重みに、悪い解だったら小さい重みにと重み付けを行い、この重み付けを行ったものを用いて、正規分布のパラメータを更新

次元数が大きい場合は、CMA-ESの方が良い GP-EIの計算量はイテレーション数tに対して3乗に効いてくる