Open Beluuuuuuga opened 4 years ago
http://metalearning.ml/2019/papers/metalearn2019-nomura.pdf Masahiro Nomura, Shuhei Watanabe, Yoshihiko Ozaki, Masaki Onishi
CMA-ESによる最適化する際の収束速度を早める手法の提案 (CMA-ES: 共分散行列適応進化戦略、Covariance Matrix Adaptation Evolution Strategy)
CMA-ESはサンプリングするときの内部パラメータ適合の際に長い時間を要するが、多変量ガウス分布と、以前の同様のタスクの良好な解のガウス混合モデルとの間のKL発散を最小化することにより、CMA-ESの初期内部パラメーターを決定でき、収束速度が早い
CMA-ESは他変量ガウス分布のパラメータを更新することで最適化を促進する LoshchilovとHutterはCMA-ESはBOよりハイパーパラメータ最適において、大量の評価Budgetで良い結果を示したことを報告した
類似の機械学習を用いたタスクに対して過去の結果を用い、最適化を早める研究がされており、これをwarm startingをという ベイズ最適化に比べて、CMA-ESが優れている点は大量のデータに対してイテレーションごとの解を素早く生み出すことができるが、このwarm startの研究はなされていない
本稿では、CMA-ESのウォームスタート方式を提案する。 この方法では、CMA-ESの初期MGDと以前の同様のタスクの優れた解のガウス混合モデル（GMM）との間のKL発散の最小化を通じて、以前の知識を伝達します。 ウォームスタート（CMA-ES-WS）でのCMA-ESのパフォーマンスを評価するために、CMA-ES-WSをバニラCMA-ESおよびマルチタスクBO（MTBO）[22]とHPO問題で比較します。 実験結果は、CMA-ES-WSがより良いパフォーマンスを達成することを示しています。
Black-box optimization (BBO) Hyperparameter optimization (HPO) Multivariate Gaussian distribution (MGD) Bayesian optimization (BO) Gaussian mixture models (GMM) The CMA-ES facilitates optimization; CMA-ESは最適化を促進する
論文情報
http://metalearning.ml/2019/papers/metalearn2019-nomura.pdf Masahiro Nomura, Shuhei Watanabe, Yoshihiko Ozaki, Masaki Onishi
一言で言うと
CMA-ESによる最適化する際の収束速度を早める手法の提案 (CMA-ES: 共分散行列適応進化戦略、Covariance Matrix Adaptation Evolution Strategy)
背景
CMA-ESはサンプリングするときの内部パラメータ適合の際に長い時間を要するが、多変量ガウス分布と、以前の同様のタスクの良好な解のガウス混合モデルとの間のKL発散を最小化することにより、CMA-ESの初期内部パラメーターを決定でき、収束速度が早い
CMA-ESは他変量ガウス分布のパラメータを更新することで最適化を促進する LoshchilovとHutterはCMA-ESはBOよりハイパーパラメータ最適において、大量の評価Budgetで良い結果を示したことを報告した
類似の機械学習を用いたタスクに対して過去の結果を用い、最適化を早める研究がされており、これをwarm startingをという ベイズ最適化に比べて、CMA-ESが優れている点は大量のデータに対してイテレーションごとの解を素早く生み出すことができるが、このwarm startの研究はなされていない
貢献
提案
実験・考察
本稿では、CMA-ESのウォームスタート方式を提案する。 この方法では、CMA-ESの初期MGDと以前の同様のタスクの優れた解のガウス混合モデル（GMM）との間のKL発散の最小化を通じて、以前の知識を伝達します。 ウォームスタート（CMA-ES-WS）でのCMA-ESのパフォーマンスを評価するために、CMA-ES-WSをバニラCMA-ESおよびマルチタスクBO（MTBO）[22]とHPO問題で比較します。 実験結果は、CMA-ES-WSがより良いパフォーマンスを達成することを示しています。
補足・疑問など
Black-box optimization (BBO) Hyperparameter optimization (HPO) Multivariate Gaussian distribution (MGD) Bayesian optimization (BO) Gaussian mixture models (GMM) The CMA-ES facilitates optimization; CMA-ESは最適化を促進する