A Generalized Framework for Population Based Training - Githubissues

yamamoto-yuta / paper-summary

2 stars 1 forks source link

A Generalized Framework for Population Based Training #18

Open yamamoto-yuta opened 4 years ago

yamamoto-yuta commented 4 years ago

0. 論文

タイトル：A Generalized Framework for Population Based Training
著者： Ang Li, Ola Spyra, Sagi Perel, Valentin Dalibard, Max Jaderberg, David Budden, Tim Harley, Pramod Gupta

arXiv投稿日： 2019/4/5 学会/ジャーナル： KDD (2019)

1. どんなもの？

一般的なブラックボックス型のPBTフレームワークの提案

2. 先行研究と比べてどこがすごい？

従来のPBT実装は同期化されたグラスボックス型だったのに対し、提案手法はブラックボックス型

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

メモ

Population Based Training (PBT)
- ニューラルネットワークの重みとハイパーパラメータを共同で最適化する手法
- トレーニング中にベストパフォーマーの重みを周期的にコピーし、ハイパーパラメータを変異させる

キーワード

yamamoto-yuta commented 4 years ago

PBTとは何ぞやがわからないとしんどそうだったのでいったん保留