Progressive Neural Architecture Search

[gaocegege]

https://arxiv.org/pdf/1712.00559.pdf

[gaocegege]

这篇文章发表之前的方法，应该都是基于进化算法或者是强化学习（这是什么 Orz）的，而这篇文章提出了一种顺序的，基于模型的优化策略（a sequential model-based optimization(SMBO) strategy）实验证明在相同的搜索空间下，这样的方式好了 5-10 倍

这种优化策略是改进了 #75 的蒙特卡洛树，用了层次化的基于 cell 的搜索空间，而不是 #75 中的扁平的 CNN 搜索空间。

[gaocegege]

当使用进化算法(EA)时，每个神经网络结构被编码为一个字符串，在搜索过程中执行随机的突变和字符串的重组;然后，每个字符串(模型)在一个验证集上进行训练和评估，并且顶级的执行模型生成 children

当使用增强学习(RL)时，代理执行一系列动作，指定模型的结构;然后对该模型进行训练，并将其验证性能作为奖励函数返回，该函数用于更新RNN控制器。