NAS evaluation is frustratingly hard

[tkuri]

論文概要

Neural Architecture Search(NAS)で探索されるアーキテクチャのほとんどは同じ探索空間内で単にランダムサンプリングしたモデルの性能を上回るのにすら苦労しているという報告。認識タスク等による最先端の結果はアーキテクチャによる改善ではなく、学習手法に依る事が多い。

現状のNASではモデルをどのように学習するかの方が、アーキテクチャの選択よりもはるかに大きな影響を持つということ。また同じ探索空間内のアーキクチャは似たり寄ったりの性能になり、NASのハイパーパラメータ(セル数等)は結果に非常に大きな影響を与える事も報告。８つの比較的高速なNASで評価。

https://arxiv.org/abs/1912.12522

Code

https://github.com/antoyang/NAS-Benchmark 5つの異なるデータセットで8つのNASの性能をフェアに評価するコード。