Designing Network Design Spaces

Ilija Radosavovic, Raj Prateek Kosaraju, Ross Girshick, Kaiming He, Piotr Dollár

2020-03-30

1. どんなもの？

ネットワークの設計空間を変更。GPU上でEfficientNetよりも5倍速いネットワークを構築した。

ネットワークの設計を手動ではなく自動で行う手法として、探索空間を固定して計算を進めるNASが存在する。しかしNASで設計を行う場合、ハードウェア制約などの特定条件を満たすような設定で計算が行われ、理解しずらく一般化できないモデルが出力される。

本研究では、解釈のしやすい手動での設計空間の設定とNASでの自動探索を組み合わせた。（ここでは探索空間そのものを設計する行為をさす。）

RegNetXで探索した設計空間を分析していく。

まずはFLOPsに対してモデルの構造を分析した。興味深い点として、従来は深いモデルがより高いFLOPsを達成できると考えられていたが、計算されたモデル（d）の深さはどのFLOPsでも一定であった。

またボトルネック構造が存在しないモデルが選択されている。

チャンネル数の増大率としては2.5が選択されている。

次に活性化された値を見ていった。この活性化関数はFLOPsには影響しないが、ハードウェア上でのruntimeには大きく影響することがわかっている。

上記2つの結果を合わせて再度設計空間を設定しなおし探索を行った。

RegNetXで探索したモデル同士の比較を行った。上記は100エポック学習させたモデルを使用して、64枚の画像を推論させた時間を表している。

近年のネットワークの設計はモバイル端末の基準である600MFLOPsを設定している。そこで同じFLOPsで探索したRegNetモデルと既存モデルとの比較を行った。

特徴としては、RegNetは学習時に正則化やデータ増強などを行わずに100エポックのみ学習させているのみである。

次にResNetとResNextに対して比較を行った。