Open zerebom opened 4 years ago
本研究では新しいネットワーク設計のパラダイムを提示する。 NN設計の理解を促進し、一般化した設計原理を発見することが目標である。 個々の要素に焦点を当てず、ネットワークデザイン空間を俯瞰的にみることで理解の促進を図る。また、本研究で生み出されたRegNetというネットワークはdepth,widthのパラメータからなるシンプルなネットワークで、今までSOTAであったEfficintNetより高精度で5倍早い。
今までDCNNは様々なタスクで良い成果を出してきた。 過去の研究では、特定のタスクに対して、データサイズ、ネットワーク、深さ、残差などを調整することで良い成果を出してきた。 しかし、最適化されたネットワークを手動で見つけることは設計の選択肢が増えるにつれて困難になる。この制限に対処するための一般的なアプローチは、ニューラルアーキテクチャ検索(NAS)などが挙げられる。NASは可能性のある固定の検索空間が与えられるとその中で最良のネットワークを自動で見つけてくれる。しかし、与らえた検索空間でしかチューニングすることができないというデメリットもある。 本研究ではネットワーク設計の原理を発見することで、理解を深めそシンプルかつ、汎用性の高いネットワークデザインの手法を編み出す。具体的には、以下のように手動とNASを組み合わせることで新しいネットワーク設計のパラダイムを提示する。
過去のネットワークが紹介されている。 本研究は新しい設計原理を発見し、精度を向上させるという目標は過去のものと同じであるが、設計空間レベルで論じているということを強調している。
今まではNASなどで作られたいたが、検索空間があらかじめ決まったいるなどのデメリットがあった
今までのネットワーク同士の比較は単一のパラメータでの比較(例えば精度)でのみ行われていて、 信頼度が低いと考える。本研究では様々な指標で評価を行う
populations of networks sampled from design spaceで比較するのが良い。
量子化回帰パラメータライゼーションににた研究は過去にされてきたが、どのように本研究に適用すれば良いか分からないので既存研究は使えなかった。
本研究の目的は、特定のタスクでのSOTAを狙うのではなく、人気のネットワーク構造の構築を再現性・説明性を持って作成すること、その方法論の確立である。 その手法をDesign Space Designと名付けた。 これは制約のない検索空間から、ネットワークを構築・結果のサンプリングを繰り返し、より良い検索空間を出力するスキーマである。
まず、異なるDesign Spaceを比較するツールを紹介。 Radosavovicらが作成したツールは、design spaceからモデルをいくつかサンプリングし、その誤差の分布を比較するというものである。これにより、特定のタスクの精度など単一指標を比較するよりも、よりロバストな結果を得ることができる。
Abstract
本研究では新しいネットワーク設計のパラダイムを提示する。 NN設計の理解を促進し、一般化した設計原理を発見することが目標である。 個々の要素に焦点を当てず、ネットワークデザイン空間を俯瞰的にみることで理解の促進を図る。また、本研究で生み出されたRegNetというネットワークはdepth,widthのパラメータからなるシンプルなネットワークで、今までSOTAであったEfficintNetより高精度で5倍早い。
Introduction
今までDCNNは様々なタスクで良い成果を出してきた。 過去の研究では、特定のタスクに対して、データサイズ、ネットワーク、深さ、残差などを調整することで良い成果を出してきた。 しかし、最適化されたネットワークを手動で見つけることは設計の選択肢が増えるにつれて困難になる。この制限に対処するための一般的なアプローチは、ニューラルアーキテクチャ検索(NAS)などが挙げられる。NASは可能性のある固定の検索空間が与えられるとその中で最良のネットワークを自動で見つけてくれる。しかし、与らえた検索空間でしかチューニングすることができないというデメリットもある。 本研究ではネットワーク設計の原理を発見することで、理解を深めそシンプルかつ、汎用性の高いネットワークデザインの手法を編み出す。具体的には、以下のように手動とNASを組み合わせることで新しいネットワーク設計のパラダイムを提示する。
Related Work
Manual network design
過去のネットワークが紹介されている。 本研究は新しい設計原理を発見し、精度を向上させるという目標は過去のものと同じであるが、設計空間レベルで論じているということを強調している。
Automated network design
今まではNASなどで作られたいたが、検索空間があらかじめ決まったいるなどのデメリットがあった
Network scaling
今までのネットワーク同士の比較は単一のパラメータでの比較(例えば精度)でのみ行われていて、 信頼度が低いと考える。本研究では様々な指標で評価を行う
Comparing network
populations of networks sampled from design spaceで比較するのが良い。
Parameterization
量子化回帰パラメータライゼーションににた研究は過去にされてきたが、どのように本研究に適用すれば良いか分からないので既存研究は使えなかった。
Design Space Design
本研究の目的は、特定のタスクでのSOTAを狙うのではなく、人気のネットワーク構造の構築を再現性・説明性を持って作成すること、その方法論の確立である。 その手法をDesign Space Designと名付けた。 これは制約のない検索空間から、ネットワークを構築・結果のサンプリングを繰り返し、より良い検索空間を出力するスキーマである。
Tools for Design Space Design
まず、異なるDesign Spaceを比較するツールを紹介。 Radosavovicらが作成したツールは、design spaceからモデルをいくつかサンプリングし、その誤差の分布を比較するというものである。これにより、特定のタスクの精度など単一指標を比較するよりも、よりロバストな結果を得ることができる。