NAS-BNN: バイナリニューラルネットワークのためのニューラルアーキテクチャサーチ

[fulfulggg]

タイトル: NAS-BNN: バイナリニューラルネットワークのためのニューラルアーキテクチャサーチ

リンク: https://arxiv.org/abs/2408.15484

概要:

2値ニューラルネットワーク（BNN）は、従来の完全精度ネットワークと比較して、推論効率と圧縮率が高いため、大きな注目を集めています。しかし、BNNの独自の特性により、強力な2値アーキテクチャの設計は困難であり、多くの場合、多大な労力を必要とします。有望な解決策は、ニューラルアーキテクチャ検索（NAS）を利用してBNNの設計を支援することですが、BNNの現在のNAS手法は比較的単純であり、検索されたモデルと手動で設計されたモデルの間には性能の差があります。

この差を埋めるために、NAS-BNNと呼ばれる、2値ニューラルネットワークのための新しいニューラルアーキテクチャ検索スキームを提案します。まず、BNNの独自の特性に基づいて検索空間を慎重に設計します。次に、スーパーネットのトレーニングを大幅に強化し、すべてのサブネットのパフォーマンスを向上させる3つのトレーニング戦略を紹介します。私たちが発見した2値モデルファミリは、2,000万から2億の幅広い演算（OP）において、以前のBNNよりも優れたパフォーマンスを発揮します。たとえば、わずか5,700万OPでImageNetで68.20％のトップ1精度を達成しました。さらに、オブジェクト検出タスクに対するこれらの検索されたBNNの転送可能性を検証し、検索されたBNNを使用した2値検出器は、MS COCOデータセットで3億7,000万OPで31.6％のmAPなど、最先端の結果を達成します。ソースコードとモデルはhttps://github.com/VDIGPKU/NAS-BNNで公開されます。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• model-compression
• neural-network-pruning
• image-classification

以下の新しいラベルが作成され、適用されました：

• neural-network-pruning