Open fulfulggg opened 3 weeks ago
fulfulggg
commented
3 weeks ago @yukihiko-fuyuki が以下のラベルを提案し、適用しました：
以下の新しいラベルが作成され、適用されました：
fulfulggg
commented
3 weeks ago この論文は、初期値プルーニング (PaI) という、ニューラルネットワークのトレーニング前に不要な接続を削除して計算コストを削減する手法を改善する新しい方法を提案しています。
従来の PaI 手法は、反復的に枝刈りを行う手法と比較して精度が劣る場合がありました。この論文では、反復枝刈りの利点を PaI に取り入れることで、この問題を解決しています。
提案手法 (AutoSparse) の要点:
成果:
結論:
本研究は、反復枝刈りの考え方を PaI に導入することで、より効果的な枝刈りを実現しました。AutoSparse は、高精度なニューラルネットワークの開発と、その計算コスト削減に貢献する可能性があります。
タイトル: 反復枝刈りによる初期化時の効果的な枝刈りの学習
リンク: https://arxiv.org/abs/2408.14757
概要:
初期値プルーニング（PaI）は、トレーニング前に重みを削除することでトレーニングコストを削減します。これは、ネットワークサイズが大きくなるにつれてますます重要になっています。しかし、現在の PaI 手法は、特に高いスパースレベルでは、反復的なプルーニングと比較して依然として大きな精度ギャップがあります。これは、PaI のパフォーマンスを向上させるために、反復的なプルーニングからインスピレーションを得ることができるかという興味深い疑問を提起します。宝くじ仮説では、反復巻き戻しプルーニング（IRP）は、すべてのプルーニング反復でパラメータを元の初期値に巻き戻すことにより、遡及的にサブネットワークを見つけます。これは、すべてのサブネットワークが初期状態に基づいていることを意味します。ここで、生き残ったサブネットワークがより重要であり、初期の特徴と生き残ったスコアを PaI 基準として橋渡しすると仮定します。この相関関係を学習するために、エンドツーエンドのニューラルネットワーク（\textbf{AutoS}parse）を採用し、モデルの初期特徴を入力し、そのスコアを出力してから、トレーニング前に最も低いスコアの パラメータをプルーニングします。この方法の精度と汎化性を検証するために、さまざまなモデルで PaI を実行しました。その結果、私たちのアプローチは、高スパース設定で既存の方法よりも優れていることがわかりました。特に、モデルプルーニングの基本的なロジックは異なるモデルで一貫しているため、1 つのモデルで 1 回だけ IRP を実行するだけで済みます（たとえば、ResNet-18/CIFAR-10 で 1 回 IRP を実行すると、AutoS は VGG-16/CIFAR-10、ResNet-18/TinyImageNet などに一般化できます）。ニューラルネットワークベースの PaI 手法として初めて、このアプローチに影響を与える要因を検証するために、広範な実験を実施しました。これらの結果は、ニューラルネットワークの学習傾向を明らかにし、実際的な観点から PaI の理解と研究に新しい洞察を提供します。私たちのコードは https://github.com/ChengYaofeng/AutoSparse.git で入手できます。