yusukekyokawa
commented
3 years ago Abst
機械に求められる能力の1つは、データが（通常は）不足しているある領域の知識を別の領域に転送する能力である。様々な深層学習アプリケーションで伝達学習が十分に適応されているにもかかわらず、何が伝達を成功させるのか、また、ネットワークのどの部分が伝達を担当しているのかについては、まだ理解されていない。本論文では、これらの基本的な疑問を解決するための新しいツールと解析を提供する。ブロックシャッフル画像への移行に関する一連の解析を通して、我々は、特徴の再利用の効果とデータの低レベル統計量の学習を分離し、移行学習の利点が後者から得られることを示す。事前に学習された重みから学習した場合、モデルは損失ランドスケープの同じ流域にとどまり、そのようなモデルの異なるインスタンスは特徴空間では類似しており、パラメータ空間では近いことを示す。
書誌情報
論文リンク
https://arxiv.org/pdf/2008.11687v1.pdf
著者/所属機関
Behnam Neyshabur, Hanie Sedghi and Chiyuan Zhang
conf/journal
year
2020
どんな論文か？
転移学習を行った際にネットワーク内部でどんなことがおこっているのかの研究． 解析に用いるツールの提案も同時に行っている．
新規性
手法
結果
コメント