e4exp
commented
2 years ago 1 はじめに
ニューラルネットワークを学習するには，高次元の非凸損失関数を最小化する必要があります． この作業は，理論的には困難ですが，実際には簡単な場合もあります． 一般的なニューラル損失関数の学習はNP困難であるにもかかわらず[2]，単純な勾配法では，学習前にデータやラベルがランダム化されていても，大域的最小化（学習損失がゼロまたはゼロに近いパラメータ構成）が見つかることが多い[42]． しかし，このような良好な動作は普遍的なものではなく，ニューラルネットの学習可能性は，ネットワークアーキテクチャ設計の選択，オプティマイザの選択，変数の初期化，およびその他のさまざまな考慮事項に大きく依存します． 残念ながら、これらの選択が損失面の構造に与える影響は明らかではありません。 損失関数の評価には膨大なコストがかかるため（トレーニングセットのすべてのデータポイントをループする必要がある）、この分野の研究は主に理論的なものにとどまっている。 視覚化は、ニューラルネットワークがなぜ機能するのかといういくつかの重要な疑問に答えるのに役立つ可能性があります。 特に、非凸性の高いニューラルロス関数をなぜ最小化できるのか？ また、なぜ結果的に最小値が一般化されるのか？ これらの疑問を明らかにするために、高解像度の視覚化を用いて、ニューラル損失関数の経験的な特徴を示し、ネットワークアーキテクチャの選択の違いが損失ランドスケープにどのように影響するかを調べます。 さらに、ニューラルロス関数の非凸構造が学習可能性にどのように関係するか、また、ニューラルミニマムの形状（シャープネス／フラットネス、および周囲のランドスケープ）が一般化特性にどのように影響するかを調べます。 これを意味のある方法で行うために、我々は単純な「フィルタの正規化」スキームを提案し、学習中に見つかった異なる最小値を並べて比較することを可能にする。 そして、様々な手法で発見された最小値のシャープネス／フラットネス、ネットワークアーキテクチャの選択（スキップ接続の使用、フィルタの数、ネットワークの深さ）が損失地形に与える影響を、視覚化して調べます。 我々の目標は、損失関数の形状がニューラルネットの汎化にどのように影響するかを理解することです。
1.1 概要
損失関数を意味のある形で可視化する方法を研究する。 そして，これらの可視化手法を用いて，損失関数の形状がどのように汎化誤差や学習可能性に影響するかを探る． 具体的には、以下のような課題を解決する。
- 損失関数の可視化手法の欠点を明らかにし、単純な可視化手法では、損失関数の最小化の局所的な形状（シャープネスやフラットネス）を正確に捉えることができないことを示す。
- 我々は、"フィルタの正規化 "に基づいた単純な可視化方法を提示する。この正規化を用いると、ネットワークアーキテクチャや学習方法が異なっていても、最小化器の鋭さと汎化誤差がよく相関する。これにより、異なる最小化器を並べて比較することができます1。
- ネットワークが十分に深くなると、ニューラル・ロス・ランドスケープは、凸に近い状態から非常にカオスな状態へと急速に変化することがわかった。この凸型からカオス型への移行は、汎化誤差の劇的な減少と同時に、最終的には学習可能性の欠如につながる。
- スキップ接続が平坦な最小化器を促進し、カオス的な振る舞いへの移行を防ぐことを観察し、スキップ接続が非常に深いネットワークの学習に必要な理由を説明する。
- 非凸性を定量的に測定するために、ローカルミニマム付近のヘシアンの最小（最も負の）固有値を計算し、その結果をヒートマップとして可視化します。
- SGD最適化の軌跡の可視化について研究しています。軌跡を可視化する際に生じる困難を説明し、最適化の軌跡は極めて低次元の空間にあることを示します。この低次元性は、2次元の可視化で観察されたような、損失の風景の中に大きな、ほぼ凸の領域が存在することで説明できます。
ニューラルネットワークの学習は，非凸性の高い損失関数の「良い」最小化器を見つけられるかどうかにかかっています． ある種のネットワークアーキテクチャ（スキップ接続など）は、学習しやすい損失関数を生成し、選択された学習パラメータ（バッチサイズ、学習率、オプティマイザ）は、一般化しやすい最小化器を生成することはよく知られています。 しかし、これらの違いの理由や、損失関数の構造への影響についてはよくわかっていません。 本論文では、さまざまな可視化手法を用いて、ニューラル損失関数の構造と、損失ランドスケープが汎化に与える影響を探ります。 まず、損失関数の曲率を可視化し、損失関数を横に並べて比較するのに役立つ単純な「フィルタ正規化」手法を紹介する。 また、ネットワークアーキテクチャが損失地形にどのような影響を与えるのか、学習パラメータが最小化器の形状にどのような影響を与えるのかを、様々な可視化手法を用いて検証します。