レポートのための観察記録、考察など

[RyotaUshio]

aic.py 中間層のニューロン数を5, 10, 20, 50, 100, 200, 500, 1000, 2000と変えて MNISTを学習させ、それぞれについてAIC・BICを計算し、過学習との関係を調べた。

学習条件:

• 中間層の活性化関数:ReLU
• 出力層の活性化関数:softmax
• 損失関数:多クラス交差エントロピー
• AdaGrad
• eta0 = 0.1
• ミニバッチのサイズ = 200
• 1000エポック

観察

• ニューロン数が多いほど、学習中に損失が振動しなくなる。
• ニューロン数5だと、過学習は見られないか、少なくとも顕著でない(細かくはあととでlog.test_lossを調べる)。むしろ、200--300エポックあたりで汎化誤差が有意にガクッと減少するくらいだった。
• しかしそれより多くすると、過学習が見られた(学習データに対する誤差はどんどん減っていくのに、テストデータに対する誤差はほぼ単調に増加)。
• ただし、その程度は必ずしもニューロン数に比例するわけではない?? そもそも、か学習の程度を定量的に評価する方法は??

次実験するときは、毎回netを上書きしてしまわないでlistにでもappendして残しておこうと思う。 また、正則化の影響も調べたい。

[RyotaUshio]

学習曲線(learning curve)というと思ってたのとはちょっと違うのを指すらしい

[RyotaUshio]

minibatch_iterでshuffle=Falseとすると、損失のグラフが異様に滑らかになるのがわかる。

[RyotaUshio]

Dropoutエグすぎる。dropout=[0.2, 0.5, 0.5] Dropoutなしで計算した検証用データに対する損失は、訓練中の部分ネットワークで計算した訓練データの損失を下回った Accuracyは訓練データで99%以上、テストデータでも98%以上

[RyotaUshio]

Dropout使用時は荷重減衰を使わないほうがいいっぽい。

[RyotaUshio]

自己符号化器(autoencoder)の実験。積層の場合、Encoder側の活性化関数にReLUを多段で重ねると信号の値がかなり大きくなり、 Decoder側を全部sigmoidにしたりすると、(sigmoidは原点から遠いほど平らになるので)内側のsimple autoencoderの出力はほとんど二値化のようになってしまった。sigmoidを出力層だけにするとうまくいった。

[RyotaUshio]

MLPの最後の隠れ層の出力は線形分離可能、またはいくつかの超平面でほぼ分離可能になっているはずなので、それを特徴抽出・クラスタリングに使えないか？と思った。結果は鮮やかだった！(mlp3d.py, fig/mlp3d_[123].png) 1,2はReLU、3はtanh

[RyotaUshio]

テストデータ集合を同じようにプロットするとfig/mlp3d_test.pngのようになった。訓練データでは1つのクラスがシュッとまとまってクラス間が分離しており、その間の領域はスカスカになっていてすばらしかった。が、テストデータではそうはいかないこともわかった。過学習との関係でこれを調べても面白そう(過学習対策しないときは訓練データの分離がすばらしいがテストデータはそうでもない、対策すると訓練データはそこそこだがテストデータもそんなに悪くならない、などありえそう)。

[RyotaUshio]

PCAは団子みたいになってカス。

[RyotaUshio]

クラスタリングにおける正規化(~白色化)の意義 参考：https://www.kamishima.net/archive/clustering.pdf のp.41

[RyotaUshio]

mlp3d.pyの訓練結果。

• pkl/mlp3d.pkl Dropoutなし、weight decayなし
• pkl/mlp3d_only_dropout.pkl Dropoutあり、weight decayなし
• pkl/mlp3d_dropout_weight_decay.pkl Dropoutあり、weight decayあり なぜか後ろ二つは全く同じパラメータが得られた。