TamuraMasayuki
commented
1 year ago 2023/5/1
友利さんのコードをそのまま実行してみた
- 最初は一瞬下がるもののencoderとdecoderのlossは100〜1000と高いまま
- 残っていた出力画像と比較すると自分で出力した方が滑らかなので、lossはこれよりも良かったとは考えにくい
- そのため、コード自体に問題があると考えられる
- [ ] lossの推移が異常かどうかを米倉先生に確認する
clone().detach().requiresgrad(True)を削除して学習させてみた
- 下がるには下がるようになった
- meanにしていたところをsumに変更したので、その分絶対値は大きくなった
- 出力形状は大きく改善されたが、良くなったり悪くなったりを繰り返しており、学習が安定していないと言える
Encoder Lossが高止まりしてしまう
Batch sizeが小さいときは最初から小さいので気づきにくいが、値が大きいまま0に近づかない
latent loss（KLダイバージェンス）が大きい。つまり平均と分散が0、1に収束していっていない。
なぜ？
[x] ともりさんのデータでlossが下がるか確認する
[x] データ1つで学習