YutaroOgawa / pytorch_advanced

書籍「つくりながら学ぶ! PyTorchによる発展ディープラーニング」の実装コードを配置したリポジトリです
MIT License
844 stars 334 forks source link

【第5章】カラー画像におけるSelf-Attention GANモデルの構築の質問 #176

Open 146790g opened 3 years ago

146790g commented 3 years ago

初版のPage277のGeneratorクラスのlastレイヤーのnn.ConvTranspose2dの引数の『1』を『3』に変更し、そして、page278のDiscriminatorクラスの第1レイヤーのnn.Conv2dの引数の『1』を『3』に変更して、カラー画像に対して、モデルを構築して実行しましたところ、Epochが3くらいから早くもd_lossが0になってしまいます。 dcganのカラー画像におけるモデルについては、「ganディープラーニング実装ハンドブック」に記載されておりますが、SAGANのカラー画像への適用については、どこにもみあたりません。しかし、応用としては、白黒画像ではなく、カラー画像の方が圧倒的に応用例があります。どのようにすれば、カラー画像でSAGANモデルを構築できるでしょうか?

YutaroOgawa commented 3 years ago

@146790g さま

ご質問いただき、誠にありがとうございます。

本書のネットワークは白黒画像のMNISTを想定した非常に小さなものになっています。

カラー画像の生成のためには、ネットワークを工夫する必要があるかと思います(もう少し複雑なものにしないと、カラー画像がうまく生成できないかと)。

またすぐにd_lossが0になるということは、生成画像と用意したカラー画像の区別が簡単につくということなので、ここもどうにかする必要があります。

本書で引用しているGitHubではカラー画像の生成を実施しております。 こちらのコードを参考にしてみるのが良いのではと思いました。

以下となります。

https://github.com/heykeetae/Self-Attention-GAN

どうぞよろしくお願い致します。

146790g commented 3 years ago

Ogawa さま

Githubのリンクありがとうございます。参考にさせていただきます。DCGANと異なり、SAGANの場合にはネットワークのモデル、損失関数もカラー画像の際には改変が必要のようです。

ご回答誠にありがとうございました。