Hiroshiba / become-yukarin

Convert your voice to favorite voice
https://hiroshiba.github.io/blog/became-yuduki-yukari-with-deep-learning-power/
MIT License
576 stars 88 forks source link

1段目学習時のdiscriminator/accuracy #31

Closed miyasou714 closed 6 years ago

miyasou714 commented 6 years ago

1段目の学習についてなのですが discriminator/accuracyの推移を見ると 以前こちらのissue https://github.com/Hiroshiba/become-yukarin/issues/10 で回答されていたような挙動とは異なった推移をしています GANのaccuracyとしては上下しながら減少していくのが自然かと考えたのですが… いくつかモデルの学習を行った際にaccuracyの推移の傾向が毎回異なるなどはありましたか? (学習データはATR503文中のサブセットjを除いた450文を使用しております) tda

predictor/lossも図示してみたのですが 250*250iteration付近から上昇しているのが気になります これはpredictorの学習に失敗しているということでしょうか? ploss

Hiroshiba commented 6 years ago

いくつかモデルの学習を行った際にaccuracyの推移の傾向が毎回異なるなどはありましたか?

多少異なることはありましたが、大まかな形は似たり寄ったりでした。

これはpredictorの学習に失敗しているということでしょうか?

なんとも言えませんが、余りいい感じに学習できていない気がします。 こうなる理由としては、例えばDiscriminatorが強すぎる、もしくは過学習しているなどが考えられます。

まず最初にですが、predictorが悪いのか、GAN(discriminator)が悪いのかを切り分けると良いように感じます。 (config.jsonのlossのadversarialを0にすれば、discriminatorを無視して学習することが出来ます。)

これは私の経験なのですが、Discriminatorのaccuracyが1に張り付くと、良い音声変換になりません。 predictorがそれなりにうまく学習できたら、次は、Discriminatorが強すぎるのをなんとかすると良いと思います。