PaddlePaddle / PaddleGAN

PaddlePaddle GAN library, including lots of interesting applications like First-Order motion transfer, Wav2Lip, picture repair, image editing, photo2cartoon, image style transfer, GPEN, and so on.
Apache License 2.0
7.76k stars 1.23k forks source link

first order motion 无法接续训练 #487

Open shiyuleixia opened 2 years ago

shiyuleixia commented 2 years ago

想训练压缩版的FOM模型,根据doc上的教程,先训练了kp_detector,最终收敛结果如下: image 可以看到同比损失在0.2左右 然后继续训练generator,最终收敛结果如下: image generator 训练的效果不好,但也可以接受 最终两个一起训练,修改了配置中的mode为both,以及两个参数路径为上面两个路径里的checkpoint.pdparams,如下: image 这个和刚开始就采用both的mode方式训练没有任何区别,两个权重的参数根本没用上

使用的是develop分之,我看作者把里面部分7X7的卷积核拆成了3个3X3的小卷积,这个我之前在pytorch的模型里尝试过,不过这个应该不影响。

训练的配置文件使用的是firstorder_vox_mobile_256.yaml ,数据集用的voxceleb1的经过预处理的,配置除了mode和两个权重参数路径,其它均没有改动,能问下这个现象正常吗,还是需要调整什么配置

jerrywgz commented 4 months ago

您好,请问问题还是否需要解决,目前相关图像生成能力集成在PaddleMIX中,https://github.com/PaddlePaddle/PaddleMIX/tree/develop 可以在这个repo下提出您的需求