search

MRzzm / DINet

The source code of "DINet: deformation inpainting network for realistic face visually dubbing on high resolution video."
999 stars 174 forks source link

frame 256的模型同步性很差 #122

Open liwang0621 opened 4 months ago

liwang0621 commented 4 months ago

我是用30个小时的数据进行训练，发现训练到frame 256的模型同步性很差，可以说几乎没啥同步性，这正常吗

tailangjun commented 4 months ago

你的 frame256和 clip256发个效果看看

liwang0621 commented 4 months ago

你的 frame256和 clip256发个效果看看

frame的结果： https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08

clip的结果： https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

tailangjun commented 4 months ago

你的 frame256和 clip256发个效果看看

frame的结果： https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08

clip的结果： https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多，frame256几乎没有色差，但是嘴型同步差一些

liwang0621 commented 4 months ago

你的 frame256和 clip256发个效果看看

frame的结果： https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08 clip的结果： https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多，frame256几乎没有色差，但是嘴型同步差一些

有啥好的建议吗，clip阶段要么嘴巴很奇怪要么就黑白闪烁，一直没训练出一个差不多的结果

tailangjun commented 4 months ago

你的 frame256和 clip256发个效果看看

frame的结果： https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08 clip的结果： https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多，frame256几乎没有色差，但是嘴型同步差一些

有啥好的建议吗，clip阶段要么嘴巴很奇怪要么就黑白闪烁，一直没训练出一个差不多的结果

我训练几轮了，也还没训练出满意的版本

piwawa commented 3 weeks ago

你的 frame256和 clip256发个效果看看

frame的结果： https://github.com/MRzzm/DINet/assets/81345643/efeb1581-cec7-4589-9cee-e641442bac08 clip的结果： https://github.com/MRzzm/DINet/assets/81345643/f245e744-5963-43fb-8b51-f0f6dde6de01

和我这边情况差不多，frame256几乎没有色差，但是嘴型同步差一些

有啥好的建议吗，clip阶段要么嘴巴很奇怪要么就黑白闪烁，一直没训练出一个差不多的结果

我训练几轮了，也还没训练出满意的版本

这网络比起 wav2lip 咋样？