OpenTalker / DPE

[CVPR 2023] DPE: Disentanglement of Pose and Expression for General Video Portrait Editing
https://carlyx.github.io/DPE/
MIT License
417 stars 45 forks source link

train_list.txt #19

Open xz0305 opened 10 months ago

xz0305 commented 10 months ago

请问这个文件是需要自己生成吗

Carlyx commented 10 months ago

是的,这个文件是数据处理过程中生成的,处理过程用到了[video-preprocessing。可以重新写一下dataloader直接使用mp4/png格式的数据。

xz0305 commented 10 months ago

好的谢谢,可以发一下你的这个txt文件吗,我想看一下他的格式

Carlyx commented 10 months ago

你好,我目前已经没有相关的文件了,但应该类似于:

1.mp4
2.mp4
3.mp4

表示训练集有上述3个视频。

xz0305 commented 10 months ago

好的 非常感谢

xz0305 commented 10 months ago

`损失函数中,为什么两次用到了自身重建对,与论文中提到的并不一致

        rec_loss = self.criterion_vgg(fake_selfpose, img_target).mean()*2
        rec_loss += self.criterion_vgg(fake_selfexp, img_source).mean()*2

rec_loss += F.l1_loss(fake_selfpose, img_target) rec_loss += F.l1_loss(fake_selfexp, img_source)

而且我理解的是,fake_selfpose和fake_selfexp都应该与img_source计算损失,为什么会使用到img_target呢

xz0305 commented 10 months ago

你好 可以回答一下吗

Carlyx commented 10 months ago

你好,感谢指出,已更正。自重建loss的目标是针对两个生成器进行自生成约束,因此GT应该和输入保持一致。实验中我们给vgg较大的权重,l1较小的权重,并且发现权重的轻微变化对于结果的影响较小。