search

harlanhong / CVPR2022-DaGAN

Official code for CVPR2022 paper: Depth-Aware Generative Adversarial Network for Talking Head Video Generation
https://harlanhong.github.io/publications/dagan.html
Other
958 stars 125 forks source link

将生成的头部图像拼接到身体的问题 #24

Open nopeiyu opened 2 years ago

nopeiyu commented 2 years ago

你好，请问有没有考虑过将生成的图像拼接回身体的问题，当前的驱动视频会改变输入图片的表情和动作，造成拼接回去会错位的问题，有没有将动作和表情分开驱动的方法，能否分享下相关的研究？

harlanhong commented 2 years ago

This work utilizes a set of keypoints to represent both head poses and expressions, thus it cannot disentangle these two terms. For your interest, you can refer to this paper: face-vid2vid and its unofficial code. Face-vid2vid utilizes keypoints to represent the expression only and uses a pose network to control the head pose.

nopeiyu commented 2 years ago

你好，你说的项目我看了，整体效果不如这个项目。当前项目采用视频驱动图片的形式，我尝试修改为视频驱动视频的形式，也是能行的，但问题就是生成的图像怎么拼接回去，如果我要在这个项目上修改，我应该修改哪一部分，你能提供一些思路吗，我想了挺长时间没有思路，感谢！

harlanhong commented 2 years ago

你好，

拼接肯定是会错位的，照你的需求， 1）你可以去看看一些换脸的项目，这样就不需要重新拼接 2）把face-vid2vid和DaGAN结合，将expression和head pose进行disentangle.

lincong666 commented 2 years ago

可以考虑用三角剖分处理拼接痕迹问题，或者模糊边缘

nopeiyu commented 1 year ago

可以考虑用三角剖分处理拼接痕迹问题，或者模糊边缘

你是说模糊头部图像的边缘？

daikankan commented 1 year ago

这类FOMM方法好像不太好解决这个问题，要么像作者提到的：1、做人脸融合，2、局部区域生成（比如只生成嘴巴区域，然后后处理融合回原图），3、或者扩大生成区域，不融合回原图。难，我也遇到了：https://github.com/NetEase-GameAI/Face2FaceRHO/issues/25