search

Zz-ww / SadTalker-Video-Lip-Sync

本项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。
1.83k stars 316 forks source link

分享经验：分辨率低的解决方法 #73

Open shirubei opened 8 months ago

shirubei commented 8 months ago

分享一个经验，经过本人多次验证，发现把enhancer 设置为face比设置为lip的清晰度要好，个人感觉两个在唇形的变化方面人眼很难看出来。 --enhancer face

T0L0ve commented 8 months ago

虽然清晰度要好上一些但整体来讲还是比较模糊的。而如果仅保留gfpgan增强之后的结果会更清晰，但问题是会有很明显的拼接痕迹。

shirubei commented 8 months ago

虽然清晰度要好上一些但整体来讲还是比较模糊的。而如果仅保留gfpgan增强之后的结果会更清晰，但问题是会有很明显的拼接痕迹。

期待大佬的解决方案

T0L0ve commented 8 months ago

大佬算不上，但根据我的测试，你把两步增强的顺序换一下就可以获得清晰的脸了

---原始邮件--- 发件人: @.> 发送时间: 2024年1月16日(周二) 下午5:08 收件人: @.>; 抄送: @.**@.>; 主题: Re: [Zz-ww/SadTalker-Video-Lip-Sync] 分享经验：分辨率低的解决方法 (Issue #73)

虽然清晰度要好上一些但整体来讲还是比较模糊的。而如果仅保留gfpgan增强之后的结果会更清晰，但问题是会有很明显的拼接痕迹。

期待大佬的解决方案

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

shirubei commented 8 months ago

大佬算不上，但根据我的测试，你把两步增强的顺序换一下就可以获得清晰的脸了 …

感谢回复。 没太明白你说的“两步增强”的意思，能否详细说说？是不是分两次执行，第一次增强lip，然后第二次face？

T0L0ve commented 8 months ago

代码里不是两步增强的操作嘛，一个是restorer，一个是enhancer，就是对应gfpgan和gpen这两个模型的操作，就把这两个操作顺序颠倒就行。

---原始邮件--- 发件人: @.> 发送时间: 2024年1月16日(周二) 晚上6:47 收件人: @.>; 抄送: @.**@.>; 主题: Re: [Zz-ww/SadTalker-Video-Lip-Sync] 分享经验：分辨率低的解决方法 (Issue #73)

大佬算不上，但根据我的测试，你把两步增强的顺序换一下就可以获得清晰的脸了 …

感谢回复。 没太明白你说的“两步增强”的意思，能否详细说说？是不是分两次执行，第一次增强lip，然后第二次face？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

shirubei commented 8 months ago

代码里不是两步增强的操作嘛，一个是restorer，一个是enhancer，就是对应gfpgan和gpen这两个模型的操作，就把这两个操作顺序颠倒就行。 …

非常感谢，👍 大概明白了。我去研究一下代码。 不明的地方还继续请教你啊🙏

liyuli1997 commented 2 months ago

代码里不是两步增强的操作嘛，一个是restorer，一个是enhancer，就是对应gfpgan和gpen这两个模型的操作，就把这两个操作顺序颠倒就行。 …

非常感谢，👍 大概明白了。我去研究一下代码。 不明的地方还继续请教你啊🙏

您好，您的问题解决了吗