search

Zz-ww / SadTalker-Video-Lip-Sync

本项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。
1.74k stars 295 forks source link

效果还是不错的，大家用的时候注意这个关键点 #50

Open lzw504504 opened 10 months ago

lzw504504 commented 10 months ago

多次测试发现，其实做为素材的视频，保持嘴部不动就可以了。反而原视频如果嘴一直在动，合成出来的视频嘴部效果就很奇怪。

https://github.com/Zz-ww/SadTalker-Video-Lip-Sync/assets/49013044/d8d56d4d-456c-47b4-9368-f8279302c39b

附上一段我们生成的测试视频，看着效果还行，这个原视频嘴是一直闭着的

zephyr737 commented 8 months ago

请问您这这个视频的原素材，就是十几秒的未处理的视频吗？

xiaoyang333 commented 7 months ago

假如我只有一张图片，如何生成这个人不说话的静默视频，还能加点摇头晃脑

lzw504504 commented 7 months ago

请问您这这个视频的原素材，就是十几秒的未处理的视频吗？ 原素材就是一段20秒的视频，原始视频嘴一直闭着的

shirubei commented 6 months ago

多次测试发现，其实做为素材的视频，保持嘴部不动就可以了。反而原视频如果嘴一直在动，合成出来的视频嘴部效果就很奇怪。 附上一段我们生成的测试视频，看着效果还行，这个原视频嘴是一直闭着的

赞同。以前试过，拿一个正在说话的视频来验证，结果就感觉一般般。今天测试的时候拿的一个嘴不动的视频，加上配音，虽然分辨率下降了，但唇形感觉效果不错。

T0L0ve commented 6 months ago

拿一个正在说话的视频，用一段静默音频驱动，结果就和原视频是一样的。可能是在原视频基础上再对嘴部修改？

shirubei commented 6 months ago

拿一个正在说话的视频，用一段静默音频驱动，结果就和原视频是一样的。可能是在原视频基础上再对嘴部修改？

本来就是这样啊

skeletonNN commented 2 months ago

如何将说话的视频变成闭嘴呢？