search

TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
2.51k stars 308 forks source link

侧脸时口部区域会出现模糊 #66

Closed zzqwdwd closed 4 months ago

zzqwdwd commented 4 months ago

每次脸部发生扭动时口部区域会产生模糊，请问遇到这种情况该怎么解决呢

https://github.com/TMElyralab/MuseTalk/assets/77482412/9528da58-a78f-4d8e-9821-4f7326019177

czk32611 commented 4 months ago

hello，目前这个问题可能不好解决，因为所用的训练集不包含这种侧脸情况。

zzqwdwd commented 4 months ago

hello，目前这个问题可能不好解决，因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中，发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器，但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗，或者更换人脸检测器会有什么影响吗？

liuzysy commented 4 months ago

当遇到侧脸的时候，生成的视频会断掉，后续的正脸嘴型就不会生成，如何解决这个问题呢 @czk32611

czk32611 commented 4 months ago

hello，目前这个问题可能不好解决，因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中，发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器，但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗，或者更换人脸检测器会有什么影响吗？

应该不会有改善。这里的主要问题是口型生成时对侧脸支持不好，而不是没检测出人脸

zzqwdwd commented 4 months ago

hello，目前这个问题可能不好解决，因为所用的训练集不包含这种侧脸情况。

我在之前另外一个此类项目中，发现更换人脸检测器会使生成的效果有所提升。我在代码中有看到像yolov8这样的人脸检测器，但是好像并没有被用到。请问更换像yolov8类似的人脸检测器会对结果有帮助吗，或者更换人脸检测器会有什么影响吗？

应该不会有改善。这里的主要问题是口型生成时对侧脸支持不好，而不是没检测出人脸

好的知道了，非常感谢你的回答