TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
1.85k stars 224 forks source link

为什么上传的视频会被加速和压缩? #47

Closed ferrymo closed 2 months ago

ferrymo commented 2 months ago

我在以下环境进行测试 https://huggingface.co/spaces/TMElyralab/MuseTalk 使用的MuseV生成的8s视频,在上述环境上传后就变成了2s ,可以解答一下嘛

itechmusic commented 2 months ago

请问方便分享一下你的视频吗?我们测试一下。 在上述的环境,因为保证体验,会把fps太小的视频转换成25fps(不然fps太低口型的准确性体现不出来),但是正常来说不应该改变时长才对。

ferrymo commented 2 months ago

请问方便分享一下你的视频吗?我们测试一下。 在上述的环境,因为保证体验,会把fps太小的视频转换成25fps(不然fps太低口型的准确性体现不出来),但是正常来说不应该改变时长才对。

@itechmusic ,感谢您的回复, github无法上传原视频 提醒超过10MB,我截图给你下,如果有需要我邮箱发你下也行 我补充下,使用自己录制的视频不会出现该问题,出现问题的是使用MuseV生成的视频如下(帧数参数我记得是6): image

上传后只剩余2s,直接看下来只是做了加速压缩了,效果如下: image

我把上传后的视频从新下载了下,效果如下:

https://github.com/TMElyralab/MuseTalk/assets/52627295/40d389e0-032b-4691-aeae-2c05be9dc4e8

itechmusic commented 2 months ago

请问方便分享一下你的视频吗?我们测试一下。 在上述的环境,因为保证体验,会把fps太小的视频转换成25fps(不然fps太低口型的准确性体现不出来),但是正常来说不应该改变时长才对。

@itechmusic ,感谢您的回复, github无法上传原视频 提醒超过10MB,我截图给你下,如果有需要我邮箱发你下也行 我补充下,使用自己录制的视频不会出现该问题,出现问题的是使用MuseV生成的视频如下(帧数参数我记得是6): image

上传后只剩余2s,直接看下来只是做了加速压缩了,效果如下: image

我把上传后的视频从新下载了下,效果如下:

outputxxx_1.mp4

hello, 研究了一下,是space里代码从6fps转成25fps有bug,没有通过补帧的方式实现,所以导致时长被压缩了 https://github.com/TMElyralab/MuseTalk/blob/main/app.py#L354

在我们修复前,你可以先把视频从6fps补帧成25fps使用,如ffmpeg -i input.mp4 -r 25 output.mp4

itechmusic commented 2 months ago

这个问题应该已经被修复了。目前https://huggingface.co/spaces/TMElyralab/MuseTalk 会正确地把视频转换成25fps

ferrymo commented 2 months ago

@itechmusic 已经可以了,谢谢