williamyang1991 / VToonify

[SIGGRAPH Asia 2022] VToonify: Controllable High-Resolution Portrait Video Style Transfer
Other
3.53k stars 442 forks source link

生成的视频无法打开,显示“不支持此项目所用的格式” #55

Closed xuan301 closed 1 year ago

xuan301 commented 1 year ago

我在本地运行自己的视频时,一部分能成功运行也能够打开,一部分运行成功,但是却无法打开这些mp4文件,显示“不支持此项目所用的格式”,请问该如何解决呢? 1678284512816

williamyang1991 commented 1 year ago

你不能打开的MP4的大小(只有几百kb)是否明显小于能打开的? 如果是的,则可能是视频的分辨率不对导致写不进去?

xuan301 commented 1 year ago

您好!成功与失败的视频的分辨率没有明显区分。失败的这些视频(如链接中的FUC-M.mp4)在没有--scale_image的参数下就会产生能够打开的output(链接中FUC-M-NO_SCALE_t中的文件),但是在有--scale_image的参数下就会产生不能打开的output(链接中FUC-M-SCALE_F中的文件)。但是还是希望在有--scale_image的情况下生成,因为没有此参数时生成效果不佳。

如果您需要,可以查看以下链接中的文件,它还包含了一个能够在有--scale_image时成功的视频文件。您能提供相关建议吗?

链接:https://pan.baidu.com/s/1aM2BToztzlwyK130QP73Hg?pwd=7dww 提取码:7dww

williamyang1991 commented 1 year ago

你print一下 视频的 H W https://github.com/williamyang1991/VToonify/blob/35922e049acad7c87c058929b15cef44c9968b30/style_transfer.py#L135-L136

再print一下 rescale 之后 frame.shape

https://github.com/williamyang1991/VToonify/blob/35922e049acad7c87c058929b15cef44c9968b30/style_transfer.py#L156-L156

最后看一下 y_tilde.shape

https://github.com/williamyang1991/VToonify/blob/35922e049acad7c87c058929b15cef44c9968b30/style_transfer.py#L177

看一下是否匹配

xuan301 commented 1 year ago

对于失败的含有Scale的FUC视频: 1678287868640

对于成功的不含有Scale的FUC视频: 1678287956932

对于成功的含有Scale的Muc视频: 1678288046181

请问这存在问题吗?应该如何处理?

williamyang1991 commented 1 year ago

看上去都没问题

你可以直接save图片结果,看看每一帧图片是否正常

在这段代码后面 https://github.com/williamyang1991/VToonify/blob/35922e049acad7c87c058929b15cef44c9968b30/style_transfer.py#L179 添加 save_image(ytilde[k].cpu(), 'result%03d.jpg'%(i+1-x.size(0)+k)) saveimage(x[k].cpu(), 'input%03d.jpg'%(i+1-x.size(0)+k))

xuan301 commented 1 year ago

input的所有图片都为85kb左右,result的所有图片都为655kb左右(且能正常打开),但是生成的卡通化视频依然无法打开(还是上面的FUC视频)该怎么办呢?

williamyang1991 commented 1 year ago

这我也不清楚为什么会出问题了。 但是既然你能把每一帧存下来,你可以再把这些图合成一个新的视频,也许就没有问题了

xuan301 commented 1 year ago

使用opencv合成这些帧,最终的视频还是打不开,但是可以用ffmpeg,这样是成功的,谢谢!