球状物体插帧失败

hzwer / ECCV2022-RIFE

ECCV2022 - Real-Time Intermediate Flow Estimation for Video Frame Interpolation

MIT License

4.4k stars 438 forks source link

Closed dawei03896 closed 2 years ago

dawei03896 commented 3 years ago

作者你好，我尝试使用RIFE HDv2模型对包含球类的视频进行插帧时发现插帧效果比较差，不知道你有没有什么建议可以缓解这一问题。我把测试用的图片放在下面。 Beanbags

routineLife1 commented 3 years ago

scale调成0.25或者0.5试试

hzwer commented 3 years ago

本月内会发新模型。

hzwer commented 3 years ago

v3.8 好一些，但没有完美解决，感觉小物体得用前向流才能做好

dawei03896 commented 3 years ago

比之前要好，看到rife3.x后期的工作，把ContextNet和FusionNet都拿掉了，想请教一下，这个是处于什么考虑？和之前相比，效果上有什么影响没？

hzwer commented 3 years ago

@dawei03896 因为从观感上看，去掉它们对视频的视觉效果影响较小，为了加速的考虑就去掉了

dawei03896 commented 3 years ago

@hzwer 看rife3.8版本的训练代码，

在update()函数中，对loss_smooth = self.sobel(flow[2], flow[2]*0).mean()的计算不太理解，能否大概讲讲？
在loss计算部分感觉代码不是太完整，后续是否有完整的训练代码给出？非常感谢！

hzwer commented 3 years ago

@dawei03896 有些代码只是实验性的，这个 loss 本意是在 flow 上计算一个类似于 tv loss 的东西；v3 以后的算法短期内无开源计划，原因是我们暂时没有专利也没有论文发表