hzwer / ECCV2022-RIFE

ECCV2022 - Real-Time Intermediate Flow Estimation for Video Frame Interpolation
MIT License
4.35k stars 432 forks source link

将fastmode设置为false后图像的插帧效果不佳 #307

Open Liming-belief opened 1 year ago

Liming-belief commented 1 year ago

我对两张图像进行插帧,在fastmode设置为false后,生成的结果不佳,请问是什么原因导致的。 img1 同时在output中保存的原始图像img0与img1质量有些退化,是什么原因导致的。

hzwer commented 1 year ago
if not fastmode:
     print('contextnet is removed')
    '''
    c0 = self.contextnet(img0, flow[:, :2])
    c1 = self.contextnet(img1, flow[:, 2:4])
    tmp = self.unet(img0, img1, warped_img0, warped_img1, mask, flow, c0, c1)
    res = tmp[:, :3] * 2 - 1
    merged[3] = torch.clamp(merged[3] + res, 0, 1)
    '''

在当前版本 v4.6 中,fastmode=false 理论上只会打印出一行提示信息 以视觉效果为目标的所有模型都推荐使用 fastmode,原因是 refinenet 基本上只是提升 psnr 指标而降低视觉效果

Liming-belief commented 1 year ago

你好,对于两帧图像相差较大的情况下,插帧的结果边缘较为模糊,请问有什么改进方法吗

hzwer commented 1 year ago

你可以考虑用 FILM 方法,他们针对这样的情况进行了优化 https://github.com/google-research/frame-interpolation