hzwer / ECCV2022-RIFE

ECCV2022 - Real-Time Intermediate Flow Estimation for Video Frame Interpolation
MIT License
4.49k stars 446 forks source link

有关模型训练问题 #349

Open Liming-belief opened 11 months ago

Liming-belief commented 11 months ago

作者你好,我利用光流预测模型生成的光流图去约束rife生成的光流图,从结果上来看rife生成的光流图整体不错但是在细节方面不是很准确,我目前采用l1对光流计算损失,请问我可以采用其他什么损失能够提高生成光流图的准确性呢?

hzwer commented 11 months ago

你好;我研究过这个问题,我发现光流预测的生成结果和 rife 生成结果的差异,未必能说明是 rife 好还是光流预测好 光流预测约束了物体内的平滑性,光流边缘和图片边缘的一致性,因此人看起来觉得很对,但未必说明那个光流值在帧合成的角度是对的,可以参考文献 TOFlow: Video Enhancement with Task-Oriented Flow

还有一个更大的问题是,在插帧中,物体的运动带有不确定性,因此产生的光流结果可能是一个平均的结果,也导致问题 https://openreview.net/forum?id=QuFHei1vuE&noteId=u22Yw26krb