search

hzwer / ECCV2022-RIFE

ECCV2022 - Real-Time Intermediate Flow Estimation for Video Frame Interpolation
MIT License
4.39k stars 438 forks source link

模型训练效果不佳 #311

Closed Liming-belief closed 4 months ago

Liming-belief commented 1 year ago

你好，我参照Vimeo90K格式制作了自己的数据集使用train.py训练模型，但是loss_distill损失会随着训练慢慢的发散掉直至nan，请问这是什么原因？采用模型中提供的其他损失来训练网络，但是结果却不佳，请问我该采用哪些损失函数以及对应权重才能训练出较好的效果呢。

hzwer commented 1 year ago

你好，这个 codebase 应该没太大问题，Vimeo90K 不少人复现过，我也跨框架复现了 损失函数就是这里写的这个 https://github.com/megvii-research/ECCV2022-RIFE/blob/546a691173a689039ebbfca4a9cd5b6b4ca3555a/model/RIFE.py#L81

你在 tensorboard 中能看到生成图片的结果吗？输入输出图片看起来正常吗？

如果可以的话，直接在预训练模型的基础上继续训练？我没见过训成 nan 的情况。

如果没找到 bug，loss 发散，可能考虑调大 weight decay 和调小一点学习率

Liming-belief commented 1 year ago

感谢您的及时回复 我没在train.py文件发现加载预训练权重相关的代码，该文件训练的是IFNET而不是IFNET_HDv3，请问IFNET对应的预训练文件我该在哪里下载呢。

hzwer commented 1 year ago

IFnet 就是原版 arXiv，在 https://github.com/megvii-research/ECCV2022-RIFE#evaluation