请问下怎么训练自己的数据集来生成光流图像？

[coolbeam]

您好， 您可以参考我们论文中的方法， 这里提供了RealFlow.py，可以用来生成数据集。 然后使用生成的数据集， 您可以使用现有的光流网络训练代码， 参考princeton-vl/RAFT进行网络训练。 详细方法请参考RealFlow论文。 这里提供了RealFlow论文中数据生成的部分代码，网络训练代码是使用的princeton-vl/RAFT代码。

[aitangbodan]

感谢您及时的回复！      大佬您好，RealFlow.py用来生成数据集需要用到光流模型，那这个光流模型是用什么数据集得到的呢？预训练模型？比如您的论文中RF-Ktrain的生成。我在论文中只找到了相关的一句话We first generate RF-Ktrain dataset using the same training videos as the unsupervised method UPFlow [29].但好像没有说明怎么生成的，期待您的回复。  

♂逍遥梦♀ @.***

 

------------------ 原始邮件 ------------------ 发件人: "kunming @.>; 发送时间: 2022年12月8日(星期四) 中午11:06 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [megvii-research/RealFlow] 请问下怎么训练自己的数据集来生成光流图像？ (Issue #5)

您好， 您可以参考我们论文中的方法， 这里提供了RealFlow.py，可以用来生成数据集。 然后使用生成的数据集， 您可以使用现有的光流网络训练代码， 参考princeton-vl/RAFT进行网络训练。 详细方法请参考RealFlow论文。 这里提供了RealFlow论文中数据生成的部分代码，网络训练代码是使用的princeton-vl/RAFT代码。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[coolbeam]

可能是论文里面讲得不够清楚带来了这个困惑吧， 非常抱歉。

1. 我们都是用C+T(flying chairs 和flying things)预训练的RAFT模型来进行第一波数据集生成的，在RealFlow.py里面直接载入预训练的RAFT模型就可以，如RAFT-things
2. 在生成了第一波数据集以后， 后面是迭代的finetune+再生成数据的过程， 这里没有给训练的代码， 因为是采用的已有方法的训练code

[aitangbodan]

感谢大佬的及时回复！我的问题解决了。  

♂逍遥梦♀ @.***

 

------------------ 原始邮件 ------------------ 发件人: "kunming @.>; 发送时间: 2022年12月8日(星期四) 下午5:42 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [megvii-research/RealFlow] 请问下怎么训练自己的数据集来生成光流图像？ (Issue #5)

可能是论文里面讲得不够清楚带来了这个困惑吧， 非常抱歉。

我们都是用C+T(flying chairs 和flying things)预训练的RAFT模型来进行第一波数据集生成的，在RealFlow.py里面直接载入预训练的RAFT模型就可以，如RAFT-things

在生成了第一波数据集以后， 后面是迭代的finetune+再生成数据的过程， 这里没有给训练的代码， 因为是采用的已有方法的训练code

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>