GewelsJI / FSNet

Full-Duplex Strategy for Video Object Segmentation, ICCV, 2021.
Apache License 2.0
65 stars 7 forks source link

rgb与光流的pth文件 #15

Closed YZ1012 closed 1 year ago

YZ1012 commented 1 year ago

您好,作者大大,我想请问一下是否可以提供一下rgb与光流的pth文件,我最近在按照您给的代码训练实验并且做测试,您的代码写的很清楚简洁,我用的是两块2080ti,您在代码中给出的训练的batchsize是16,但是我的显卡显存不够,所以我给设置成了8,在训练的时候遇到过一个问题,是在您的utils文件夹下的func.py文件的最后一句,model.load_state_dict(model_dict),说是权重没有对上,我试了两种方法一种是直接加上false,另外一种是按照您前面处理rgb模型的方法写了一遍flow的,我生成的结果的J最高的在80.4,我也不太清楚是不是因为我的显卡算力问题,还是其他修改的问题,所以想请问一下是否有rgb与光流的训练好的pth文件可以供训练finetune,或者可能有什么原因导致了的训练偏差,我可以继续训练,万分感谢!

GewelsJI commented 1 year ago

👋你好

问题1回复:RGB和Flow的模型文件由于单位变动丢失掉了,两块2080ti可以实现双卡训练(我之前用的TITAN RTX是24GB显存),batchsize应该不用修改

问题2回复:权重对应不上,这一块能够把错误截图放上来,我可以帮你试着解决一下

问题3回复:至于训练偏差,这个是会有的,pytorch版本、BS设定、LR设定都会有影响,这种两阶段训练策略,很看重训练技巧,一定要保证第一阶段所获取到的特征足够好,再去训练第二阶段

希望能够帮助到你

YZ1012 commented 1 year ago

作者大大解答的速度好快啊,非常感谢您的解答,下面两张图是我在训练finetune的时候遇到的问题还有出错的代码行,想请问一下应该怎么处理,谢谢! 问题2 问题1

GewelsJI commented 1 year ago

我分析你这个model_dict是在双卡上训练的,所以权值的state_dict中会有module的前缀,你需要消除这个module前缀的影响即可,一般有两种办法,一个是你在model训练的时候也是用双卡,另外一种就是改为model.module.load_state_dict就可以了,你可以尝试一下。

YZ1012 commented 1 year ago

好的好的,谢谢您的帮助我这就去尝试,麻烦您啦!

zp19990818 commented 1 year ago

请问你解决了吗?我和你的问题一样,但是我是单卡训练的