Googolxx / STF

Pytorch implementation of the paper "The Devil Is in the Details: Window-based Attention for Image Compression".
Apache License 2.0
161 stars 20 forks source link

模型训练相关 #22

Closed Jerrry-Li closed 1 year ago

Jerrry-Li commented 1 year ago

你好大神,1:我训练你模型时源代码里使用MultiStepLR修改了学习率,但是train的时候学习率依然没变,这个bug你修复了吗?如果修复了请问您是如何修复的呢? 2: 还有一个现问题就是在compressai 框架下您是如何加载预训练模型呢? 期待并感谢您的回复!!!

Googolxx commented 1 year ago

1.目前的代码里确实有学习率的bug,加载模型继续训练的时候,手动调整学习率会失效,会被加载的优化器参数覆盖。我目前还没修复这个bug。解决方法很简单,最粗暴的就是把train.py里的323-325行直接删掉,并不会影响性能。但你用MultiStepLR替换掉optim.lr_scheduler.ReduceLROnPlateau的话,不需要其他的修改,它应该就会按你给的策略正常改变学习率吧? 2.这个问题我没太理解,可以再详细一点说明吗?

Jerrry-Li commented 1 year ago

谢谢大神!!第二个问题我举个例子:比如实验室突然停电了,训练的模型留下的有bestcheckpoint ,为了不浪费时间重新训练,我该怎么加载这个bestckpt,在他的基础上进行训练呢,这个问题也许有点简单,对于我这个小白来说挺难的5555,类似于怎么在mse训练出来的ckpt上进行ms-ssim微调。 期待您的回复 感激不尽!!

Googolxx commented 1 year ago

加载模型的时候,给这个参数赋值ckpt的路径就行了。

Jerrry-Li commented 1 year ago

谢谢谢谢大哥!!