search

yulunzhang / RCAN

PyTorch code for our ECCV 2018 paper "Image Super-Resolution Using Very Deep Residual Channel Attention Networks"
1.38k stars 314 forks source link

有关网络结构的问题 #29

Closed splinter21 closed 5 years ago

splinter21 commented 5 years ago

您在每个小组和大组的堆叠的RCAB后与残差操作前，均加了一个卷积层，请问这个卷积层的作用是什么，能否去除？

yulunzhang commented 5 years ago

您好， 这个卷积层，主要是让其前面能叠加很多个residual block或者residual group，使得这样的残差结构能够训练起来。这其实是借鉴了SRResNet里面的做法（很多residual block叠加之后，以及在long skip connection之前，加一个卷积层）。 不能去除，去除的话，结果就不行了。

splinter21 commented 5 years ago

您好， 我还有一个有关学习率的疑问，除去CA模块外的部分，和EDSR的block是一致的，初期学习率是1e-4，在加上CA模块后，CA模块的学习率没有另外设置，请问这个是刚好也是1e-4合适吗，还是说CA模块的学习率无需在意？如果我更改了网络需要更改网络的学习率导致不是1e-4，我是否需要在optimizer代码里另外加上找到CA模块让其中的卷积层的学习率控制在1e-4，采用不同层不同学习率的方案？

yulunzhang commented 5 years ago

您好， 无需额外设置CA的学习率，保持和其他部分一样的学习率就行。

splinter21 commented 5 years ago

您好， 我在用您的默认配置，200epoch时decay，到250epoch时loss已经能下降到3.15，我有没有必要跑完所有的1000epoch？因为GPU资源不足，如果可以的话希望直接进行下一个实验。

yulunzhang commented 5 years ago

您好， 如果，你模型没有完全确定下来，你可以只跑这么多epoch。 如果，你的模型确定下来，你想跑为论文准备的结果，我建议你跑完1000个epoch。

splinter21 commented 5 years ago

Hi！ 看到你在arxiv投的新文章《Residual Dense Network for Image Restoration 》，上面有关super resolution的指标比CVPR2018的版本高了不少，但是网络图看上去没有变化，想请教一下这个指标的提升是有什么策略吗？ 谢谢！

splinter21 commented 5 years ago

@yulunzhang 以及F-1与F0之间的conv的必要性这个有通过对照实验验证过吗?如果是换成一个block，等于就是最早的block不加入concat而已。conv的效果肯定没有block好，我认为有点多余。

yulunzhang commented 5 years ago

Hi！ 看到你在arxiv投的新文章《Residual Dense Network for Image Restoration 》，上面有关super resolution的指标比CVPR2018的版本高了不少，但是网络图看上去没有变化，想请教一下这个指标的提升是有什么策略吗？ 谢谢！

Hi, Two differences: Input size: 32x32 --> 48x48 (same as EDSR) Training data: DIV2K --> DIV2K + Flickr2K (same as SRMDNF, D-DBPN)

yulunzhang commented 5 years ago

@yulunzhang 以及F-1与F0之间的conv的必要性这个有通过对照实验验证过吗?如果是换成一个block，等于就是最早的block不加入concat而已。conv的效果肯定没有block好，我认为有点多余。

Hi, This conv you mentioned is intended for another usage. In the current version, I didn't show it. Then, it seems to be useless.