search

The-Learning-And-Vision-Atelier-LAVA / DASR

[CVPR 2021] Unsupervised Degradation Representation Learning for Blind Super-Resolution
MIT License
387 stars 50 forks source link

关于训练退化表示模型 #50

Open Gideon1998 opened 2 years ago

Gideon1998 commented 2 years ago

作者您好，我想自己训练一个模型，对于训练退化表示的网络，我应该如何修改代码，为何k取32×256＝8192，其中256是什么？是32个退化的图片每个截取256个patch吗？感谢您的解答

LongguangWang commented 2 years ago

Hi @Gideon1998，我们这里取了一个经验值。可以参考这里。

Gideon1998 commented 2 years ago

Hi @Gideon1998，我们这里取了一个经验值。可以参考这里。

非常感谢，还有一个问题就是使用t-SNE进行可视化时使用的是经过encoder后的特征向量，还是mlp后面的特征向量？我用自己的训练集训练发现对比学习的loss没有下降，所以我想可视化一下。非常感谢您的解答！

Gideon1998 commented 2 years ago

可以分享一下t-SNE和可视化的代码吗？非常感谢

LongguangWang commented 2 years ago

Hi @Gideon1998，请参考这个回答。

Gideon1998 commented 2 years ago

感谢您的回答，我在训练自己不同压缩的数据时(不同crf)，发现moco的对比学习没有work，loss不下降，可视化是混在一团，我只分类两种降质所以queue我设置为2×256，请问这是为什么呢？

LongguangWang commented 2 years ago

Hi @Gideon1998, 请首先检查一下计算loss的时候正负样本是否使用正确，是否和标签匹配；另外，负样本队列的规模对性能有比较大的影响，2*256感觉小了点，可以使用大些的负样本队列。

Gideon1998 commented 2 years ago

在训练时，在线制作lr时，不同的batch里面退化都是不一样的吗？完全随机选模糊核？

LongguangWang commented 2 years ago

@Gideon1998 是的，在线制作lr时随机选模糊核。