yz-wang / Cycle-SNSPGAN

MIT License
12 stars 2 forks source link

about the dataset #3

Open diadestiny opened 1 year ago

diadestiny commented 1 year ago

您好,感谢您的工作! 请问文章采用的数据集能公开么 image 还想请问下table I 对比的方法数据是怎么得到的,很多和对比方法原文公布的SOTS outdoor结果对不上呢 image 期待您的回复,谢谢!

yz-wang commented 1 year ago

你好,图片中的数据集和实验数据并不是这篇工作的,是我们另一篇在审的论文,后续论文出版后会公布数据集。关于你说的结果与原文公布的SOTS outdoor结果对不上,请问是我们的结果比原文低还是什么?所有开源的模型,我们都是自己训练得到的结果。数据应该都没有问题。有一种可能是,很多原始论文给出的是SOTS数据集(包含indoor和outdoor部分),而我们主要关注的是outdoor,因此结果与完整的SOTS会有差别。

diadestiny commented 1 year ago

抱歉,当时截图错了,我不怀疑您们方法结果的有效性,主要我想follow目前比较新的unpaired/weakly supervised/unsupervised settup的dehaze工作,但是基本上PSD、DAD、RefinedNet、D4、以及您的两篇工作等,论文table的数据都不同,想找一个可复现,性能较好,比较新的工作来follow,请问您有什么建议么; 换而言之,就是比如您这篇工作提到的train数据集设置,那这个数据集设置可以公开么(随机3000张RTTS/URHI,6000张OTS),或者您是基于哪个开源代码工作的数据集设置进行训练的呢,还是这个数据集设置是您们自己提出的呢。 image 我看您两篇论文的table1对比的方法除了最后一行提出本文的方法,其他是一样的,所以截图错了,不过表达的问题还是以上问题。 image

yz-wang commented 1 year ago

数据集的设置是我们自己提出的,选择3000RTTS/3000URHI是想提高数据集的多样性,清晰图像选择OTS,因为ITS是室内不符合现实世界当中的有雾情况,另一方面是证明论文的有效性,仅使用6000张图像就能取得很好的结果。有些无监督dehaze论文是在完整的ITS数据集上跑,当然也有在完整RTTS或URHI上跑的,具体还是看你的模型大小,部分大模型在几千量级的数据上很难拟合,比如在完整OTS数据集(30W+图片)上训练。

diadestiny commented 1 year ago

好的了解了,还有一个问题想请教下,如果用自己提出的数据集设置,您在对比table1的时候需要怎么确保公平性,是不是向您刚刚说的一样,把其他代码尽量在您提出的数据集设置自己重新训练再测试,还是直接用其他方法公布的pretrained model来测试。

yz-wang commented 1 year ago

对,你在评估的时候需要讲清楚实验,例如监督学习的方法需要pair的数据,那么你就需要说明监督方法是在ITS还是OTS上训练的,而无监督方法,你需要保证评估的公平性,即你自己的无监督是怎么训练的,那么其他无监督方法也应该是这样训练