cschenxiang / NeRD-Rain

Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining (CVPR 2024)
132 stars 8 forks source link

指标测试代码 #2

Closed Windrain7 closed 4 months ago

Windrain7 commented 4 months ago

你好,请问为什么要使用两种matlab代码对结果进行测试,两种matlab代码的计算函数是相同的吗?

cschenxiang commented 4 months ago

你好,请问为什么要使用两种matlab代码对结果进行测试,两种matlab代码的计算函数是相同的吗?

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer

对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

Windrain7 commented 4 months ago

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer

对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

原来的DRSformer主要是和IDT方法进行比较。IDT提到,Rain200H/Rain200L/DDN/DID/SPA: evaluaterain.m,即这些数据集都使用这一份指标计算代码。为什么DRSformer要将DID和DDN拿出来用其他的测试代码?

cschenxiang commented 4 months ago

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer 对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

原来的DRSformer主要是和IDT方法进行比较。IDT提到,Rain200H/Rain200L/DDN/DID/SPA: evaluaterain.m,即这些数据集都使用这一份指标计算代码。为什么DRSformer要将DID和DDN拿出来用其他的测试代码?

您好,我们的定量结果并没有直接引用于IDT的原始论文。对比算法的定量结果主要与下述工作的表格保持一致,包括Rain Streak Removal via Dual Graph Convolutional Network,Continual Image Deraining With Hypergraph Convolutional Networks。因此我们的计算方式与他们保持相同,即Rain200H/Rain200L/SPA-Data和DID/DDN采用不同的计算。

cschenxiang commented 4 months ago

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer 对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

原来的DRSformer主要是和IDT方法进行比较。IDT提到,Rain200H/Rain200L/DDN/DID/SPA: evaluaterain.m,即这些数据集都使用这一份指标计算代码。为什么DRSformer要将DID和DDN拿出来用其他的测试代码?

您提到的问题,在我们的图像去雨综述中也阐述了这一问题,相关文献地址:https://arxiv.org/abs/2310.03535

Windrain7 commented 4 months ago

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer 对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

原来的DRSformer主要是和IDT方法进行比较。IDT提到,Rain200H/Rain200L/DDN/DID/SPA: evaluaterain.m,即这些数据集都使用这一份指标计算代码。为什么DRSformer要将DID和DDN拿出来用其他的测试代码?

您好,我们的定量结果并没有直接引用于IDT的原始论文。对比算法的定量结果主要与下述工作的表格保持一致,包括Rain Streak Removal via Dual Graph Convolutional Network,Continual Image Deraining With Hypergraph Convolutional Networks。因此我们的计算方式与他们保持相同,即Rain200H/Rain200L/SPA-Data和DID/DDN采用不同的计算。

但是这两篇论文似乎都没有给出代码,反倒是只有IDT给了。您是怎么获得计算方式的?

cschenxiang commented 4 months ago

您好,首先我们的测试方式也保持和之前的工作DRSformer表格保持测试相同:https://github.com/cschenxiang/DRSformer 对于不同的去雨数据集,先前的对比算法定量结果是源于其他两部分工作,且他们的测试代码是不同的,因此我们这里汇合了这两种方式来公平比较与先前对比方法的结果。

原来的DRSformer主要是和IDT方法进行比较。IDT提到,Rain200H/Rain200L/DDN/DID/SPA: evaluaterain.m,即这些数据集都使用这一份指标计算代码。为什么DRSformer要将DID和DDN拿出来用其他的测试代码?

您好,我们的定量结果并没有直接引用于IDT的原始论文。对比算法的定量结果主要与下述工作的表格保持一致,包括Rain Streak Removal via Dual Graph Convolutional Network,Continual Image Deraining With Hypergraph Convolutional Networks。因此我们的计算方式与他们保持相同,即Rain200H/Rain200L/SPA-Data和DID/DDN采用不同的计算。

但是这两篇论文似乎都没有给出代码,反倒是只有IDT给了。您是怎么获得计算方式的?

您好,虽然IDT提供了指标测试代码,但没有提供其他一些对比算法的视觉结果,这导致在定性结果比较上并不方便。为此,我们并没有采用这种方式。

对于实验部分,我们参考Rain Streak Removal via Dual Graph Convolutional Network论文的定量结果,它的代码地址如下:https://xueyangfu.github.io/paper/2021/AAAI/code.zip

它在DID/DDN上采用的代码计算,是和以下地址保持一致:https://github.com/hongwang01/RCDNet/tree/master/Performance_evaluation

我们通过DualGCN提供的官方预训练权重,在DID/DDN两个数据集上测试后得到的视觉结果,用上述计算代码测试后是与Dual论文保持一致的。为此,我们采取这个计算方式。也正是如此,我们整理的可供下载的视觉结果是从DualGCN开始的。

总而言之,正如Towards Unified Deep Image Deraining: A Survey and A New Benchmark所说,由于图像去雨的算法繁多、数据集繁多,计算方式不统一,容易导致定量和定性结果对比不方便的问题。因此,我们这里只是提供了一种比较方式。可根据需求,也可以按照IDT的代码计算来进行重新的定量结果测试等。

Windrain7 commented 4 months ago

谢谢您的回答。