search

backseason / PoolNet

Code for our CVPR 2019 paper "A Simple Pooling-Based Design for Real-Time Salient Object Detection"
MIT License
630 stars 153 forks source link

关于使用的边缘检测数据集的效果的合理性 #17

Closed lartpang closed 5 years ago

lartpang commented 5 years ago

您好，首先感谢您的工作，看上去确实是一个很有效的模型。

关于这里使用的边缘检测数据集，我有些疑惑。

您在文中提到：

image

我查阅对应的文献：Yun Liu, Ming-Ming Cheng, Xiaowei Hu, Kai Wang, and Xiang Bai. Richer convolutional features for edge detection. In CVPR, 2017，文章中也提到：

image

请问文章实际使用的边缘检测数据集是BSDS500和PASCAL VOC Context数据集的混合数据集么？

但是我疑惑的缘由是，这里的Pascal VOC Context的数据集来自Pascal VOC 2012，而实际测试用的Pascal-S数据集也来自Pascal VOC。

https://ccvl.jhu.edu/datasets/

image

image

在这里使用来训练，是否有些不妥？虽然真值不同，但是最终的效果的提升会不会由此导致？

因为最终的结果中，Pascal-S的结果在使用边缘数据之后，提升非常大。

另外，由于偶然间的发现，ECSSD中的数据部分与BSDS500相同。这样的话会不会也在一定程度上有所提升？

backseason commented 5 years ago
  1. 关于PASCAL数据：我们训练过程中将PASCAL-Context中和PASCAL-S测试部分重合的数据都去掉了；
  2. ECSSD和BSDS500的GT差异较大，你可以实际比较一下标注结果。

对于跨数据集可能出现的数据重合问题，我们都尽量去避免了；但加入edge部分后几乎所有六个数据集上都有较明显的提升，我认为不能由此得出效果的提升是因为训练数据重合导致的。

lartpang commented 5 years ago

感谢您的回复，尚有一些疑惑：

关于ECSSD，主要是img存在相同的图片，尽管可能图片的大小或者长宽有一定的差异。但是使用bsds500训练的时候，仍然会使得网络在一定程度上预先知道了原本属于测试集的信息的吧？

backseason commented 5 years ago

可能会存在一些影响，但是也可以从另一个方面来看：比如因为BSDS500中关于边缘的标注信息反向影响了模型对于其中的显著性物体的判断。 再者便是实验结果是在多个数据集上均有提升，而不仅仅是ECSSD。

lartpang commented 5 years ago

OK，多谢您的回复。