juntang-zhuang / ShelfNet

implementation for paper "ShelfNet for fast semantic segmentation"
MIT License
252 stars 41 forks source link

关于论文中对Cityscapes的测试结果 #7

Closed luuuyi closed 5 years ago

luuuyi commented 5 years ago

作者你好,我看了你的代码和论文,目前shelfnet50 single scale和multi scale在Cityscapes的val集上得到了与你论文里面类似的结果,但是我发现这里有一个问题,你所对比的那些方法,他们在Cityscapes数据集上都是以2048x1024去统计性能的,而我观察你代码发现,你设置Cityscapes数据集的base_size为1024,在做测试的时候你以base_size乘以scale作为最长边去对图像进行缩放,在scale小于2的时候,输入到网络中的图像是永远小于2048x1024的,也就意味着跟其他用2048x1024去统计分割性能的方法没有可比性了,不知道你这边是出于什么考量? 不好意思打扰了。

luuuyi commented 5 years ago

好像作者并未对Cityscapes单独做测试脚本,如果用pascal_voc的那个测试脚本来测,的确能得到Cityscapes在论文中的那个结果

juntang-zhuang commented 5 years ago

非常感谢您的反馈。我们确实没有注意到base_size在cityscapes数据集上的问题,抱歉最近比较忙,将会在之后更新结果。不过直观理解是,如果只考虑single size input情况,文中给出的结果是input小于1024X2048情况下得到,一般会比输入1024X2048情况下稍微差一点,因为输入图像更模糊;如果与其他multiscale 的方法对比,由于我们的scale总是小于真实的scale,(不是像其他文章里scale从比较小到比较大变化),也会让结果变差。改正scale的问题之后准确率应该会有所提升, 我们会在之后更新结果。

luuuyi commented 5 years ago

@juntang-zhuang 非常棒的工作,换成1024最小边的话,ss大概75左右,ms大概在77,谢谢你的工作。