search

ViTAE-Transformer / SAMRS

The official repo for [NeurIPS'23] "SAMRS: Scaling-up Remote Sensing Segmentation Dataset with Segment Anything Model"
288 stars 14 forks source link

关于两篇论文中的结果存在出入的疑惑 #13

Open youngbaldy opened 10 months ago

youngbaldy commented 10 months ago

首先感谢您的工作！我在阅读SAMRS与RSP（An Empirical Study of Remote Sensing Pretraining）时，发现两篇文章公布的rsp-r50分割结果有所差异。 具体而言: (1) SAMRS中表3 rsp-r50在potsdam结果为 OA=90.49 mF1=90.97 QJHWYP@5@TO_M8B4J7M60SG RSP中表6 rsp-r50的结果为OA=90.61 mF1=89.94 HT%L8E}CYS7S首先感谢您的工作！我在阅读SAMRS与RSP（An Empirical Study of Remote Sensing Pretraining）时，发现两篇文章公布的rsp-r50分割结果有所差异。 具体而言: (1) SAMRS中表3 rsp-r50在potsdam结果为 OA=90.49 mF1=90.97 ![QJHWYP@5@TO_M8B4J7M60SG](https://github.com/ViTAE-Transformer/SAMRS/assets/77008579/caafa131-7126-4a52-be7f-3d434ccb6db8) RSP中表6 rsp-r50的结果为OA=90.61 mF1=89.94 B)SKSJI}0 (2) SAMRS中表4 rsp-r50在isaid结果为mIoU为32.97 Z~W$N1A_WI{JR9UZ NXI@7B RSP中表7 rsp-r50的结果为mIoU为61.6 GIFU$R_T1VHR_CY)TZS6 HB 我不太清楚造成这种差异的原因是什么？特别是在isaid上的结果差异比较大，我有点不太确定该以哪篇文章的结果为准。期待您的回复。

DotWang commented 10 months ago

@youngbaldy 这个原因是这样：

  1. Potsdam在RSP那篇文章中用的是NIR-R-G，后来我按照CV那边的原则都换成RGB了，所以重跑了一下，这个差距不大
  2. 之前RSP那篇文章统一用的老版本mmsegmentation跑的，后来我环境换了，而且openmmlab系列大改，现在都搞成新版本了，但在用新版本之前，32.97这个好像是用我目前这套代码跑出来的，optimizer，scheduler什么的都跟之前不一样，我觉得你还是以mmseg的为准吧，isaid数据集还是比较敏感的
youngbaldy commented 10 months ago

感谢您的回复！您是指以老版本mmseg的RSP codebase为准吗？

DotWang commented 10 months ago

@youngbaldy

是的，RSP的benchmark以RSP原论文和对应repo为准