search

Pbihao / HDMNet

93 stars 9 forks source link

results without BAM ensemble #8

Closed canglangzhige closed 1 year ago

canglangzhige commented 1 year ago

您好，感谢您开源代码。

但是您的工作采用与BAM同样的数据，而BAM的数据处理是用了一个trick，见链接https://github.com/chunbolang/BAM/issues/45。 现在你们都使用这个trick与之前的工作进行比较，这样不公平。 如果使用与HSNet同样的数据，不知您的工作能否达到SOTA?

Pbihao commented 1 year ago
是的，我也觉得很不公平，因为这种trick假设了train和val的类别不相交，虽然这是few-shot的设定，但是直接使用还是引入了先验。事实上我们在BAM仓库下也提了很多次问题。我们的实验最开始就是follow的PFENet，但是后期为了公平比较使用了BAM，不然比较对于我们就不公平，希望理解。 不仅如此，BAM的test也只跑了1000个iters，但是我们的paper中复现了10000的结果。 我们的方法在不使用Bam的head的时候提升在coco的结果是 （即直接使用mIoU_m）： split0 split1 split2 split3 split4 mean
43.7 53.1 49.6 48.3 48.7

比不使用BAM的trick低1.3% mIoU，但是依旧超过了PFENet和HSNet以及使用的baseline 希望您能理解为了和之前的工作对齐，我们也将对此进行声明，可否麻烦把标题比如“results without BAM ensemble”以方便其他用户参考

Pbihao commented 1 year ago

哎，最开始我们的工作基于PFENet大幅提升了baseline，但是审稿人肯定会要求和SOTA进行比较 所以才无奈在BAM上进行扩充，只能说一个paper带歪了榜吧 所以我们paper中比较主要使用的coco，因为coco数据集的类别更多，这个trick的影响相对较小，pascal只有20个类别影响很大。这方面我们的paper的补充材料里面有更加完整的论述。 对于fewshot而言，感觉未来的机会会是在大模型，比如dino，clip，sam，open vocabulary这些吧，也是我未来的研究方向。 希望能帮到你。

Pbihao commented 1 year ago

然后我找到了一个很原始的实验数据，不过这个很老了，是在PFENet的仓库上面做的，那时候BAM还没放出来，后期我们对网络又进行了改进和微调，所以应该会比这个值高很多，但是这个值已经是我们当时在coco上超过HSNet了

split0 split1 split2 split3 split4 mean
40 49.4 45.7 43.6 44.7

作为一个佐证吧

canglangzhige commented 1 year ago

哎，最开始我们的工作基于PFENet大幅提升了baseline，但是审稿人肯定会要求和SOTA进行比较 所以才无奈在BAM上进行扩充，只能说一个paper带歪了榜吧 所以我们paper中比较主要使用的coco，因为coco数据集的类别更多，这个trick的影响相对较小，pascal只有20个类别影响很大。这方面我们的paper的补充材料里面有更加完整的论述。 对于fewshot而言，感觉未来的机会会是在大模型，比如dino，clip，sam，open vocabulary这些吧，也是我未来的研究方向。 希望能帮到你。

非常感谢您的耐心回答和科学态度！ 谈到大模型，请问您认为在SAM等模型出来以后，单纯搞分割/小样本分割还能不能发论文？

Pbihao commented 1 year ago

我觉得如果只是单纯为了发论文应该还有一两年的窗口期，但是也不会太久。毕竟现在reviewer也没有理由让你和大模型来比较，但是未来被取代应该是个大趋势。 SAM总的来说没有语义信息，只是一个分割模型。相较而言，基于CLIP的像素级分割以及DINOv2的zero-shot以及one-shot也可以关注一下。 当然，还有一些将这些大模型相互结合的工作也很有趣， 这些工作的setting也和few-shot比较类似，比如： https://arxiv.org/abs/2305.13310 （Matcher） https://arxiv.org/abs/2305.03048 （PerSAM） 等，这些工作虽然不是完全等同于fewshot，但是只通过结合不同的大模型即使不训练也能够取得不错的结果，希望能对你有所启发！

canglangzhige commented 1 year ago

好的，非常感谢！

canglangzhige commented 1 year ago

师兄，能否提供一下Pascal 数据集的权重。全都重新训练一遍的话得需要好几天。呜呜呜.....

Pbihao commented 1 year ago

如果这么慢的话，开展研究会有点吃力吧。要不我帮你检查一下环境？ 我的训练情况是这样的： 四卡 Nvidia GeForce RTX 3090 训练， 单卡推理 Pascal - 1shot - Resnet50：Total running time: 07h 33m 30s Pascal - 5shot - Resnet50：Total running time: 18h 49m 39s Pascal - 1shot - VGG： Total running time: 08h 19m 58s Pascal - 5shot - VGG： Total running time: 08h 42m 10s COCO- 1shot - Resnet50：Total running time: 27h 22m 37s COCO- 5shot - Resnet50：Total running time: 88h 48m 53s COCO- 1shot - VGG： Total running time: 12h 21m 26s COCO- 5shot - VGG： Total running time: 27h 27m 38s Pascal数据集每一次训练的抖动都比较大，可能需要多跑几次能跑出不错的结果，我们复现的时候最高能比paper上报的点多1个点。 最好还是先检查一下自己的环境，不然要是Pascal都要好几天，那5-shot的COCO岂不是得几个月？研究没法开展啊。然后检查一下自己的CUDA环境有没有配得有问题，会不会卡进程了？然后检查一下dataset的配置有没有问题，看看是不是CPU占满了，运行的时候可以多检查一下进程。

canglangzhige commented 1 year ago

Pascal - 1shot - Resnet50：Total running time: 07h 33m 30s 这个时间是指 对4个split分别训练50个epoch，总共花 07h 33m 30s？？？ 我是4张 2080Ti，对于 1shot，训练一个split（50epoch）我就得用这些时间。如果训练4个split，再训练5shot的话，真得好几天

------------------ 原始邮件 ------------------ 发件人: "Pbihao/HDMNet" @.>; 发送时间: 2023年6月12日(星期一) 晚上7:51 @.>; @.**@.>; 主题: Re: [Pbihao/HDMNet] results without BAM ensemble (Issue #8)

如果这么慢的话，开展研究会有点吃力吧。要不我帮你检查一下环境？ 我的训练情况是这样的： 四卡 Nvidia GeForce RTX 3090 训练， 单卡推理 Pascal - 1shot - Resnet50：Total running time: 07h 33m 30s Pascal - 5shot - Resnet50：Total running time: 18h 49m 39s Pascal - 1shot - VGG： Total running time: 08h 19m 58s Pascal - 5shot - VGG： Total running time: 08h 42m 10s COCO- 1shot - Resnet50：Total running time: 27h 22m 37s COCO- 5shot - Resnet50：Total running time: 88h 48m 53s COCO- 1shot - VGG： Total running time: 12h 21m 26s COCO- 5shot - VGG： Total running time: 27h 27m 38s Pascal数据集每一次训练的抖动都比较大，可能需要多跑几次能跑出不错的结果，我们复现的时候最高能比paper上报的点多1个点。 最好还是先检查一下自己的环境，不然要是Pascal都要好几天，那5-shot的COCO岂不是得几个月？研究没法开展啊。然后检查一下自己的CUDA环境有没有配得有问题，会不会卡进程了？然后检查一下dataset的配置有没有问题，看看是不是CPU占满了，运行的时候可以多检查一下进程。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Pbihao commented 1 year ago

哦哦，不是的，是一个split这么多时间，每一次的训练都是用了16涨3090。 4张2080Ti感觉不太够啊，是学校的么？考不考虑在外边找个实习？研究岗那种，有实习工资还有卡

Pbihao commented 1 year ago

主要是fewshot每一次都要跑4个split，16张卡比较好

canglangzhige commented 1 year ago

我这边网不好，github一直登不上去，我现在用邮件跟您回复，不知道邮件的内容是否会在github上显示。您能看到我的邮箱吗（qq邮箱），是否可以私信一下

---Original--- From: @.> Date: Mon, Jun 12, 2023 20:06 PM To: @.>; Cc: @.**@.>; Subject: Re: [Pbihao/HDMNet] results without BAM ensemble (Issue #8)

主要是fewshot每一次都要跑4个split，16张卡比较好

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Pbihao commented 1 year ago

额，github的邮箱是不能直接回复的，你发这个邮箱吧： bhpeng22@cse.cuhk.edu.hk

canglangzhige commented 1 year ago

已发送edu邮箱

------------------ 原始邮件 ------------------ 发件人: "Pbihao/HDMNet" @.>; 发送时间: 2023年6月12日(星期一) 晚上8:12 @.>; @.**@.>; 主题: Re: [Pbihao/HDMNet] results without BAM ensemble (Issue #8)

额，github的邮箱是不能直接回复的，你发这个邮箱吧： @.***

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>