search

yuhoo0302 / Segment-Anything-Model-for-Medical-Images

Codes and models for Medical Image Analysis (MIA) 2023 paper. Segment Anything Model for Medical Images?.
120 stars 9 forks source link

测试阶段的问题 #6

Closed DBook111 closed 6 months ago

DBook111 commented 7 months ago

还有一个问题想请教一下。 在测试的时候，标签mask不是未知的嘛。那么，框提示的两个对角点从哪里来？

yuhoo0302 commented 7 months ago

您好，这个工作的主要目的仅是测试SAM在医学影像的性能表现，因此框、点等prompt都是通过GT生成的，这也是一系列SAM相关工作测试中的常规做法。

DBook111 commented 7 months ago

好的。我有一个疑惑是，如果输入的仅有采集的医学图像，没有标签的话，框提示应该怎么做呢？

yuhoo0302 commented 7 months ago

hello，我觉得可以1、基于医学影像训一个检测器，通过检测器去自动提供框的prompt；2、如果医学数据上无任何标注，也许可以尝试一些通用的检测器，提供框prompt；3、近几个月其实有一些prompt-free的SAM方法，也有一些是针对医学影像开发的，可以尝试一下~

yuhoo0302 commented 7 months ago

例如前几天放arxiv的这个工作 MaskSAM: Towards Auto-prompt SAM with Mask Classification for Medical Image Segmentation

DBook111 commented 7 months ago

好的，非常感谢你的帮助。

Saillxl commented 2 months ago

您好，我刚开始看SAM模型在医学影像的应用，我想请问如何较快的判断该模型在测试阶段是否有利用GT？我想研究的是不利用GT的方法。

yuhoo0302 commented 2 months ago

@Saillxl 您好，SAM在测试期间不需要直接依赖GT。我们这个MIA的工作重点是评估SAM，所以需要依赖GT去模拟生成一些框或者点（当然，这些框和点也可以通过人工给出，这样的话就会导致这个评估过程变得很慢）。其他工作也是类似，他们也往往会在测试阶段通过GT模拟出来对应的框和点来进行测试。这都是基于prompt的SAM必不可少的一步。此外，还有一些不依赖prompt的SAM方法，和端到端的方法类似，把prompt encoder的分支冻结，输入图像，输出mask结果（这样就完全不“利用“GT了）。您如果感兴趣可以关注下这方面的方法

Saillxl commented 2 months ago

好的，非常感谢作者。