hitachinsk / SAMed

The implementation of the technical report: "Customized Segment Anything Model for Medical Image Segmentation"
MIT License
488 stars 46 forks source link

自然景物数据集 #15

Open xiaozhen228 opened 1 year ago

xiaozhen228 commented 1 year ago

作者你好,我在两类自然景物数据集上使用sam_lora_image_encoder.py 的分割效果非常不好,会把所有的前景预测为背景,但是使用sam_lora_image_encoder_mask_decoder.py 的效果虽然不是特别优秀,但是有一定的效果。我的理解前者是对mask_decoder中所有参数进行了微调,理论上效果应该更好,后者用lora微调了mask decoder,效果会差点。但是现在使用sam_lora_image_encoder.py 基本没有效果,请问您有啥建议吗?理论上sam_lora_image_encoder_mask_decoder.py上有效果(iou:0.6)那么说明我的数据集预测处理应该没有啥问题

hitachinsk commented 1 year ago

我同意你的观点。但是按照道理来讲sam_lora_image_encoder.py的参数优化空间更大,应该可以取得一个理论上的更高值。也许需要调一调参才能达到这个理论高值。我认为sam_lora_image_encoder_mask_decoder.py 取得一定效果的原因是SAM本身就是在自然图像数据集训练的,因此更多保留SAM的特性似乎可以取得一个更加容易得到的效果。

yao-yu1999 commented 1 year ago

作者你好,我在两类自然景物数据集上使用sam_lora_image_encoder.py 的分割效果非常不好,会把所有的前景预测为背景,但是使用sam_lora_image_encoder_mask_decoder.py 的效果虽然不是特别优秀,但是有一定的效果。我的理解前者是对mask_decoder中所有参数进行了微调,理论上效果应该更好,后者用lora微调了mask decoder,效果会差点。但是现在使用sam_lora_image_encoder.py 基本没有效果,请问您有啥建议吗?理论上sam_lora_image_encoder_mask_decoder.py上有效果(iou:0.6)那么说明我的数据集预测处理应该没有啥问题

你好,请问你是如何用到自然景观数据集的?我用自己的数据集训练出模型之后,进行测试。出现了下面的情况。似乎是形状不匹配,我的num_classes也是12呀。 image