search

yatengLG / ISAT_with_segment_anything

Labeling tool with SAM(segment anything model),supports SAM, SAM2, sam-hq, MobileSAM EdgeSAM etc.交互式半自动图像标注工具
https://www.yatenglg.cn/isat/
Other
1.28k stars 136 forks source link

请问分割边缘有些锯齿，有推荐的模型吗？顺便问问支持最新的SAM2嘛 #196

Closed StanleyYake closed 2 months ago

StanleyYake commented 2 months ago

首先感谢作者的这个标注工具箱，很方便，目前也是主力在使用。但是发现SAM1（GPU显存：6G，使用sam_hq_vit_b.pth）做分割标注，有的边缘有些锯齿，然后训练的模型识别后锯齿更加严重了。楼主有推荐的sam1模型吗，或者顺便问问支持最新的SAM2吗？ https://github.com/facebookresearch/segment-anything-2 https://mp.weixin.qq.com/s/JZVjRlmxMRAPFfpW3IMMIA

yatengLG commented 2 months ago

sam2的支持昨晚就写完了，今儿晚上提交。

另外，sam2的主要贡献在视频分割，对于单图效果并没有提升。 这边建议使用sam_hq_vit_h模型，如果显存不够，可以开启bfloat16模式（在模型管理界面）。

另外所说的边缘锯齿问题，这个只是显示问题，你可以自己转换为labelme后用labelme打开瞅瞅。。。

StanleyYake commented 2 months ago

谢谢楼主，勾选bfloat16模式，可以下载更高精度的模型，但是打开以前用float32标注的文件夹就报错了，是不兼容是吧，是不是只能重新标注了？ Screenshot from 2024-08-07 14-31-59

yatengLG commented 2 months ago

谢谢楼主，勾选bfloat16模式，可以下载更高精度的模型，但是打开以前用float32标注的文件夹就报错了，是不兼容是吧，是不是只能重新标注了？ Screenshot from 2024-08-07 14-31-59

不是勾选bfloat16可以下载高精度模型，是bfloat16模式跑模型时占用显存会比较低一些（如果你显存不够跑特别大的模型，可以通过这种方式跑大模型）。

另外这个报错不是不兼容，可能是你显卡不支持bfloat16（或者cuda版本较低/torch版本较低）。

不需要重新标注，只是你这个环境可能不支持bfloat16，关闭后软件就可以正常使用了。

yatengLG commented 2 months ago

刚添加了对sam2的支持。你可以尝试使用下sam2的模型