search

z-x-yang / Segment-and-Track-Anything

An open-source project dedicated to tracking and segmenting any objects in videos, either automatically or interactively. The primary algorithms utilized include the Segment Anything Model (SAM) for key-frame segmentation and Associating Objects with Transformers (AOT) for efficient tracking and propagation purposes.
GNU Affero General Public License v3.0
2.75k stars 332 forks source link

视频跟踪，除了第一帧，masks都是黑的 #148

Closed algint closed 3 months ago

algint commented 4 months ago

如题，我在WEB UI中输入视频，点击第一张图片分割，再点击track anything，之后得到的每一帧跟踪结果都是黑色的图片，除了第一帧，只有示例中的黑天鹅视频得到的结果是正常的，其他视频不管是自带的示例还是我自己的视频，得到的预测帧都是黑色的。

little612pea commented 4 months ago

please use pip install timm==0.4.5 instead of version 0.9.16. this may solve the issue

algint commented 4 months ago

这方法无效，我怀疑是追踪器没有用上，因为第一帧能成功分割，之后的帧都没有分割和追踪，但是奇怪的是示例中的“天鹅游泳”这个视频是可以追踪的，目前也仅有这个视频可以。我继续排查问题，如果有其他线索也和我分享，谢谢。

algint commented 3 months ago

我知道了，因为起初我是166Ti显卡上测试的，视频分辨率得比较小才可以，大了的话就AOT追踪器就不生效，同一个视频分辨率改小了就可以，而后我在A100上部署，不用改分辨率也是可以的。