search

hoqolo / SDSTrack

[CVPR 2024] SDSTrack: Self-Distillation Symmetric Adapter Learning for Multi-Modal Visual Object Tracking
MIT License
31 stars 4 forks source link

the result about depthtrack #5

Open ppt900 opened 2 weeks ago

ppt900 commented 2 weeks ago

请问，执行完bash eval_rgbd.sh，Depthtrack_workspace/analysis/cvpr2024_rgbd/report.html这个文件是否就是结果，为什么和论文中的结果不一致，比论文中的结果还要高很多 image image 请问我该如何获得最终准确的结果呢？有没有好心人回答一下

hoqolo commented 2 weeks ago

就是这样获取结果的。结果不一致可能是因为工具版本不同

ppt900 commented 2 weeks ago

非常感谢你的回答，环境的配置是按照项目bash install_sdstrack.sh配置的，其中vot-toolkit==0.5.3， vot-trax==3.0.3，唯一的不同是，最开始执行的时候，evaluate success 但是analisis failed!，经过排查之后，不得不将numpy的版本修改为1.22.0才成功。可能这是原因，也可能是中间的某个步骤我产生了错误，再次感谢回答，接下来我会进一步去排查产生结果的原因。

ppt900 commented 2 weeks ago

我相继复现了在其它数据集上的结果。 关于rgbd，在vot2022rgbd数据集上，我获得了和论文相近的结果，depthtrack上的结果可能是其它原因，为了验证是否是环境或者其它工具的原因，我使用项目中提供原始结果并执行vot analysis --nocache --name cvpr2024_rgbd，并获得了和论文中一样的结果。复现过程中的差异有我是在4块3090上训的，这和论文中的3090ti上训的不同，但是结果不应该差别这么大。不知道原因可能是什么？ 我将模型和depthtrack数据放在了链接: https://pan.baidu.com/s/1lwnpwPRkdRVi19gSQjerUA 提取码: f796 以下是我获得的实验结果截图(第一张对应项目原始结果，二三张对应depthtrack和vot2022rgbd） image image image

hoqolo commented 3 days ago

我相继复现了在其它数据集上的结果。 关于rgbd，在vot2022rgbd数据集上，我获得了和论文相近的结果，depthtrack上的结果可能是其它原因，为了验证是否是环境或者其它工具的原因，我使用项目中提供原始结果并执行vot analysis --nocache --name cvpr2024_rgbd，并获得了和论文中一样的结果。复现过程中的差异有我是在4块3090上训的，这和论文中的3090ti上训的不同，但是结果不应该差别这么大。不知道原因可能是什么？ 我将模型和depthtrack数据放在了链接: https://pan.baidu.com/s/1lwnpwPRkdRVi19gSQjerUA 提取码: f796 以下是我获得的实验结果截图(第一张对应项目原始结果，二三张对应depthtrack和vot2022rgbd） image image image

最近有点事没及时回复，不好意思让您久等了。 这个问题我确实也没有遇到过，无法给出准确的答案，我之前在4090上有复现过得到的结果和论文中持平，没有您复现出的这么高。这里还有个差异是我们使用显卡的功率受限，这可能也会造成一定的影响。具体原因可能得进一步排查，感谢您对我们工作的关注，祝科研顺利！