在test过程中遇到的问题

[Jh0712-W]

您好，很感谢您的工作，我在对CRM-DiMP进行test时遇到了以下问题： 1.使用python pytracking/run_tracker.py atom default --dataset_name uav --sequence uav_bike1 --debug 0 --threads 0报错如下： Evaluating 1 trackers on 1 sequences Traceback (most recent call last): File "pytracking/run_tracker.py", line 65, in main() File "pytracking/run_tracker.py", line 60, in main run_tracker(args.tracker_name, args.tracker_param, args.runid, args.dataset_name, seq_name, args.debug, File "pytracking/run_tracker.py", line 37, in run_tracker run_dataset(dataset, trackers, debug, threads, visdom_info=visdom_info) File "/home/lab/share/wangjh/vision_track/code/crm/CRM-DiMP/pytracking/evaluation/running.py", line 253, in run_dataset seq2 = dataset[v_idx + 1] IndexError: list index out of range 2.使用python pytracking/run_experiment.py myexperiments uav_test_xyl --debug 0 --threads 0报错如下： ------------------- 2 / 110 --------------------: Tracker: dimp super_dimp 0 , Sequence: md2002-1 need more than 1 value to unpack ------------------- 4 / 110 --------------------: Tracker: dimp super_dimp 0 , Sequence: md2003-1 need more than 1 value to unpack ------------------- 6 / 110 --------------------: Tracker: dimp super_dimp 0 , Sequence: md2004-1 need more than 1 value to unpack ------------------- 8 / 110 --------------------: Tracker: dimp super_dimp 0 , Sequence: md2006-1 need more than 1 value to unpack 期待您的解答！

[xyl-507]

1.我的readme写错了，应该是python pytracking/run_tracker.py dimp super_dimp --dataset_name uav --sequence bike1 --debug 0 --threads 0 2.我没有遇见这种情况，应该是没有测试成功，你可以debug一下，断点设在 https://github.com/xyl-507/CRM/blob/8da9aca00f5bf7f737ae45bfba8de19b49e160a7/CRM-DiMP/pytracking/evaluation/running.py#L257 看看是什么错误导致的。

[Jh0712-W]

1.按照您给出的命令运行后报了同样的错误，debug相关信息如下： dataset的长度为1，所以在求seq2 = dataset[v_idx + 1]会发生报错，请问我应该如何修改啊？代码在： https://github.com/xyl-507/CRM/blob/8da9aca00f5bf7f737ae45bfba8de19b49e160a7/CRM-DiMP/pytracking/evaluation/running.py#L251-L253 2.debug信息如下： 我发现是由于out的问题导致执行OrderedDict(out)时出现了异常（out不符合OrderedDict的输入要求），代码在： https://github.com/xyl-507/CRM/blob/8da9aca00f5bf7f737ae45bfba8de19b49e160a7/CRM-DiMP/pytracking/evaluation/tracker.py#L269 期望得到您的帮助！

[xyl-507]

不好意思，是我readme中的数据集写错了，多无人机单目标跟踪数据集只有MDOT，而不是UAV123。 已更新readme

[Jh0712-W]

https://github.com/xyl-507/CRM/issues/9#issuecomment-2453364584 谢谢，请问关于第2个报错，您能给我一些建议吗？

[xyl-507]

我检查了一下代码，输出应该是：out, counting = tracker.track(image, info)。counting是我用于实验的参数 已更新相关代码 https://github.com/xyl-507/CRM/blob/8f87df92c74ce9fca5ebcdde07234e44063e4699/CRM-DiMP/pytracking/evaluation/tracker.py#L266 十分感谢！

[Jh0712-W]

非常感谢！还有些疑问想请教您： 1.测试时的FPS比较低，只有10左右，请问是不是我哪里参数设置错了？（我的设备是2张3090，数据集放在了机械硬盘上）

2.请问是不是使用pysot对CRM-DiMP进行评价的话，结果会偏低啊？我下载了您提供的原始结果，然后用pysot执行了eval：

3.请问您能提供一下使用pytracking进行eval的方法吗？

4.请问您在训练时，是否使用了pretrained backbones啊？我看pytracking没有提供pretrained backbones的下载方式和相关设置说明

[xyl-507]

1.速度没什么参数设置，我的设备是2张2080Ti 2.就是pysot-toolkit得到的结果，结果文件确实是0.519，我上传错了，已经更新了！感谢 3.pytracking的eval的结果和pysot是一致的。eval 过程和其他数据集是一样的，只需要修改数据集路径：CRM-DiMP/pytracking/evaluation/mdotdataset.py中的self.base_path 然后运行命令： python CRM-DiMP/pytracking/notebooks/analyze_results.py 4.没有使用 pretrained backbones

[Jh0712-W]

感谢您的解答，我仍然有些问题想请教您： 1.我按您给的CRM-DiMP模型再次进行了测试，发现第50个序列的FPS达到了文章中的17.5，所以想请问下您是选择了所有Sequence中的最优FPS作为算法最终的FPS吗？ 2.我按您给的CRM-DiMP模型，使用pytracking进行了两次测试，并用这两次的result在pysot下进行了评价，结果如下： 想请问下您是经过多次测试，选择最优的result才能获得75.9%的精度吗？还是说我下载的模型是旧的，您忘了放最新的啊？ 3.您在train部分提到的local.py和CRM-DiMP.py似乎没有包含在项目中，请问您是没有放进去吗？ 4.我看您在下面代码中设置了backbone_pretrained=True，请问这个的意思是使用了pretrained backbones吗？ https://github.com/xyl-507/CRM/blob/0f10a9a432094bfb5f6162caa64df7eb71d4d30a/CRM-DiMP/ltr/train_settings/dimp/super_dimp.py#L103

[xyl-507]

1.我选择的是平均速度 2.pytracking框架因为会有在线训练部分，所以每次测试的结果是不一样的，我选择的是最优的一次 3.local.py是需要自己生成的，在readme中的 Setup the environment。CRM-DiMP.py其实就是super_dimp.py，我已经更新了 4.这个是加载的resnet50的预训练权重，会自动下载的。

[Jh0712-W]

我经过测试后发现FPS比较低确实是由于我的数据放在了机械硬盘上。当我把测试数据集放到固态硬盘里之后，平均FPS就达到了21以上。 再次感谢您的帮助！

[Jh0712-W]

抱歉又打扰您了，我想问下： 1.下面代码中的crm是否应该改为mvt？ https://github.com/xyl-507/CRM/blob/d4ed1534bd8b122cbbc38d9d3593f07c7cc882cf/CRM-DiMP/ltr/train_settings/dimp/super_dimp.py#L125 https://github.com/xyl-507/CRM/blob/d4ed1534bd8b122cbbc38d9d3593f07c7cc882cf/CRM-DiMP/ltr/models/tracking/dimpnet.py#L61 2.对于其他baseline算法，您是如何测试的啊？我试了下在pytracking下直接运行ATOM算法，会报错： 所以想问下我是需要把每个baseline算法都按照CRM-DiMP的形式去修改吗？还是将MDOT数据集拆分成drone1和drone2两个单独的数据集去测试啊？您是如何在MDOT数据集上测试其他baseline算法的啊？

[xyl-507]

1.是的，改成mvt 2.拆分单独测试即可，baseline不涉及多机信息的利用。		yuanliangxue

@. | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2024年11月5日 19:35 | | 收件人 | @.> | | 抄送人 | @.>, @.***> | | 主题 | Re: [xyl-507/CRM] 在test过程中遇到的问题 (Issue #9) |

抱歉又打扰您了，我想问下： 1.下面代码中的crm是否应该改为mvt？ https://github.com/xyl-507/CRM/blob/d4ed1534bd8b122cbbc38d9d3593f07c7cc882cf/CRM-DiMP/ltr/train_settings/dimp/super_dimp.py#L125 https://github.com/xyl-507/CRM/blob/d4ed1534bd8b122cbbc38d9d3593f07c7cc882cf/CRM-DiMP/ltr/models/tracking/dimpnet.py#L61 2.对于其他baseline算法，您是如何测试的啊？我试了下在pytracking下直接运行ATOM算法，会报错： image.png (view on web) 所以想问下我是需要把每个baseline算法都按照CRM-DiMP的形式去修改吗？还是将MDOT数据集拆分成drone1和drone2两个单独的数据集去测试啊？您是如何在MDOT数据集上测试其他baseline算法的啊？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[Jh0712-W]

谢谢解答！