search

HusterYoung / MPLT

MIT License
20 stars 3 forks source link

模型速度与参数量问题 #3

Closed MelanTech closed 9 months ago

MelanTech commented 9 months ago

您好，我在尝试复现您的工作时发现模型的运行速度与论文中的速度有很大出入，请问您是怎么对模型进行速度和参数量测试的？

我修改了tracking下profile_model.py进行了模型速度测试，测试结果如下图： image 测试的速度和参数量都与论文中有很大差异

下面是我修改的测试脚本代码： profile_model.zip

测试环境： torch 1.11.0 + CUDA11.4 NVIDIA A40 1 以及 NVIDIA Geforce 3090 1

HusterYoung commented 9 months ago

您好，感谢您的问题。我重新检查了参数量计算的部分，我想我在论文中应该是忘记标注参数量是指单模态分支的参数量了，我会对其进行修改。我使用的计算工具是FlopCountAnalysis，代码的位置在 “MPLT/lib/models/mplt_track/vit_mplt_care.py” 第661-667行。此外，关于参数量计算结果我也附上了，供您参考。 parameters count.txt

HusterYoung commented 9 months ago

关于FPS的问题，我使用的是OSTrack中自带的FPS估计，代码位于“/MPLT/lib/test/evaluation/running.py“第145-150行，另外，带FPS计算输出的results文件也附上，供您分析。 lasher-time.zip

HusterYoung commented 9 months ago

补充：以上结果测试环境同readme file，使用单张RTX3090显卡，test threads设置为1。

MelanTech commented 9 months ago

关于FPS的问题，我使用的是OSTrack中自带的FPS估计，代码位于“/MPLT/lib/test/evaluation/running.py“第145-150行，另外，带FPS计算输出的results文件也附上，供您分析。 lasher-time.zip

您好，我按照您的方法在单张RTX3090下使用tracking下的test.py进行了模型评估，脚本参数为： python test.py mplt_track vitb_256_mplt_32x1_1e4_lasher_15ep_sot --dataset_name lasher_test --threads 1 --num_gpus 1

但仍然无法达到您给出的results文件中的速度，我的评估结果显示每帧延迟均在0.12s左右，以下是10runone序列的部分评估结果： image

请问我使用的方法是否正确，您是否使用了其他方法进行评估？

HusterYoung commented 9 months ago

关于FPS的问题，我使用的是OSTrack中自带的FPS估计，代码位于“/MPLT/lib/test/evaluation/running.py“第145-150行，另外，带FPS计算输出的results文件也附上，供您分析。 lasher-time.zip

您好，我按照您的方法在单张RTX3090下使用tracking下的test.py进行了模型评估，脚本参数为： python test.py mplt_track vitb_256_mplt_32x1_1e4_lasher_15ep_sot --dataset_name lasher_test --threads 1 --num_gpus 1

但仍然无法达到您给出的results文件中的速度，我的评估结果显示每帧延迟均在0.12s左右，以下是10runone序列的部分评估结果： image

请问我使用的方法是否正确，您是否使用了其他方法进行评估？

我和您使用一模一样的脚本和参数，但想不明白为何您速度上不来，或许和CPU和硬盘有关么？

MelanTech commented 9 months ago

关于FPS的问题，我使用的是OSTrack中自带的FPS估计，代码位于“/MPLT/lib/test/evaluation/running.py“第145-150行，另外，带FPS计算输出的results文件也附上，供您分析。 lasher-time.zip

您好，我按照您的方法在单张RTX3090下使用tracking下的test.py进行了模型评估，脚本参数为： python test.py mplt_track vitb_256_mplt_32x1_1e4_lasher_15ep_sot --dataset_name lasher_test --threads 1 --num_gpus 1 但仍然无法达到您给出的results文件中的速度，我的评估结果显示每帧延迟均在0.12s左右，以下是10runone序列的部分评估结果： image 请问我使用的方法是否正确，您是否使用了其他方法进行评估？

我和您使用一模一样的脚本和参数，但想不明白为何您速度上不来，或许和CPU和硬盘有关么？

也许是因为这个原因，感谢您的及时回复和帮助！

AZong76 commented 8 months ago

image

我也是0.12 0.13左右

AZong76 commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

HusterYoung commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

三星970EVO+Intel Core i7 12700K

HusterYoung commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

AZong76 commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

是的 单卡3090 image

AZong76 commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

三星970EVO+Intel Core i7 12700K

好的好的 谢谢

HusterYoung commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

是的 单卡3090 image

thread改成1了吗？

AZong76 commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

是的 单卡3090 image

thread改成1了吗？

是的，这是thread=1正在跑test的状态，但我的实验项目是在机械硬盘中进行的，也许是这个原因。

HusterYoung commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

是的 单卡3090 image

thread改成1了吗？

是的，这是thread=1正在跑test的状态，但我的实验项目是在机械硬盘中进行的，也许是这个原因。

噢噢，那大概率是的

AZong76 commented 8 months ago

想问下您硬盘和cpu分别是什么型号呢？

您也是在单张RTX3090上测试吗？

是的 单卡3090 image

thread改成1了吗？

是的，这是thread=1正在跑test的状态，但我的实验项目是在机械硬盘中进行的，也许是这个原因。

噢噢，那大概率是的

感谢您耐心的回复🤝🤝🤝