Dota的test数据集复现mAP过低

wheremyfu commented 1 month ago

我使用仓库主页提供的训练好的模型以及配置文件对Dota的test数据集进行推理，但是结果mAP仅有0.39.
下图为我所用的模型：

配置文件：

测试指令： CUDA_VISIBLE_DEVICES=0 python /home/pp/OBBDetection/tools/test.py '/home/pp/Remote-Sensing-RVSA/Object Detection/configs/obb/oriented_rcnn/vit_base_win/faster_rcnn_orpn_our_rsp_vitae-nc-base-win-rvsa_v3_kvdiff_wsz7_fpn_1x_dota10_lr1e-4_ldr75_dpr15.py' '/home/pp/Model/vite_b_RSVA_kvdiff_ls/vitae_rvsa_kvdiff.pth' --format-only --show-dir '/home/pp/Model/vite_b_RSVA_kvdiff_ls/work_dirs/save' --options save_dir='/home/pp/Model/vite_b_RSVA_kvdiff_ls/work_dirs/save_val' nproc=1

提交给dota官方评估的结果： test

wheremyfu commented 1 month ago

同时我查阅了https://github.com/ViTAE-Transformer/Remote-Sensing-RVSA/issues/33以及https://github.com/ViTAE-Transformer/Remote-Sensing-RVSA/issues/19

我在测试过程中虽然出现，但未影响测试运行

我同样在init.py补齐所需的模型文件，但有一个始终未找到，所以我将它剔除了

wheremyfu commented 1 month ago

希我想知道我的复现过程是否有不恰当的地方呢？可能是有什么原因造成的？

DotWang commented 1 month ago

@wheremyfu kvdiff这个好像我后来改过什么东西了，但是时间有点长了，我忘了，不过我感觉应该不会掉这么多点，你先试一下不是kvdiff的，别人论文里边一般对比方法写我们的也都是用不是kvdiff的那个，如果没有问题，那可能就是之前改的东西的原因，如果依然精度很低，那就是你复现步骤的问题

ViTAE-Transformer / Remote-Sensing-RVSA

Dota的test数据集复现mAP过低 #39