关于论文 LVIS 结果的一个问题

YifanXu74 / MQ-Det

Official PyTorch implementation of "Multi-modal Queried Object Detection in the Wild" (accepted by NeurIPS 2023)

Apache License 2.0

256 stars 12 forks source link

关于论文 LVIS 结果的一个问题 #31

Open Cycyes opened 9 months ago

Cycyes commented 9 months ago

您论文中 GroundingDINO-T 在 LVIS 上 MiniVal 的 AP 值和 GroundingDINO 论文中不一致

Cycyes commented 9 months ago

MQ-Det中

GroundingDINO论文中

请问一下是有什么设置上的差异吗

YifanXu74 commented 9 months ago

嗨，设置上都是一样的，论文里的GroundingDINO-T的结果拿官方权重复现的。由于当时GroundingDINO还没有开放evaluation代码，是拿自己框架测试的，所以精度可能有差异。

Cycyes commented 9 months ago

hello，我也跑了一下 GroundingDINO 的评测，结果差距有点大。请问一下如何在您代码框架下跑 GroundingDINO 的评测？能否给出示例运行指令。

YifanXu74 commented 9 months ago

可以试试下面这个命令：

python -m torch.distributed.launch --nproc_per_node=4 \
tools/test_grounding_net.py \
--config-file configs/pretrain/mq-groundingdino-t.yaml \
--additional_model_config configs/vision_query_5shot/lvis_minival_groundingdino-T.yaml \
VISION_QUERY.ENABLED False \
TEST.IMS_PER_BATCH 4

Cycyes commented 9 months ago

感谢，我了解 MQ-GroundingDINO-T 如何在 lvis 上进行评测，我是想复现一下 GroundingDINO 在您框架下的评测，是也需要有 vision_query 文件吗，因为我运行上面的命令后，它报了一个没有 MODEL/lvis_query_5_pool7_sel_gd.pth 的错误

YifanXu74 commented 9 months ago

如果设置VISION_QUERY.ENABLED False 的话，理论上是不需要vision_query文件的，可能代码这里逻辑判断没做好，我后面修复下。可以试试先把VISION_QUERY.QUERY_BANK_PATH 设置成一个已有的文件路径让代码跳过这个判断，后面实际跑起来只要VISION_QUERY.ENABLED = False 就不会用到

Cycyes commented 9 months ago

嗯嗯，应该是使用了 mq-groundingdino-t.yaml，里面设置了 QUERY_BANK_PATH