search

YifanXu74 / MQ-Det

Official PyTorch implementation of "Multi-modal Queried Object Detection in the Wild" (accepted by NeurIPS 2023)
Apache License 2.0
256 stars 12 forks source link

关于论文中指标的一个问题 #5

Open Baboom-l opened 10 months ago

Baboom-l commented 10 months ago

您的论文中GLIP-T在OdinW13上zero-shot的AP值和GLIP论文中不一致，是有设置上的差异吗 MQ-DET中 1697160276149 GLIP论文中 1697160162429

Baboom-l commented 10 months ago

同时还想请教一下few-shot setting中，是只微调GCP吗？还是会微调所有参数？

YifanXu74 commented 10 months ago

@Baboom-l 哈喽， Q1: “您的论文中GLIP-T在OdinW13上zero-shot的AP值和GLIP论文中不一致，是有设置上的差异吗？”

A: 不是设置差异的问题哈，这里是直接加载官方权重复现的结果，并且这个指标GLIP官方github开源的模型权重差不多。

image

Q2: “few-shot setting中，是只微调GCP吗？还是会微调所有参数？”

这两种方式效果都不错，具体可见附录里的第A.3节，文中的结果是只微调GCP的，微调所有参数效果会更好。

Baboom-l commented 10 months ago

感谢您的回复，我还有一些小问题请教一下，finetuneFree的设置时，是只在o365上训练过GCP吗？我观察到部分ODinw里少部分数据集加了visual query性能反而下降，这部分原因不知道您有没有探索过(例如在Shellfish 上G-DINO-T zero-shot我试过能到0.344)。

YifanXu74 commented 10 months ago

感谢您的回复，我还有一些小问题请教一下，finetuneFree的设置时，是只在o365上训练过GCP吗？我观察到部分ODinw里少部分数据集加了visual query性能反而下降，这部分原因不知道您有没有探索过(例如在Shellfish 上G-DINO-T zero-shot我试过能到0.344)。

finetuneFree设置就是直接用o365预训练的模型直接测试；文章只在多模态查询目标检测上迈出了第一步，并没有解决其中的所有问题，关于所提到的现象， 目前阶段没有深入探索过哈。