A huge question about the zero shot results in the paper

Baboom-l commented 3 months ago

1716861752327 你们论文中提到使用的预训练数据是o365, goldG, hake, hoi A, PhraseCut，你确定这些数据能训练出来coco零样本57.1，53.4？按照我的训练经验，零样本指标会比训练数据中添加coco训练低8个点，那你们加点coco训练，分分钟coco 第一。 1716862155700 此外你们表二里又显示coco零样本显著不如Grounding DINO，我不认为swint换成convnextB或者多的三个数据集hake, hoi A, PhraseCut能带来10个点以上的提升。因此，我怀疑你们实际使用的预训练数据并不和论文中描述一致，并且可能在预训练过程中泄露了coco数据

P3ngLiu commented 3 months ago

感谢你的提醒，我们重新检查了一下之前的预训练数据，确实我们在论文中提到的预训练数据有错误，论文中给出的是一个历史版本的预训练数据清单，我们论文中用于评估的OmDet-Turbo-B模型的预训练数据还额外使用了V3Det以及使用大词表目标属性识别模型在CC12M数据集上制作的一个pseudo label子集。这确实是我们的失误，我们也会在论文中更新预训练数据集的部分。此外对于你提到的coco数据泄露的问题，我们在训练过程中是明确没有使用coco数据集的，后续我们也会再排查一遍预训练数据，确保没有数据泄露存在。之后我们也会开源OmDet-Turbo-B的模型权重，可以用于测试使用以及分数复现。

Baboom-l commented 3 months ago

我主要疑惑的点在于omdet-b的coco零样本指标，57.1这个值相比于omdet-tubo-b明显高很多，而其它两个数据集上并没有这种现象。因此我才感觉是omdet b的训练中可能存在coco数据的泄露

om-ai-lab / OmDet

A huge question about the zero shot results in the paper #8