我在进行第一阶段的训练（视觉词汇表）后，测试的时候opt输出错误的坐标位置，无法检测对象

Ucas-HaoranWei / Vary-toy

Official code implementation of Vary-toy (Small Language Model Meets with Reinforced Vision Vocabulary)

565 stars 41 forks source link

Open black1948 opened 3 months ago

black1948 commented 3 months ago

我们是只在对象检测的数据集上进行训练，训练的样本大概有一万组图片，训练的参数基本和论文中保持一致，训练时我们时直接把图片和相应对象的坐标直接输入给模型。但是验证时我们发现opt的输出异常，出现图片中没有的对象以及随机生成的坐标，请问有什么比较好的解决方法吗？

Ucas-HaoranWei commented 3 months ago

我们开源了opt，带检测版本，你们可以看看