search

Meituan-AutoML / Lenna

Apache License 2.0
78 stars 4 forks source link

关于提供的chat.py的疑问 #9

Closed CoolChameleon closed 7 months ago

CoolChameleon commented 7 months ago

您好： 使用您提供的chat.py进行推理时，无论怎样修改prompt和caption，模型的文字输出都为类似Sure, .的格式，无法输出额外的文字信息（即使没有要求模型进行检测，只要求模型描述图片也会有这样的情况）。请问这是符合预期的吗？

weifei7 commented 7 months ago

感谢你的关注～在代码中，我们将prompt设为f'Please detect the {g_dino_caption} in this image.'，但对于VQA任务，prompt和caption应该都被赋值为你的Question，下面是一个例子： image:

image

g_dino_caption: What is the young boy doing at the table? prompt: What is the young boy doing at the table? response: The young boy is sitting at the table, eating pizza and smiling. 可以修改一下prompt的赋值再试试～对于非检测任务，模型一般不会返回[DET] token，不过非常遗憾 由于训练数据中VQA比例较低，它的VQA性能并没有特别好，在后续的工作中 我们也会重点优化这方面～

weifei7 commented 7 months ago

Hi, hope your question has been resolved. If you have any further concerns, please feel free to re-open it or open a new issue. Thanks!