search

QwenLM / Qwen-VL

The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud.
Other
4.27k stars 327 forks source link

[BUG] <没有按照提示词要求输出指定内容> #380

Open ybshaw opened 1 month ago

ybshaw commented 1 month ago

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

当前行为 | Current Behavior

使用qwen-7B-VL模型用来做检测任务，提示词中已明确要求只需要回答YES和NO，但模型在回答的时候还是给出了多种回答，例如（是的，图片是xxx、xxx, 所以我无法不确定,、根据图片内容，不是xxx），如何对模型的回答进行有效的约束，只让模型输出固定选项的回答。

期望行为 | Expected Behavior

No response

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS: centos
- Python:3.8
- Transformers: latest
- PyTorch:latest
- CUDA (`12.1`):

备注 | Anything else?

No response

BigPeng commented 1 month ago

这得要SFT

elesun2018 commented 1 month ago

你是用yolo检测结果做的数据集吗，问是否存在dog，答yes no。多少个标签，多少数据量，多目标多标签的情况是如何处理的。

ybshaw commented 4 weeks ago

你是用yolo检测结果做的数据集吗，问是否存在dog，答yes no。多少个标签，多少数据量，多目标多标签的情况是如何处理的。

不是，就算简单的输入一张图片，要求模型回答指定的选项，比如输入一张猫的图片，希望模型回答图片中有还是没有猫，但是模型给的回答并没有按照预期只说”有“和”没有“两种，而是会多了其它内容，比如图片的具体内容、有可能有等情况