[BUG] <关于本地部署和网站上的模型对于同一问题回答的不一致的情况>

hheavenknowss commented 7 months ago

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

[X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

[X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

我在本地部署了 Qwen-14b-int4模型，想测试一下和官网的差距，于是我尝试了一个不那么常见的问题——意图识别，可见官网的模型是可以给出正确的回答的，但是本地部署的就直接拒绝了我的请求，很好奇这是因为官网的特调吗，还是说开源的模型限制了部分功能，截图如下：

期望行为 | Expected Behavior

期望能解释一下这个现象，是否开源的模型减少了某些功能？或者某些模型的能力限制在哪里？

复现方法 | Steps To Reproduce

本地部署模型，输入帮我做意图识别和槽位预测，并以下面这种格式返回：{'intent': ,‘sence’: , 'time_scope': }，即可得到上面的回复

运行环境 | Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):

备注 | Anything else?

No response

hheavenknowss commented 7 months ago

倒不是说期望达到和官网一样的性能，毕竟开源就已经很帅了，只是想知道相比而言少了哪些东西，或者哪些不可以做，这样在过程中可以节约一下时间～

jklj077 commented 7 months ago

The Tongyi Qianwen Web service is powered by the Tongyi Qianwen 2.0 model, featuring hundreds of billions of parameters for enhanced performance beyond open-source Qwen models. For information on its features and updates, please consult the official release notes at https://tongyi.aliyun.com/qianwen/document. Access to the underlying model's API can be gained through DashScope API (https://help.aliyun.com/zh/dashscope/developer-reference/api-details) using the identifier qwen-max.

通义千问网页端服务依托于通义千问2.0千亿级参数大模型，性能超越开源 Qwen 模型。关于其功能特性和更新，请参阅官方发布的文档，链接为：https://tongyi.aliyun.com/qianwen/document。通过灵积服务 (https://help.aliyun.com/zh/dashscope/developer-reference/api-details) 可以访问底层模型接口，请使用模型名称 qwen-max 进行调用。

When comparing models from different series, it is crucial to consider their task-specific performance as larger models typically exhibit broader and more refined competencies. Therefore, when working with open-source alternatives, we recommend thorough assessment within your specific application context before making a decision.

在比较不同系列的模型时，需要注意的是它们在不同任务上的表现具有差异性，通常情况下，更大的模型展现出更广泛且精细的能力。因此，如果您正在使用开源模型，建议在应用场景下对模型进行详尽评估后再做选择。

QwenLM / Qwen