labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.46k stars 4.69k forks source link

调用通义千问的视觉模型qwen-vl-max报错,提示参数temperature异常 #1700

Closed Jiang-Wan closed 4 months ago

Jiang-Wan commented 4 months ago

例行检查

你的版本

问题描述, 日志截图 我在oneapi配置了通义千问的视觉模型qwen-vl-max,并且可以通过代码正常调用(调用时不添加参数temperature或设置temperature=0),结果如下图: image 在FastGPT中使用该模型的时候,就会报错,具体错误截图如下: image 关于这个模型的config.json配置如下图: image 我知道这个问题是FastGPT后台调用oneapi接口的时候,添加了temperature这个参数导致,我想问的是,能否通过配置,让FastGPT调用的时候,不添加temperature这个参数或者temperature这个参数的值传为0 复现步骤

预期结果 能正常调用qwen-vl-max模型 相关截图

swallowMuzi commented 4 months ago

@Jiang-Wan 你好,我最近也在接qwen-vl,能加你联系方式请教一下你是怎么接的吗,我的报另外一种错,我的wx是swallowMuzi

Jiang-Wan commented 4 months ago

@Jiang-Wan 你好,我最近也在接qwen-vl,能加你联系方式请教一下你是怎么接的吗,我的报另外一种错,我的wx是swallowMuzi

你在这个把问题写出来,截图贴出来呗,可能你的问题我也不知道,写在这里,让大家都看看,集思广益嘛!

c121914yu commented 4 months ago

最低默认了0.01~ 可以试试maxTem设置1,任何页面上选1(实际就是0.1)试试

Jiang-Wan commented 4 months ago

最低默认了0.01~ 可以试试maxTem设置1,任何页面上选1(实际就是0.1)试试

看样子应该不行,我在页面上是如下图这样设置的: image 配置文件也改成了下图这个样子: image 依然会报一样的错误,如下图: image 目前来看,只通过配置,是否应该无法完成这个功能了,只能修改后台的代码逻辑了?

c121914yu commented 4 months ago

最低默认了0.01~ 可以试试maxTem设置1,任何页面上选1(实际就是0.1)试试

看样子应该不行,我在页面上是如下图这样设置的: image 配置文件也改成了下图这个样子: image 依然会报一样的错误,如下图: image 目前来看,只通过配置,是否应该无法完成这个功能了,只能修改后台的代码逻辑了?

看来是的,模型不支持这个参数😂只能改模型接口,过滤对应参数

PannyHuang commented 1 month ago

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: 4.8.3

问题描述, 日志截图 我在oneapi配置了通义千问的视觉模型qwen-vl-max,并且可以通过代码正常调用(调用时不添加参数temperature或设置temperature=0),结果如下图: image 在FastGPT中使用该模型的时候,就会报错,具体错误截图如下: image 关于这个模型的config.json配置如下图: image 我知道这个问题是FastGPT后台调用oneapi接口的时候,添加了temperature这个参数导致,我想问的是,能否通过配置,让FastGPT调用的时候,不添加temperature这个参数或者temperature这个参数的值传为0 复现步骤

预期结果 能正常调用qwen-vl-max模型 相关截图

请问你是如何在oneapi后台给qwen-vl-max配置渠道的?

Jiang-Wan commented 1 month ago

image 手动填入的,填入后记得重启下oneapi,你要是按fastgpt默认的方式配置oneapi,那oneapi会有缓存