工具组件直接输出的AI无法输入图片

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17.48k stars 4.69k forks source link

工具组件直接输出的AI无法输入图片 #1597

Closed bincooo closed 4 months ago

bincooo commented 4 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本 v4.8.1 docker

[ ] 公有云版本
[x] 私有部署版本, 具体版本号:

问题描述, 日志截图 仅用工具组件作为输出时，调试窗可以选择图片但无法识别。发布后的窗口对话无发选择图片；工具组件+AI输出组件则正常； 复现步骤 只有工具组件的流程：

预期结果

相关截图

lijiajun1997 commented 4 months ago

同样有这个问题，如果是gpt模型本身不支持同时调用tool和vision的话，可以考虑如果用户发送图片，触发的tool选择变为普通的AI对话？ @c121914yu

ifkd111 commented 4 months ago

例行检查

[x] 我已确认目前没有类似 issue

[x] 我已完整查看过项目 README，以及项目文档

[x] 我使用了自己的 key，并确认我的 key 是可正常使用的

[x] 我理解并愿意跟进此 issue，协助测试和提供反馈

[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本 v4.8.1 docker

[ ] 公有云版本

[x] 私有部署版本, 具体版本号:

问题描述, 日志截图 仅用工具组件作为输出时，调试窗可以选择图片但无法识别。发布后的窗口对话无发选择图片；工具组件+AI输出组件则正常； 复现步骤 只有工具组件的流程：

预期结果

相关截图

为什么我的fastgpt不支持图片上传，回答我是错误信息？求大佬告知~纯小白，我接的是ollama的llava模型

bincooo commented 4 months ago

@c121914yu 这算bug吗？不是很清楚chatgpt是否能在工具调用同时使用附件，如果就是这么设计的我把issue关了

c121914yu commented 4 months ago

@c121914yu 这算bug吗？不是很清楚chatgpt是否能在工具调用同时使用附件，如果就是这么设计的我把issue关了

之前 4v 是不行，4o 我还没试过

bincooo commented 4 months ago

之前 4v 是不行，4o 我还没试过

好的👌