多模态模型发文字可以正常使用，但是发图片就报错。 - Githubissues

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17k stars 4.54k forks source link

多模态模型发文字可以正常使用，但是发图片就报错。 #1560

Closed mrguo6221 closed 3 months ago

mrguo6221 commented 4 months ago

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x] 私有部署版本, 具体版本号: 4.8

问题描述, 日志截图 config设置：

fastgpt错误日志 fastgpt错误提示

oneapi渠道测试： fastgpt渠道测试

oneapi渠道设置： fastgpt渠道设置

oneapi错误日志： oneapi错误提示

fastgpt中发送文字正常聊天和发送图片错误提示：

复现步骤 1.用ollama运行llava-llama3:8b 2.在oneapi添加llava-llama3:8b的使用渠道并测试成功 3.在fastgpt的config里面添加oneapi中的llava-llama3:8b渠道，并且重启fastgpt 4.在fastgpt新建任务，使用刚刚在config中添加的 oneapi中的llava-llama3:8b渠道 5.可以使用此渠道进行正常的文本聊天 6.一旦发送图片报错如图所示，fastgpt oneapi 的日志如图所示

预期结果 正常使用通用的多模态模型不报错 相关截图

lijiajun1997 commented 4 months ago

llama3不是多模态吧另外多模态的bug多半在oneapi那边

mrguo6221 commented 4 months ago

llama3不是多模态吧另外多模态的bug多半在oneapi那边

这是一个用llama3结合起来的多模态模型，使用 openwebui可以正常调用 ollama运行的这个模型，发图片问答啥的都正常。

lijiajun1997 commented 4 months ago

llama3不是多模态吧另外多模态的bug多半在oneapi那边

这是一个用llama3结合起来的多模态模型，使用 openwebui可以正常调用 ollama运行的这个模型，发图片问答啥的都正常。

你得看格式是否和openai兼容，可以去oneapi那边问问

xiaoToby commented 4 months ago

对话框中可以放入图片了？@lijiajun1997

xiaoToby commented 4 months ago

你z这个图片怎么进去的？@mrguo6221

lijiajun1997 commented 4 months ago

你z这个图片怎么进去的？@mrguo6221

支持多模态的模型，在config里打开vision就可以

i-square commented 3 months ago

你这个问题是因为ollama不支持openai的vision接口，参考 Ollama OpenAI compatibility docs

而one-api添加的渠道是用openai的接口格式请求的，自然就报错了

13829386012 commented 3 months ago

你这个问题是因为ollama不支持openai的vision接口，参考 Ollama OpenAI compatibility docs

而one-api添加的渠道是用openai的接口格式请求的，自然就报错了

请问您我要上传图片使用多模态模型，需要做哪些设置，我非常需要

13829386012 commented 3 months ago

@mrguo6221 请问一下您解决这个问题了吗？

mrguo6221 commented 3 months ago

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

13829386012 commented 3 months ago

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

我看ollama api文件里是有支持图片的

mrguo6221 commented 3 months ago

@mrguo6221 请问一下您解决这个问题了吗？

解决不了，感觉ollama也是通过这种方式保留自己的生态圈。你用openwebui 可以正常使用ollama的多模态模型，但是他就不开放api通用接口的某些功能。

我看ollama api文件里是有支持图片的

没错是有图片支持的，但是他这种支持不是openapi的通用格式。你明白区别么？就是如 oneapi等程序都是直接拿openai的 api格式连接模型的，这些程序就不能调用ollama运行的模型的图片功能，挺麻烦的。