求批量上传文档到对话框功能，以及ollama 使用多模态大模型接入fastgpt后，无反应

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17.49k stars 4.69k forks source link

求批量上传文档到对话框功能，以及ollama 使用多模态大模型接入fastgpt后，无反应 #1553

Closed ifkd111 closed 4 months ago

ifkd111 commented 5 months ago

例行检查

[x] 我已确认目前没有类似 features
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，已确定现有版本无法满足需求
[x] 我理解并愿意跟进此 features，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 features 可能会被无视或直接关闭

功能描述

应用场景

相关示例

ifkd111 commented 5 months ago

上传文档功能，以及ollama 使用多模态大模型接入fastgpt后，无反应

c121914yu commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

ifkd111 commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

额，就是ollama接个多模态模型后，ollama自带的webui可以读取图片，但是接入fastgpt后就读不了图片，求原因或者解决办法

ifkd111 commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

还有就是语音输入无法正常使用，能不能给个教程？我docker里有whisper，连了oneapi，改了config，还是不行，网页可以打开语音输入选项，但是点了语音输入没反应，或者跳出浏览器不支持，换浏览器也不行，球球了，实在是小白，给点提示或者什么的，我愿意学，稍微给点耐心，麻烦您啦。

ifkd111 commented 4 months ago

![Uploading image.jpg…]()

ifkd111 commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

bad response status code 404 (request id: 2024052815285657566720090754222)

语音输入后是这个提示

c121914yu commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

bad response status code 404 (request id: 2024052815285657566720090754222)

语音输入后是这个提示

404 是请求模型地址不对

c121914yu commented 4 months ago

无效issue，请分开详细描述。提之前搜下以前的，重复内容不用提。

额，就是ollama接个多模态模型后，ollama自带的webui可以读取图片，但是接入fastgpt后就读不了图片，求原因或者解决办法

可以二开 oneapi，支持 ollama 接口。目前他是不支持 ollama vision 接口

c121914yu commented 4 months ago

模型问题，先自行 curl 测试通过（具体参数可以参考 openai 官方文档）。检查下面两项:

curl 请求模型本身是否通过 curl 请求 oneapi 是否通过