labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.5k stars 4.7k forks source link

Markdown 图片解析渲染问题 #1775

Closed zaite closed 2 months ago

zaite commented 4 months ago

例行检查

功能描述 目前知识库录入或者通过文档导入的知识库,支持Markdown 格式,但是在问答输出上很不稳定,比如知识库里包含很多图片,但是在问答环节无法输出,折腾过好多提示词都没效果,比如通过发送,xxx图片,xxx截图或者在知识库markdown 格式前后各种注释描述,这样倒是会出现图片输出渲染的概率,但是这样很不友好! 应用场景 知识库,文档操作指引,图文介绍 相关示例 IMG_20240616_184639

duskcouple commented 4 months ago

和fastgpt应该没啥关系,是大模型比较智障,指令服从性比较拉胯,没什么好办法。甭说图片给你省略了,就是检索出来的知识库的好多核心内容,经过大模型一过滤,就残缺七八了,那些文字看起来头头是道,挺通顺,但实际上知识库检索出来的好多核心有用的知识块都被省略了。

c121914yu commented 3 months ago

😅已经返回链接了,但是不是 md 的链接,感觉只能调下模型提示词了。试试强制给他 md 图片格式作为参考。

zaite commented 3 months ago

😅已经返回链接了,但是不是 md 的链接,感觉只能调下模型提示词了。试试强制给他 md 图片格式作为参考。

升级到最新版试了下,图片比前面的版本渲染成功的概率大一点了,而且也和模型有很大关系,gpt和文心可以通过各种提示词提高概率,而通义不管用啥提示词和方法都不行,都不能理解,最后在问题后面附加“最好以图文形式回复”,则能渲染出一些图片,但是,出不出片也很随机,看它模型的心情,几个大模型对比可能gpt相对好用一点😅

c121914yu commented 3 months ago

😅已经返回链接了,但是不是 md 的链接,感觉只能调下模型提示词了。试试强制给他 md 图片格式作为参考。

升级到最新版试了下,图片比前面的版本渲染成功的概率大一点了,而且也和模型有很大关系,gpt和文心可以通过各种提示词提高概率,而通义不管用啥提示词和方法都不行,都不能理解,最后在问题后面附加“最好以图文形式回复”,则能渲染出一些图片,但是,出不出片也很随机,看它模型的心情,几个大模型对比可能gpt相对好用一点😅

我突然想到是不是后缀问题,没有图片后缀导致它觉得这不是图片。下次我试试加个后缀。

zaite commented 3 months ago

😅已经返回链接了,但是不是 md 的链接,感觉只能调下模型提示词了。试试强制给他 md 图片格式作为参考。

升级到最新版试了下,图片比前面的版本渲染成功的概率大一点了,而且也和模型有很大关系,gpt和文心可以通过各种提示词提高概率,而通义不管用啥提示词和方法都不行,都不能理解,最后在问题后面附加“最好以图文形式回复”,则能渲染出一些图片,但是,出不出片也很随机,看它模型的心情,几个大模型对比可能gpt相对好用一点😅

我突然想到是不是后缀问题,没有图片后缀导致它觉得这不是图片。下次我试试加个后缀。

ok,那回头更新了再试试

c121914yu commented 2 months ago

😅已经返回链接了,但是不是 md 的链接,感觉只能调下模型提示词了。试试强制给他 md 图片格式作为参考。

升级到最新版试了下,图片比前面的版本渲染成功的概率大一点了,而且也和模型有很大关系,gpt和文心可以通过各种提示词提高概率,而通义不管用啥提示词和方法都不行,都不能理解,最后在问题后面附加“最好以图文形式回复”,则能渲染出一些图片,但是,出不出片也很随机,看它模型的心情,几个大模型对比可能gpt相对好用一点😅

我突然想到是不是后缀问题,没有图片后缀导致它觉得这不是图片。下次我试试加个后缀。

该后缀功能已增加。