labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.
https://tryfastgpt.ai
Other
17.47k stars 4.69k forks source link

私有部署版本【工具调用】模块不生效 #1514

Closed alvinwee07 closed 4 months ago

alvinwee07 commented 5 months ago

例行检查

你的版本

私有部署版本, 具体版本号: 4.7

问题描述, 日志截图 私有部署版本工具调用不生效,看调试窗口应该是判断出了要用哪个工具,但没有调用工具返回内容; 模型:chtglm3-6b

image

复现步骤

image image

预期结果 正常获取到工具的返回并调用模型输出

相关截图

lijiajun1997 commented 5 months ago

config里把tool choice 和function call关掉,另外工具调用对openai兼容性比较好,其他模型建议用分类。

alvinwee07 commented 5 months ago

config里把tool choice 和function call关掉,另外工具调用对openai兼容性比较好,其他模型建议用分类。

改成false 【问题分类】可以用了, 【工具调用】还是不行;然后又试了试把functioncall 改成true,工具调用还是不行

c121914yu commented 4 months ago

6b的模型,基本不可能靠提示词~ 况且工具调用提示词还挺长的,建议跑点qwen32b这种主流。

SDAIer commented 3 months ago

遇到同样的问题