工具调用组件建议将工具调用和LLM对话分开 - Githubissues

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

https://tryfastgpt.ai

Other

17.23k stars 4.61k forks source link

工具调用组件建议将工具调用和LLM对话分开 #1965

Open dockersky opened 3 months ago

dockersky commented 3 months ago

例行检查

[x] 我已确认目前没有类似 features
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，已确定现有版本无法满足需求
[x] 我理解并愿意跟进此 features，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 features 可能会被无视或直接关闭

功能描述

工具调用组件，是否可以将工具调用和LLM对话分开，工具调用只做工具调用的事情，返回的内容交给各工具自己返回。提高其灵活性。

应用场景

工具调用下增加N个插件，返回给用户希望是插件直接返回的内容，这时候需要增加工具调用终止和指定回复内容的组件，看起来太乱。不如工具调用和LLM对话分开，是使用插件直接返回的内容，还是插件返回的内容LLM对话进行处理，交给用户自己决定，个人认为会更好。

romejiang commented 2 months ago

工具调用默认把调用接口和LLM对话强制合并在一起的逻辑，确实不利于新用户理解这个工具的使用。

c121914yu commented 2 months ago

，新用户不是默认都知道工具调用会触发调用？这是工具调用原生做法，不输出才是特殊做法。

dockersky commented 2 months ago

是否可以参考下core和dify 的工作流

heart18z commented 1 month ago

支持，这个感觉很有必要，不然工具调用耦合度很高