api模式下是不能实现工具调用吗？

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

Apache License 2.0

13.19k stars 1.52k forks source link

api模式下是不能实现工具调用吗？ #1249

Closed 4ooooo closed 1 month ago

4ooooo commented 1 month ago

我在服务器上起server，然后在本地终端调用api， response = client.chat.completions.create( model="chatglm3_6b", # 填写需要调用的模型名称 messages=messages, tools=tools, tool_choice="auto", ) 这样是无法识别到工具的，请问有什么好的解决办法吗？需要通过api实现

zRzRzRzRzRzRzR commented 1 month ago

可以识别，但是不一定模型能正常调用和选择，可以使用最新一代的GLM-4模型，在fc上的效果有明显提升