QwenLM / Qwen2

Qwen2 is the large language model series developed by Qwen team, Alibaba Cloud.
5.96k stars 336 forks source link

用qwen1.5-32B-chat测试langgraph的官方例子时无法调用function,所有代码均按照langgraph的notbook写,仅仅替换了模型,模型是fschat本地服务器部署的,请问问题出在哪? #568

Open aimi0914 opened 3 weeks ago

aimi0914 commented 3 weeks ago

image

调试看了模型输出的结果,没有返回function_call字段,因此报错

langgraph例子:https://github.com/langchain-ai/langgraph/blob/main/examples/multi_agent/hierarchical_agent_teams.ipynb

llm绑定tool代码: image

aimi0914 commented 3 weeks ago

@ @JianxinMa

JianxinMa commented 3 weeks ago

您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。

aimi0914 commented 3 weeks ago

您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。

是的 自己部署的,意思是langgraph用不了qwen啊

JianxinMa commented 3 weeks ago

您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。

是的 自己部署的,意思是langgraph用不了qwen啊

可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)

shaqing commented 2 days ago

您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。

是的 自己部署的,意思是langgraph用不了qwen啊

可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)

请问,如何使用react代替function call呢?

JianxinMa commented 2 days ago

您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。

是的 自己部署的,意思是langgraph用不了qwen啊

可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)

请问,如何使用react代替function call呢?

qwen-agent框架有提供function call、react,可参考examples目录。

实在想用langchain、不想用qwen-agent等其他框架,有如下几种方案,可以按自己需求选择一种:(1)用阿里云dashscope的模型服务,那边的服务带tool call;(2)开源模型自己部署,自己封装一个带tool call的oepnai api兼容服务;(3)用langchain的react agent,而不是tool call agent。https://python.langchain.com/v0.1/docs/modules/agents/agent_types/react/ 需要注意的是一些langchain、vllm版本可能对stop word处理不好,会导致react跑不成功。