Open aimi0914 opened 3 weeks ago
@ @JianxinMa
您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。
您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。
是的 自己部署的,意思是langgraph用不了qwen啊
您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。
是的 自己部署的,意思是langgraph用不了qwen啊
可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)
您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。
是的 自己部署的,意思是langgraph用不了qwen啊
可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)
请问,如何使用react代替function call呢?
您是自己部署的模型服务吗?langgraph应该是调用了vllm等openai api服务的function call实现。但很遗憾的是,vllm等其他推理框架并没有集成qwen的function call实现。
是的 自己部署的,意思是langgraph用不了qwen啊
可以用qwen,但是用不了qwen的function call功能,因为缺少相应的工程配套实现(但可以用ReAct替代function call)
请问,如何使用react代替function call呢?
qwen-agent框架有提供function call、react,可参考examples目录。
实在想用langchain、不想用qwen-agent等其他框架,有如下几种方案,可以按自己需求选择一种:(1)用阿里云dashscope的模型服务,那边的服务带tool call;(2)开源模型自己部署,自己封装一个带tool call的oepnai api兼容服务;(3)用langchain的react agent,而不是tool call agent。https://python.langchain.com/v0.1/docs/modules/agents/agent_types/react/ 需要注意的是一些langchain、vllm版本可能对stop word处理不好,会导致react跑不成功。
调试看了模型输出的结果,没有返回function_call字段,因此报错
langgraph例子:https://github.com/langchain-ai/langgraph/blob/main/examples/multi_agent/hierarchical_agent_teams.ipynb
llm绑定tool代码:![image](https://github.com/QwenLM/Qwen2/assets/71507702/aa8ef59e-cdca-4406-a5c2-bc8a6f34719c)