search

QwenLM / Qwen-Agent

Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
https://pypi.org/project/qwen-agent/
Other
3.4k stars 337 forks source link

模型服务+工具调用 #118

Closed lyj555 closed 7 months ago

lyj555 commented 7 months ago

有两个问题请教下，

1）一个是如何基于qwen1.5模型启动open-ai的推理服务，同时具备function call的功能？ 我看vLLM和SGLang可以启动服务，但是不支持function call，在qwen-agent项目中，没看到具体的文档介绍服务启动。

2）另外一个问题，目前function call的示例中，我发现和openai的调用方式类似，所以想确认下，qwen1.5训练和调优的时候，也是按照openai格式来的么？

JianxinMa commented 7 months ago
  1. 用vllm或sqlang启动openai服务，然后用qwen-agent调用他们的openai接口，用qwen-agent的function call功能，https://github.com/QwenLM/Qwen-Agent/blob/main/examples/function_calling.py

但是遗憾的是，qwen-agent目前没提供启动openai服务的功能（技术上能做，但是没人手没开工）。

  1. 训练的prompt参考这个讨论 https://github.com/QwenLM/Qwen-Agent/issues/112#issuecomment-2034262418

（有空再整理个文档）

lyj555 commented 7 months ago

好的，多谢。 另外，上面提到的vllm和sglang，可以使用ollama代替么？

JianxinMa commented 7 months ago

好的，多谢。 另外，上面提到的vllm和sglang，可以使用ollama代替么？

可以。参考 https://github.com/QwenLM/Qwen-Agent/issues/94#issuecomment-1983410169

lyj555 commented 7 months ago

嗯嗯，多谢。

i-yoyocat commented 6 months ago

有两个问题请教下，

1）一个是如何基于qwen1.5模型启动open-ai的推理服务，同时具备function call的功能？ 我看vLLM和SGLang可以启动服务，但是不支持function call，在qwen-agent项目中，没看到具体的文档介绍服务启动。

2）另外一个问题，目前function call的示例中，我发现和openai的调用方式类似，所以想确认下，qwen1.5训练和调优的时候，也是按照openai格式来的么？

vLLM启动1.5，langchain目前可以调用的~

315930399 commented 6 months ago

有两个问题请教下， 1）一个是如何基于qwen1.5模型启动open-ai的推理服务，同时具备function call的功能？ 我看vLLM和SGLang可以启动服务，但是不支持function call，在qwen-agent项目中，没看到具体的文档介绍服务启动。 2）另外一个问题，目前function call的示例中，我发现和openai的调用方式类似，所以想确认下，qwen1.5训练和调优的时候，也是按照openai格式来的么？

vLLM启动1.5，langchain目前可以调用的~

请教一下怎么调用，用react agent的方式吗