search

QwenLM / Qwen-Agent

Agent framework and applications built upon Qwen2, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
https://pypi.org/project/qwen-agent/
Other
3.08k stars 302 forks source link

在远程服务器上跑的，但是本地链接上去问一个问题就报连接错误 #37

Closed iaoxuesheng closed 2 months ago

iaoxuesheng commented 10 months ago

2 请问这个怎么解决

tuhahaha commented 10 months ago

python run_server.py --model_server http://127.0.0.1:7905/v1，这里把127.0.0.1改成你的服务器ip

iaoxuesheng commented 10 months ago

上面的启动Qwen那里用改吗

iaoxuesheng commented 10 months ago

还是拒绝连接，而且我发现在启动Qwen时返回的那个连接也上不去，不知道是不是这个原因

tuhahaha commented 10 months ago

启动Qwen那里的命令不用改，上不去的具体报错是什么？

tuhahaha commented 10 months ago

@iaoxuesheng 目前更新了一版代码，我这边测试可以比较好的支持远程服务的情况，你可以先用dashscope api访问qwen，来测试是否是qwen部署问题。

cheng18175030250 commented 6 months ago

python run_server.py --model_server http://127.0.0.1:7905/v1，这里把127.0.0.1改成你的服务器ip

能否出一个本地部署qwen-agent并使用的完整案例，我看网上本地部署的教程中，都有“启动模型服务 这一步骤，python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat，但是现在的仓库中 并没有openai_api.py这个文件”？

JianxinMa commented 6 months ago

python run_server.py --model_server http://127.0.0.1:7905/v1，这里把127.0.0.1改成你的服务器ip

能否出一个本地部署qwen-agent并使用的完整案例，我看网上本地部署的教程中，都有“启动模型服务 这一步骤，python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat，但是现在的仓库中 并没有openai_api.py这个文件”？

openai_api.py是Qwen1用的，不支持Qwen1.5。我们现在推荐大家参考 Qwen1.5 的文档部署一个 openai 兼容的 api，就能使用了。vllm、ollama等等框架都能提供这个 openai 兼容的api。

cheng18175030250 commented 6 months ago

python run_server.py --model_server http://127.0.0.1:7905/v1，这里把127.0.0.1改成你的服务器ip

能否出一个本地部署qwen-agent并使用的完整案例，我看网上本地部署的教程中，都有“启动模型服务 这一步骤，python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat，但是现在的仓库中 并没有openai_api.py这个文件”？

openai_api.py是Qwen1用的，不支持Qwen1.5。我们现在推荐大家参考 Qwen1.5 的文档部署一个 openai 兼容的 api，就能使用了。vllm、ollama等等框架都能提供这个 openai 兼容的api。

谢谢，能否出一个完整的部署案例教程

JianxinMa commented 6 months ago

python run_server.py --model_server http://127.0.0.1:7905/v1，这里把127.0.0.1改成你的服务器ip

能否出一个本地部署qwen-agent并使用的完整案例，我看网上本地部署的教程中，都有“启动模型服务 这一步骤，python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat，但是现在的仓库中 并没有openai_api.py这个文件”？

openai_api.py是Qwen1用的，不支持Qwen1.5。我们现在推荐大家参考 Qwen1.5 的文档部署一个 openai 兼容的 api，就能使用了。vllm、ollama等等框架都能提供这个 openai 兼容的api。

谢谢，能否出一个完整的部署案例教程

vllm参考 https://qwen.readthedocs.io/en/latest/deployment/vllm.html#openai-api-compatible-api-service ，启动 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat 后就能有 openai 兼容的服务了。

ollama参考 https://github.com/ollama/ollama/blob/main/docs/openai.md 。

我们近期找时间更新下文档补充下。如果您跑vllm、ollama遇到困难也可以随时提issues（vllm支持高吞吐、ollama则支持本地cpu&gpu部署）