search

modelscope / modelscope-agent

ModelScope-Agent: An agent framework connecting models in ModelScope with the world
https://modelscope-agent.readthedocs.io/en/latest/
Apache License 2.0
2.72k stars 311 forks source link

使用这个 sh scripts/run_assistant_server.sh 部署模型之后，会不会比VLLM速度慢很多 #506

Open LIUKAI0815 opened 4 months ago

LIUKAI0815 commented 4 months ago

sh scripts/run_assistant_server.sh --served-model-name Qwen2-7B-Instruct --model path/to/weights 这个比VLLM推理速度慢吗

zzhangpurdue commented 4 months ago

不会，一样快，底层就是调用vllm

LIUKAI0815 commented 4 months ago

sh scripts/run_assistant_server.sh --served-model-name Qwen2-7B-Instruct --model path/to/weights 这条命令怎么修改模型路径的位置，因为使用这条命令，读取的模型位置会自动跳转到modelscope下载的位置，而不是我的本地位置，我本地的模型在自己的路径里，所以会出现requests.exceptions.HTTPError: The request model: /workspace/model/llm/Qwen/Qwen2-7B-Instruct/ does not exist!的报错

LIUKAI0815 commented 4 months ago

@zzhangpurdue vi /opt/conda/lib/python3.10/site-packages/vllm/config.py 企业微信截图_17194981507011 注释掉里面的代码就好了 咱们开发这种框架，能不能把这种参数在命令行里的参数就添加上

zzhangpurdue commented 4 months ago

之前我们尝试的时候确实是利用modelscope的下载地址进行测试的，没有考虑非modelscope的地址，这里我们看看如何修改。 感谢提供意见。

zzhangpurdue commented 4 months ago

刚试了一下，把模型挪出modelscope的下载路径然后也还是没有复现这个问题，是否可以告诉我一下你的vllm版本？

LIUKAI0815 commented 4 months ago

GPU环境镜像(python3.10)，ubuntu22.04-cuda12.1.0-py310-torch2.1.2-tf2.14.0-1.13.1 。 这个官方镜像里的，vllm是0.3.0。

LIUKAI0815 commented 4 months ago

@zzhangpurdue 企业微信截图_1719546363179 包括swift的框架里也有这个代码，之前运行的时候也会遇过同类问题。 vi /opt/conda/envs/swift/lib/python3.10/site-packages/vllm/config.py 在这里面，环境也是上面提到的。

zzhangpurdue commented 4 months ago

我这里run脚本的时候默认 export VLLM_USE_MODELSCOPE=false 应该是可以解决这个问题。 参考 #507