纯CPU无法启动

[firstjack]

最新版本，这是配置文件

• qwen: #自定义的模型名称 alias: gpt-4,gpt-3.5-turbo,gpt-3.5-turbo-16k # 别名 例如 gpt4,gpt3 enable: true # false true model_name_or_path: /home/k/Qwen1.5-7B-Chat-GPTQ-Int4/ model_type: qwen # qwen chatglm3 yi internlm work_mode: vllm # vllm hf device: cpu # gpu / cpu workers:
  • gpus:
    • 0 启动后提示 ImportError: libcuda.so.1: cannot open shared object file: No such file or directory

[shell-nlp]

cpu，确实有问题，我研究一下

[shell-nlp]

我看了vllm的文档，pip 安装的 vllm 不支持 cpu，