Closed chenanlin2000 closed 7 months ago
效果问题
None
Linux
# 请在此处粘贴运行代码(如没有可删除该代码块)
CUDA_VISIBLE_DEVICES=6,7 python3 -m llama_cpp.server --model /home/public/models/cppmodels/qwen72b-chat-q4_0.gguf --n_gpu_layers 100 --port 8080 --host 0.0.0.0
# 请在此处粘贴依赖情况
# 请在此处粘贴运行日志
你走错地方了,应该去Qwen的项目提问。
提交前必须检查以下项目
问题类型
效果问题
基础模型
None
操作系统
Linux
详细描述问题
CUDA_VISIBLE_DEVICES=6,7 python3 -m llama_cpp.server --model /home/public/models/cppmodels/qwen72b-chat-q4_0.gguf --n_gpu_layers 100 --port 8080 --host 0.0.0.0
依赖情况(代码类问题务必提供)
运行日志或截图