Closed eric1932 closed 1 month ago
也测试了 docker run --gpus all xprobe/xinference:v0.13.2 xinference-local --log-level debug
就可以正常运行
可以暂时将启动指令改为sh -c "pip uninstall -y llama-cpp-python && xinference-local --host 0.0.0.0 --port 8080"
按照官方建议将内部的llama-cpp-python 改为 0.2.28 可以正常启动了
System Info / 系統信息
docker run --gpus all xprobe/xinference xinference-local
Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece?
Version info / 版本信息
v0.13.3
The command used to start Xinference / 用以启动 xinference 的命令
docker run --gpus all xprobe/xinference xinference-local
Reproduction / 复现过程
不需要额外操作
Expected behavior / 期待表现
容器不退出