使用docker部署bge-rerank-v2-m3镜像，启动出错

labring / FastGPT

FastGPT is a knowledge-based platform built on the LLMs, offers a comprehensive suite of out-of-the-box capabilities such as data processing, RAG retrieval, and visual AI workflow orchestration, letting you easily develop and deploy complex question-answering systems without the need for extensive setup or configuration.

Other

17.51k stars 4.7k forks source link

例行检查

[x] 我已确认目前没有类似 issue
[x] 我已完整查看过项目 README，以及项目文档
[x] 我使用了自己的 key，并确认我的 key 是可正常使用的
[x] 我理解并愿意跟进此 issue，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

[ ] 公有云版本
[x ] 私有部署版本, 具体版本号: 4.6.9

问题描述 使用docker部署bge-rerank-v2-m3镜像，启动出错 复现步骤 运行命令： docker run -d --name reranker -p 6006:6006 -e ACCESS_TOKEN=mytoken --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt/bge-rerank-v2-m3:v0.1 错误信息： Error response from daemon: could not select device driver "" with capabilities: [[gpu]] 预期结果 本地有GPU，本地CUDA 版本12.2，是否可能的原因是，镜像bge-rerank-v2-m3:v0.1需要CUDA版本 11.7。请问问题原因，我该如何调整，谢谢？ 相关截图

这个错误信息通常出现在Docker环境中，尤其是当你尝试使用GPU加速功能但系统未能正确配置或识别GPU设备时。这里有几个可能的解决步骤：

确保你的系统有NVIDIA GPU，并且安装了NVIDIA的驱动程序。 你可以通过运行 nvidia-smi 命令来检查GPU状态和驱动版本。
安装NVIDIA Docker支持。 你需要安装nvidia-docker2和相关依赖，这样Docker才能利用GPU。安装后，尝试重新启动Docker服务。
使用正确的运行命令。 当运行需要GPU支持的容器时，确保使用正确的命令。例如，使用 docker run --gpus all ... 来指定Docker使用GPU。
检查Docker版本。 确保你的Docker版本支持GPU，较新版本的Docker通常有更好的支持。
查看Docker配置文件。 确保Docker的配置文件（如daemon.json）中正确设置了NVIDIA作为默认的运行时。

如果以上步骤仍然无法解决问题，可能需要更详细地检查系统的日志文件，或者寻求更专业的帮助。

labring / FastGPT

使用docker部署bge-rerank-v2-m3镜像，启动出错 #1175