Open perryrighthere opened 10 months ago
您好,非常感谢您对CodeShell项目的支持。现阶段,由于官方TGI项目尚未开始原生地支持CodeShell模型,因此使用官方镜像并不能实现对CodeShell模型的多卡部署。
如果您需要实现多卡部署CodeShell模型,我们邀您试用我们的TGI-CodeShell分支。这一分支成功地实现了CodeShell模型与TGI推理框架的原生对接,以满足CodeShell模型多卡部署的需求。
参照TGI-CodeShell文档,您可以在本地构建TGI环境或者构建TGI-CodeShell Docker镜像。另外,我们也提供了预构建的TGI-CodeShell镜像zzr0/text-generation-inference:codeshell-1.1.1
,您可以在满足条件的情况下直接使用。
在使用TGI本地部署并通过text-generation-launcher运行模型时,会一直报错:Server error: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1!