model=WisdomShell/CodeShell-7B
volume=$PWD/data # share a volume with the Docker container to avoid downloading weights every run
docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data zzr0/text-generation-inference:shell-1.4.0 --model-id $model
根据这个 issues 官方
实现了CodeShell模型与TGI推理框架的原生对接,以满足CodeShell模型多卡部署的需求
但是 下载预构建的镜像 docker pull zzr0/text-generation-inference:codeshell-1.1.1 报错如下:
Error response from daemon: manifest for zzr0/text-generation-inference:shell-1.1.1 not found: manifest unknown: manifest unknown
在TGI_Codeshell的说明文档中,命令为:
下载报错如下:
error pulling image configuration: download failed after attempts=6: dial tcp 108.160.166.253:443: i/o timeout
问题, 1、 zzr0/text-generation-inference:shell-1.4.0 是否可以理解为zzr0/text-generation-inference:codeshell-1.1.1的升级版本 2、不管是zzr0/text-generation-inference:shell-1.4.0 还是zzr0/text-generation-inference:codeshell-1.1.1都无法下载 3、然后又找到一个ghcr.nju.edu.cn/huggingface/text-generation-inference:1.4.0 ,这个有的时候网络通有的时候又不通,下载还是报错 大佬,@ZZR0