search

WisdomShell / codeshell-vscode

An intelligent coding assistant plugin for Visual Studio Code, developed based on CodeShell
Apache License 2.0
569 stars 70 forks source link

Docker启动量化模型的GPU模式 #45

Open heyonghan opened 8 months ago

heyonghan commented 8 months ago

Docker启动GPU推理模式，可以使用INT4量化后的模型吗，启动好像出错了。

heyonghan commented 8 months ago

image 看到在TGI启动的时候，可以加这个参数，但是运行直接就出错了。能帮验证一下吗。

出错信息： image

ZZR0 commented 7 months ago

你好，当前TGI还不支持CodeShell模型的量化部署。