search

WisdomShell / codeshell-vscode

An intelligent coding assistant plugin for Visual Studio Code, developed based on CodeShell
Apache License 2.0
578 stars 73 forks source link

Docker启动量化模型的GPU模式 #45

Open jasonheyh opened 1 year ago

jasonheyh commented 1 year ago

Docker启动GPU推理模式，可以使用INT4量化后的模型吗，启动好像出错了。

jasonheyh commented 1 year ago

image 看到在TGI启动的时候，可以加这个参数，但是运行直接就出错了。能帮验证一下吗。

出错信息： image

ZZR0 commented 12 months ago

你好，当前TGI还不支持CodeShell模型的量化部署。