Open NB-Group opened 3 weeks ago
我windows机器的显卡显存没有那么大, 用了1.8b的小模型试了下是正常的,你可以试试这个模型是否正常
我在服务器上面量化internlm2-chat-20b,显存峰值15G,内存峰值40G,会不会是资源不足引起的?不过感觉多少得打印点东西,获取你可以自己先定位一下代码跑到哪里挂的。
24G显存,16G物理内存+35G虚拟内存,应该是够的吧
我测试了一下,1.5B的模型可以量化,虽然在最后报错:ConnectionError: Couldn't reach 'ptb_text_only' on the Hub (ConnectionError)
那么应该是资源不足引起的了,所以有没有量化好的interlm2-20b-chat
Checklist
Describe the bug
在运行量化命令后,无任何输出,并且应默认创建的文件夹
workspace
也没有创建Reproduction
lmdeploy lite auto_awq ./internlm2-chat-20b --work-dir internlm2-chat-20b-4bit
Environment
Error traceback
No response