search

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.71k stars 444 forks source link

finetuning.py是不是不支持int8的权重，只能使用f16权重哈 #215

Open zlht812 opened 1 year ago

zlht812 commented 1 year ago

如题，先谢为敬～

mymusise commented 1 year ago

没试过直接load预量化好的int8的权重，但理论上有问题的话改下加载方式就可以

GXKIM commented 1 year ago

没试过直接load预量化好的int8的权重，但理论上有问题的话改下加载方式就可以

作者您好，要是使用执行finetune.py设置参数int8的话，对应的模型是不是也需要chatglm-6b-int8 这个才行呢