ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

lora微调后推理加速 #200

Closed nghuyong closed 1 year ago

nghuyong commented 1 year ago

采用Lora的方式微调模型后,如何在推理阶段进行加速?

  1. 是否可以把微调后的模型转换成int8进行加速?
  2. 是否可以把模型转成onnx?

感谢

ssbuild commented 1 year ago

good , it is on the way, 最近计划更新一个合并lora权重的脚本, 敬请期待。

nghuyong commented 1 year ago

wow 期待!感谢!

ssbuild commented 1 year ago

wow 期待!感谢!

已在dev 分支添加,参见readme。