lora微调后推理加速

[nghuyong]

采用Lora的方式微调模型后，如何在推理阶段进行加速？

1. 是否可以把微调后的模型转换成int8进行加速？
2. 是否可以把模型转成onnx？

感谢

[ssbuild]

good ， it is on the way, 最近计划更新一个合并lora权重的脚本， 敬请期待。

[nghuyong]

wow 期待！感谢！

[ssbuild]

wow 期待！感谢！

已在dev 分支添加，参见readme。