LiuHC0428 / LAW-GPT

中文法律对话语言模型
1.06k stars 119 forks source link

如何进一步量化? #35

Open gaozhengjie opened 1 year ago

gaozhengjie commented 1 year ago

您好,感谢您的分享。我想了解一下在现有程序的基础上,是可以支持进一步量化吗?因为现有16bit的推理速度我觉得稍微有点慢。

如果可以进一步量化,烦请告知,谢谢!