LoRA微调和量化问题

OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University

https://txsun1997.github.io/blogs/moss.html

Apache License 2.0

11.9k stars 1.14k forks source link

Open lukaswangbk opened 1 year ago

lukaswangbk commented 1 year ago

在微调MOSS的时候遇到了以下问题：由于MOSS太大了无法单卡微调，而INT4模型又不支持多卡微调，目前的方案是多卡LoRA微调fp16的模型。但是在部署推理的时候依旧需要转换成INT4的形式进行部署，目前的方案是