Open lukaswangbk opened 1 year ago
在微调MOSS的时候遇到了以下问题: 由于MOSS太大了无法单卡微调,而INT4模型又不支持多卡微调,目前的方案是多卡LoRA微调fp16的模型。但是在部署推理的时候依旧需要转换成INT4的形式进行部署,目前的方案是
在微调MOSS的时候遇到了以下问题: 由于MOSS太大了无法单卡微调,而INT4模型又不支持多卡微调,目前的方案是多卡LoRA微调fp16的模型。但是在部署推理的时候依旧需要转换成INT4的形式进行部署,目前的方案是