Open apachemycat opened 1 year ago
if target_model_path is not None: print(f'Saving the target model to {target_model_path}') model.save_pretrained(target_model_path) base_tokenizer.save_pretrained(target_model_path)
这里还需要增加一个函数调用。 lora_model = lora_model.merge_and_unload() merge_and_unload函数在16位加载模型的时候有用，8bit不行 下面这个不确定要不要调用 lora_model.train(False)
if target_model_path is not None: print(f'Saving the target model to {target_model_path}') model.save_pretrained(target_model_path) base_tokenizer.save_pretrained(target_model_path)
这里还需要增加一个函数调用。 lora_model = lora_model.merge_and_unload() merge_and_unload函数在16位加载模型的时候有用，8bit不行 下面这个不确定要不要调用 lora_model.train(False)