Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

finetune.py中关于选择lora模型的代码段逻辑有些问题 #145

Closed grantchenhuarong closed 1 year ago

grantchenhuarong commented 1 year ago

90~113行代码,看本意是想将模型改名为pytorch_model.bin后进行加载,如果存在就直接加载,否则判断有adapter_model.bin则改名后再行加载。但是因为os.rename名字之后,后边加载的还是中间进行二次赋值的adapter_model.bin,导致后边加载还是找不到。所以对于需要改名加载的这种情况,原有逻辑是无法装载lora模型参数的。

改进办法:将“pytorch_bin_path = checkpoint_name”提出到判断是否存在pytorch_model.bin之外,最后加载lora模型不使用checkpoint_name而改为使用pytorch_bin_path变量就好。