关于运行finetune_deepspeed保存的中间checkpoint的问题，

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca

https://github.com/Facico/Chinese-Vicuna

Apache License 2.0

4.14k stars 422 forks source link

Open kleinchueng opened 1 year ago

kleinchueng commented 1 year ago

我在双卡3090 运行起来了finetune_deepspeed微调来微调llama-7b，但是发现他的checkpoint好像并不是保存的loraweight，而是保存了13.9G的pytorch_model,根据大小看起来是完整的模型？请问如何检查这些checkpoint的结果呢？