zero3保存的模型无法加载

jianzhnie / LLamaTuner

Easy and Efficient Finetuning LLMs. (Supported LLama, LLama2, LLama3, Qwen, Baichuan, GLM , Falcon) 大模型高效量化训练+部署.

https://jianzhnie.github.io/llmtech/

Apache License 2.0

576 stars 63 forks source link

Open charliedream1 opened 1 year ago

charliedream1 commented 1 year ago

zero3保存出来的pytorch.bin只有几兆，推理时加载存在问题

jianzhnie commented 1 year ago

是使用的 lora 训练的吗

charliedream1 commented 1 year ago

Lora和full都用了，都不行，只存出几兆的东西

---原始邮件--- 发件人: @.> 发送时间: 2023年8月24日(周四) 下午3:32 收件人: @.>; 抄送: "Optimus @.**@.>; 主题: Re: [jianzhnie/Efficient-Tuning-LLMs] zero3保存的模型无法加载 (Issue #90)

是使用的 lora 训练的吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>