训练模型没有保存token信息

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca

https://github.com/Facico/Chinese-Vicuna

Apache License 2.0

4.14k stars 425 forks source link

Open apachemycat opened 1 year ago

apachemycat commented 1 year ago

看了代码，model.save_pretrained(OUTPUT_DIR) 没有保存Token信息，所以别的合并脚本和加载lora的时候报错

Facico commented 1 year ago

token信息没有变过不需要再保存一遍，和加载的一样

Orangeices commented 1 year ago

token信息没有变过不需要再保存一遍，和加载的一样

大佬，我的模型微调以后 bin文件大小只有1KB，这正常吗？

apachemycat commented 1 year ago

不正常，应该几十兆到几百兆

NewEricWang commented 1 year ago

token信息没有变过不需要再保存一遍，和加载的一样

这样的话，只能使用LLaMa原来的那些token，是不是对中文支持不够啊？生成文本的时候，很容易出现乱码。

alisyzhu commented 1 year ago

token信息没有变过不需要再保存一遍，和加载的一样

大佬，我的模型微调以后 bin文件大小只有1KB，这正常吗？我的也这样，请问你是怎么解决的呀？