Open apachemycat opened 1 year ago
token信息没有变过不需要再保存一遍,和加载的一样
token信息没有变过不需要再保存一遍,和加载的一样
大佬,我的模型微调以后 bin文件大小只有1KB,这正常吗?
不正常,应该几十兆到几百兆
token信息没有变过不需要再保存一遍,和加载的一样
这样的话,只能使用LLaMa原来的那些token,是不是对中文支持不够啊? 生成文本的时候,很容易出现乱码。
token信息没有变过不需要再保存一遍,和加载的一样
大佬,我的模型微调以后 bin文件大小只有1KB,这正常吗? 我的也这样,请问你是怎么解决的呀?
看了代码,model.save_pretrained(OUTPUT_DIR) 没有保存Token信息,所以别的合并脚本和加载lora的时候报错