search

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 425 forks source link

scripts 中好像没有 直接从Chinese-Vicuna/Chinese-Vicuna-lora-7b-chatv1继续训练微调的版本 #220

Open svjack opened 1 year ago

svjack commented 1 year ago

如题，现在的continue训练(scripts/finetune_chat_continue.sh) 都要从lora_checkpoint这个路径导入继续训练的设置，又以lora_remote_checkpoint的下载权重进行覆盖。 如果直接在下载权重上进行微调的script则没有。 是否可以考虑给出直接在lora_remote_checkpoint上进行微调的脚本呢？这样我们就不需要考虑继续训练的参数保持和其它文件准备问题了。 而且当前release的 finetune_4bit.py 版本在resume_from_checkpoint也没有做对old_args的参数检查。

igorwang commented 1 year ago

lora_checkpoint和lora_remote_checkpoint互斥的吧。。用一个就行了吧

image
svjack commented 1 year ago

lora_checkpoint和lora_remote_checkpoint互斥的吧。。用一个就行了吧

image

互斥这样写判断 感觉是不规范的

Facico commented 1 year ago

因为原本只有lora_checkpoint，这个是在本地finetune之后拿的模型，当时这些模型是直接放在仓库里面下载自己放的。 后来把模型扔到huggingface上了，那还要兼顾本地的接口就变成先从远程lora_remote_checkpoint拉取到本地，再从本地加载