Open svjack opened 1 year ago
lora_checkpoint和lora_remote_checkpoint互斥的吧。。用一个就行了吧
lora_checkpoint和lora_remote_checkpoint互斥的吧。。用一个就行了吧
![]()
互斥这样写判断 感觉是不规范的
因为原本只有lora_checkpoint,这个是在本地finetune之后拿的模型,当时这些模型是直接放在仓库里面下载自己放的。 后来把模型扔到huggingface上了,那还要兼顾本地的接口就变成先从远程lora_remote_checkpoint拉取到本地,再从本地加载
如题,现在的continue训练(scripts/finetune_chat_continue.sh) 都要从lora_checkpoint这个路径导入继续训练的设置,又以lora_remote_checkpoint的下载权重进行覆盖。 如果直接在下载权重上进行微调的script则没有。 是否可以考虑给出直接在lora_remote_checkpoint上进行微调的脚本呢?这样我们就不需要考虑继续训练的参数保持和其它文件准备问题了。 而且当前release的 finetune_4bit.py 版本在resume_from_checkpoint也没有做对old_args的参数检查。