Closed LuckyGlass closed 5 months ago
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.
Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.
提交前必须检查以下项目
问题类型
模型训练与精调
基础模型
Chinese-Alpaca-2-16K (7B/13B)
操作系统
Linux
详细描述问题
使用
run_sft.sh
在训练中断后,尝试添加resume_from_checkpoint
参数恢复训练。报错:无法在state_dict
中找到对应的参数,具体报错信息查看“运行日志或截图”。原始的
run_sft.sh
如下(部分本地路径用 xxx 代替):尝试从 checkpoint 恢复训练的 shell 文件如下,仅添加
resume_from_checkpoint
参数:由于发现现有的环境无法支持yarn,使用hf model中提供的modeling_llama_yarn解决了yarn的支持问题。对
scripts/training/run_clm_sft_with_peft.py
作出了以下修改:替换
LlamaForCausalLM
为AutoModelForCausalLM
并添加了trust_remote_code
:在
AutoConfig.from_pretrained
中添加了trust_remote_code
。依赖情况(代码类问题务必提供)
运行日志或截图