Closed simonqian closed 1 year ago
可以,设置为最后保存的一个checkpoint就行。可以参考我们finetune_continue.sh中的设置
好的,谢谢
为什么用int8精度加载权重有optimizer.pt这些文件,但是用16精度加载模型,没有这些文件
可以,设置为最后保存的一个checkpoint就行。可以参考我们finetune_continue.sh中的设置 为什么用int8精度加载权重有optimizer.pt这些文件,但是用16精度加载模型,没有这些文件
新手想问一个关于断点重训的问题:在重新训练的时候,resume_from_checkpoint设置为哪个目录呢?
我现在的finetune脚本是:
目前训练时间需要240个小时。 假设我现在停止训练,然后 OUTPUT_PATH="my-lora-Vicuna" 的目录输出如下:
如果我要重新训练,resume_from_checkpoint参数应该设置为 my-lora-Vicuna/checkpoint-400 吗?