Closed Deep1994 closed 1 year ago
你好,sft阶段我看代码中加载的是“model.load_state_dict(torch.load('./out/baike_pretrain/epoch_0.pth'))”,epoch是0,但是pretrain的时候epoch是2,为什么接着第1个epoch 做sft而不是第2个呢?
这个无关紧要,只是因为我当时第二个epoch还没训练完。
你好,sft阶段我看代码中加载的是“model.load_state_dict(torch.load('./out/baike_pretrain/epoch_0.pth'))”,epoch是0,但是pretrain的时候epoch是2,为什么接着第1个epoch 做sft而不是第2个呢?