yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
3.03k stars 368 forks source link

train_llava关于保存权重文件的问题 #196

Open weiaicunzai opened 3 weeks ago

weiaicunzai commented 3 weeks ago

请问一下, train_llava保存权重是保存最后一个epoch的权重吗?

感谢大佬的开源。 我主要是小模型的经验比较多。小模型的话,会有个验证集,训练时候保存每轮在验证集最高的权重。但是大模型目前代码中没有看到有验证集,好像是直接就训练完保存了。这样如何确保保存训练中最好的一个权重呢?

保存权重相关代码

    trainer.train()
    trainer.save_state()
    trainer.save_model(output_dir=training_args.output_dir)