ghosthamlet / gpt2-ml-torch

Pytorch model for https://github.com/imcaspar/gpt2-ml
Apache License 2.0
79 stars 16 forks source link

多步训练的问题 #31

Open SCAUapc opened 1 year ago

SCAUapc commented 1 year ago

您好!十分谢谢你的项目代码,就想问一下为什么要先freeze_body然后再finetune?

ghosthamlet commented 1 year ago

不好意思,刚看见。 finetune有两个阶段,只有第一个阶段freeze_body,这是为了快速微调最后的输出层,这个阶段完成后,再进行第二个阶段全模型微调会更加稳定。另外有些简单任务在快速的第一阶段微调后,测试如果已经达到了需求的效果,那么就没必要进行第二个漫长的微调阶段了。