Open SCAUapc opened 1 year ago
您好!十分谢谢你的项目代码,就想问一下为什么要先freeze_body然后再finetune?
不好意思,刚看见。 finetune有两个阶段,只有第一个阶段freeze_body,这是为了快速微调最后的输出层,这个阶段完成后,再进行第二个阶段全模型微调会更加稳定。另外有些简单任务在快速的第一阶段微调后,测试如果已经达到了需求的效果,那么就没必要进行第二个漫长的微调阶段了。
您好!十分谢谢你的项目代码,就想问一下为什么要先freeze_body然后再finetune?