第七章 fine-tune代码优化。SSC任务CPU上36小时变2小时

HIT-SCIR / plm-nlp-code

Apache License 2.0

626 stars 195 forks source link

Open renmengjie7 opened 2 years ago

renmengjie7 commented 2 years ago

您好，我发现第七章代码中有处地方能够优化一下。 tokenizer函数中，可以去掉padding='max_length'，浪费计算资源。transformer提供的Trainer构造时的data_collator参数默认采用了动态补全的方法，按照batch进行补全，能够节省计算资源。

在我的CPU上跑，时间从36小时变为2小时（没跑完，进度条给的预估时间）

renmengjie7 commented 2 years ago

36变2为ssc任务上的训练时间

ymcui commented 2 years ago

感谢您的建议，后续会参考进行优化，谢谢！