shibing624 / pytextclassifier

pytextclassifier is a toolkit for text classification. 文本分类,LR,Xgboost,TextCNN,FastText,TextRNN,BERT等分类模型实现,开箱即用。
https://shibing624.github.io/pytextclassifier/
Apache License 2.0
499 stars 74 forks source link

模型epoch保存数量限制 #12

Closed flydsc closed 1 year ago

flydsc commented 1 year ago

在使用bert分类器的时候,每个epoch都会保存模型,对于较大的模型例如roberta-large来说,这样的保存显得浪费,是否有一个机制是只保存best model或者可以选择只保存best model + 最新的N个model ?

shibing624 commented 1 year ago

2个方法:

  1. 手动删除旧的;
  2. save_model_every_epoch 关闭