search

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。
Apache License 2.0
1.28k stars 208 forks source link

unilm多少epoch收敛比较好？ #55

Open chenzelong opened 2 years ago

chenzelong commented 2 years ago

楼主你好，我数据量大约130万，src长度大约100，tgt长度大约40，用unilm多少epoch收敛比较的好？我现在4个epoch发现预测的标题，会出现不通顺/字符重复的问题

920232796 commented 2 years ago

嗯嗯 你觉得差不多就可以，一般一个epoch就差不多啦 你这个数据量。