search

dbiir / UER-py

Open Source Pre-training Model Framework in PyTorch & Pre-trained Model Zoo
https://github.com/dbiir/UER-py/wiki
Apache License 2.0
3k stars 526 forks source link

T5模型预训练问题 #356

Open zhangzai666 opened 1 year ago

zhangzai666 commented 1 year ago

您好： 我尝试基于t5_base模型进行预训练pretrain，数据量较少大概3000多条，训练了1000步，结果输出基本全是“”的“”，如下： input= "中extra0的首都是extra1京" output=[{'generated_text': 'extra0 的 extra1 的 extra2 extra3'}] 请问我这是过拟合了破坏原来模型参数了？？ 哪位大神指导一下