search

taishan1994 / train_bert_use_your_data

基于pytorch使用自己的数据继续训练bert
9 stars 2 forks source link

请问您经过几个epoch的训练达到了示例中的效果 #1

Open 300id opened 1 year ago

300id commented 1 year ago

我训练了两个epoch 输入：text = '中国保险资产管理业协会积极推进保险私[MASK]基金登记制改革落地实施' 输出：募 对于这个示例，我的预测结果是'事' 并且我尝试将text中的其他字MASK，预测出来也还是事

taishan1994 commented 1 year ago

我训练了两个epoch 输入：text = '中国保险资产管理业协会积极推进保险私[MASK]基金登记制改革落地实施' 输出：募 对于这个示例，我的预测结果是'事' 并且我尝试将text中的其他字MASK，预测出来也还是事

应该是1个epoch吧。

300id commented 1 year ago

我只将您的--model_name_or_path 改为了 "hfl/chinese-bert-wwm-ext"，其他的都没变。好奇怪啊。

taishan1994 commented 1 year ago

我只将您的--model_name_or_path 改为了 "hfl/chinese-bert-wwm-ext"，其他的都没变。好奇怪啊。

可能和随机MASK有关吧，试一下其它的句子看看。