训练误差突然变大，怎么回事

terrifyzhao / bert-utils

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算

Apache License 2.0

1.65k stars 425 forks source link

训练误差突然变大，怎么回事 #5

Open zongking123 opened 5 years ago

zongking123 commented 5 years ago

做文本相似性分析，样本总共160w条，正负样本各占一半，batch_size=16, learning_rate=0.00005, max_seq_len=64, 训练到1000 step后，训练误差基本上0.00001左右，但是到9w step时，误差突然增加到0.7左右，然后就一直在0.7左右徘徊，请问有没有遇到这种情况？谢谢

zongking123 commented 5 years ago

loss

terrifyzhao commented 5 years ago

0.7的那部分数据和前面的数据相差可能很大，建议把数据shuffle一下

biuleung commented 5 years ago

@terrifyzhao Loss超过1是不是不正常?

INFO:tensorflow:global_step/sec: 0.617078 INFO:tensorflow:loss = 1.3920796, step = 8895 (162.055 sec)