Open zongking123 opened 5 years ago
做文本相似性分析,样本总共160w条,正负样本各占一半,batch_size=16, learning_rate=0.00005, max_seq_len=64, 训练到1000 step后,训练误差基本上0.00001左右,但是到9w step时,误差突然增加到0.7左右,然后就一直在0.7左右徘徊,请问有没有遇到这种情况?谢谢
0.7的那部分数据和前面的数据相差可能很大,建议把数据shuffle一下
@terrifyzhao Loss超过1是不是不正常?
INFO:tensorflow:global_step/sec: 0.617078 INFO:tensorflow:loss = 1.3920796, step = 8895 (162.055 sec)
做文本相似性分析,样本总共160w条,正负样本各占一半,batch_size=16, learning_rate=0.00005, max_seq_len=64, 训练到1000 step后,训练误差基本上0.00001左右,但是到9w step时,误差突然增加到0.7左右,然后就一直在0.7左右徘徊,请问有没有遇到这种情况?谢谢