main()函数中在train()阶段 print(optimizer.get_lr)输出的是[0]，这是说明bertAdam优化器的学习率是0？

wenyu332 / daguan_bert_ner

30 stars 13 forks source link

main()函数中在train()阶段 print(optimizer.get_lr)输出的是[0]，这是说明bertAdam优化器的学习率是0？ #15

Open bytekongfrombupt opened 5 years ago

bytekongfrombupt commented 5 years ago

@wenyu332 Hi~ o(￣▽￣)ブ，如题，在看你的代码过程中，打印出来在训练阶段的学习率是0，那么模型的参数为何还能更新？

wenyu332 commented 5 years ago

这样应该是拿不到学习率的，你可以这样做： for i in optimizer.param_groups: print(i) optimizer.param_groups是一个列表，里面是所有的参数信息。而对每一个i，它里面是一个字典，包含了学习率等各种信息，你可以自己打印看一下。如果只想看学习率的话，只需要i['lr']就可以看到。

baixiaochun001 commented 3 years ago

请问，bertAdam的学习率不是有一个先减小再增大的过程吗？实际的学习率应该怎么查看？