search

macanv / BERT-BiLSTM-CRF-NER

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning And private Server services
https://github.com/macanv/BERT-BiLSMT-CRF-NER
4.67k stars 1.25k forks source link

为什么我换了学习率，最终的结果都是0呢？ batch_size设大一点就OOM？ #386

Open yohowitch opened 3 years ago

yohowitch commented 3 years ago

  1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

  2. batch_size 设为16可以跑，设为32就会有OOM报错

1qingqing1 commented 3 years ago

请问你的gpu显存多大呢，我的8G显存，batch_size 设为16就会有OOM报错

S0W0H0 commented 2 years ago

  1. 将原本的1e-5学习率换为0.001，之后跑出的结果全为0

    1. batch_size 设为16可以跑，设为32就会有OOM报错

请问这个问题解决了吗我也遇到了更换学习率的问题

1qingqing1 commented 2 years ago

bert层学习率要设置的小一些，可以试试2e-5、3e-5、5e-5，其他层可以设置大一些1e-4、1e-3

S0W0H0 commented 2 years ago

请问在哪设置呢，我只在train_helper.py中找到了一个有关learn_rate参数设置的地方

Ingrid226 commented 1 week ago

想问问这个学习率在哪里设置呢，感谢