search

macanv / BERT-BiLSTM-CRF-NER

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning And private Server services
https://github.com/macanv/BERT-BiLSMT-CRF-NER
4.68k stars 1.25k forks source link

关于lstm-crf层的dropout #342

Open Heaven-zhw opened 4 years ago

Heaven-zhw commented 4 years ago

作者您好，lstm_crf_layer.py中，embedding的dropout和rnn的dropout设置的是同一个值，这样可以吗？是不是应该将二者分开？在embedding的dropout前有一句注释：lstm input dropout rate i set 0.9 will get best score ，这里如果和rnn一样设置为0.5话会不会影响效果？

macanv commented 4 years ago

会，简单的跑过几个测试，0.9的确能获取更好的结果，在某个数据集下。

lxgend commented 3 years ago

会，简单的跑过几个测试，0.9的确能获取更好的结果，在某个数据集下。

0.9意味着90%都置0？这也太多了吧？