Open shuaihuaiyi opened 6 years ago
https://github.com/liu-nlper/NER-LSTM-CRF/blob/50057fe00954d01bfdac166c293db53872ddbaa0/model.py#L210
这个变量似乎是用来在训练时防止embedding矩阵的某些无用的行得到更新,但是这里的缩进导致没有提供预训练词向量的特征对应的embedding不能应用这一机制,是不是有bug呢?
另外,预处理时将前两行都空了出来,似乎是将第0行作为填充,第1行作为未登录词,那么在训练时是否应该将这两行的梯度都替换为0呢?我对于TensorFlow API还很不熟悉,看样子函数zero_nil_slot好像只是替换了一行
另外可以问一下您nil是什么意思吗?小弟刚刚入门,这些东西完全不懂
https://github.com/liu-nlper/NER-LSTM-CRF/blob/50057fe00954d01bfdac166c293db53872ddbaa0/model.py#L210
这个变量似乎是用来在训练时防止embedding矩阵的某些无用的行得到更新,但是这里的缩进导致没有提供预训练词向量的特征对应的embedding不能应用这一机制,是不是有bug呢?
另外,预处理时将前两行都空了出来,似乎是将第0行作为填充,第1行作为未登录词,那么在训练时是否应该将这两行的梯度都替换为0呢?我对于TensorFlow API还很不熟悉,看样子函数zero_nil_slot好像只是替换了一行