疑问：对于标注序列的处理，实际代码实现中好像没有使用到BiGRU

cooelf / SemBERT

Semantics-aware BERT for Language Understanding (AAAI 2020)

https://arxiv.org/abs/1909.02209

MIT License

285 stars 55 forks source link

Closed ucascola closed 4 years ago

ucascola commented 4 years ago

大佬您好，我看您论文中提到对一条文本数据对应的多条标注的数据的处理，先是做一个map，然后将这多条标注数据输入进一个BiGRU层。但我在看您的开源代码时，发现您的做法好像没有用到BiGRU,而是直接选择多条标注中的前3条。我想问问是什么原因呢？还是我哪里理解错了，望您解答，谢谢

cooelf commented 4 years ago

你好，关于GRU的部分在这部分代码：https://github.com/cooelf/SemBERT/blob/master/tag_model/modeling.py 可以在模型调用部分调用BiGRU，我们发布的版本默认用了最简单的方式，用线性层速度相对GRU要快一些，性能很接近。

LinMu7177 commented 4 years ago

哦哦好的万分感谢您的回复了！