[TEXT-dev-LAS:0.8232] BERT+Transformer - Githubissues

NLPInBLCU / BiaffineDependencyParsing

BERT+Self-attention Encoder ; Biaffine Decoder ; Pytorch Implement

MIT License

73 stars 17 forks source link

[TEXT-dev-LAS:0.8232] BERT+Transformer #2

Closed LiangsLi closed 4 years ago

LiangsLi commented 4 years ago

BERT之后加Transformer可以明显提升模型性能
Layer Attention效果不好（削弱了模型的性能）
模型似乎需要更强的正则化
更新了模型的输出保存
目前最优结果