您好，请问您使用的数据集是什么，CTB-5？

NLPInBLCU / BiaffineDependencyParsing

BERT+Self-attention Encoder ; Biaffine Decoder ; Pytorch Implement

MIT License

74 stars 17 forks source link

Closed ycanduxiyu closed 4 years ago

ycanduxiyu commented 4 years ago

如果是CTB-5，那您是怎么用BERT的“字”向量来做的呢? 句法分析不是要先分词吗？

LiangsLi commented 4 years ago

目前我们仅支持语义依存分析，使用的数据集是HIT-SCIR/SemEval-2016: SemEval-2016 Task 9: Chinese Semantic Dependency Parsing。如果需要支持句法依存分析，你可以手动修改后面解码部分或者直接借鉴斯坦福的实现stanfordnlp，同时将语料处理为CoNLL-U 格式即可。后续有时间我们会支持句法依存分析

LiangsLi commented 4 years ago

依存分析的输入数据是已经分好词的（无论是CTB还是PTB）。使用BERT做encoder的时候我们取每一个词对应的尾字（或者首字或者首尾拼接）作为这个词的表示，此时需要先获取词语的首尾idx